超级计算变得更加个性化:模块化、灵活、敏捷

超级计算变得更加个性化:模块化、灵活、敏捷

高性能计算(HPC)用于数字转换的原因

全球高性能计算和超级计算的全球技术解决方案架构师Earl Dodd的客座博客

我在这里待了很长时间,记得以前只有科学家、研究人员和某些政府机构才关心高性能计算(HPC)。当我们中的一些人在享受80年代后期的相对和平与稳定,或者(喘气)甚至还没有出生的时候,一些世界上最有影响力的组织正在发展推动了几十年科学进步的技术。现在我们收集更多数据的能力,需要更多的计算能力来分析这些数据。

这篇文章探讨了为什么HPC被利用作为数字转型举措的最佳实践。公司和政府需要转变,或者他们将在这世界上留下。数据对任何主动都至关重要。数字转换要求您搜索此数据,以便您可以使用它。使用HPC和AI系统的智能捕获,消化和数据处理技术基于将数字化的过程推进到实际转换的能力。我称这个“融合计算”。

一个HPC + AI +大数据架构是融合计算服务框架的基础。该框架代表了HPC和数据驱动的AI社区的融合,因为它们可以说是运行类似的数据和计算密集型工作流程。正如云(公共,私人和混合动力器类似的数据安全和商业模式,HPC + AI +大数据的高性能架构已经发展到满足业务和政府的敏捷需求。

重要的融合计算外卖:

  1. 开放的高性能体系结构推动了敏捷性、更快的创新和及时采购;
  2. 数据是新的货币,可以更容易地与主流工作流程共享;
  3. 该框架提供完全策划,可扩展和可追溯的体验;和
  4. HPC云为企业和政府提供了“服务型”经济。

HPC是如何发展的

还记得主机被称为进步引擎的时候吗?HPC已经发展了多年,其根源在于大型机的设计和操作。这种发展经历了许多阶段:1)20世纪70年代的分时主机,2)20世纪80年代的分布式计算,3)20世纪90年代的并行计算,4)对HPC的集中需求,5)具有数据安全的集中式HPC,以及6)公共、私有和混合HPC云。正如作家斯蒂芬·金(Stephen King)所说:“所有旧的东西迟早都会重新变得新的。”这也适用于高性能计算和超级计算。

在过去的几十年中,HPC景观已经看出了制造商,系统和架构的持续出现和消失。如果不加速,则预计会继续发生这种快速变化。但是,清楚的是,对数据和计算的需要仍然存在。

今天您的企业需要了解哪些关于高性能计算的知识

高性能计算是能够在密集包装中处理数据并以高速执行复杂计算的能力。HPC利用并行处理有效,可靠,可靠地运行高级应用程序。它已启用科学,工程,工业,经济学,金融,社会,健康,防御和安全的进步。

今天,高性能计算在工业中被用于改进产品,降低生产成本,减少开发新产品所需的时间。随着我们收集大数据的能力的提高,分析数据的需求也在增加——在这方面,HPC可能是最有用的工具。

从历史上看,超级计算机和集群是专门为支持高性能计算应用而设计的,这些应用是为了解决“重大挑战”——科学和工程中的大问题而开发的。HPC应用程序的一般概要由大量需要在短时间内处理的计算密集型任务组成。通常存在并行和紧密耦合的任务,这就需要低延迟的互连网络来减少数据交换时间。评估高性能计算系统的指标是浮点运算每秒(FLOPS)——现在是TeraFLOPS,甚至是PetaFLOPS——它确定了一个计算系统每秒可以执行的浮点运算的数量。

对于一个组织来说,数据的获取速度远远超过了所有人的预期。无论是来自物联网(IoT)、网页、商业交易还是其他来源,涌入企业数据中心的数据量超过了当前的存储容量。数据的大量涌入产生了一类新的数据整合、数据处理和数据管理挑战。组织不能让数据堆积起来(例如,在数据仓库中看到的存储和忽略策略)。他们现在需要深思熟虑地决定要存储哪些数据,需要将其移动到哪里,为了什么目的分析哪些数据,以及为了潜在的未来价值保留或归档哪些数据。

数据是货币

在过去,大量的业务数据被存储和忽略。现在,企业使用数据的方式与科学家和研究人员一样:数据分析促进创新、竞争力和商业成功。

许多组织现在需要它解决方案,即使用数据分析耦合高性能计算。这种收敛正在推动到高性能数据分析的转变。新申请不仅会在科学和工程中出现,也将在商业中出现 - 在信息检索,决策支持,财务分析,零售监测或数据挖掘等领域。

数据密集型算法在包含大量信息(例如,关于客户或股票价格)的庞大数据库上运行,这些信息已经收集多年,现在不再被忽视。特别是,未来全球存储数据量的快速增长将使高性能计算变得不可或缺。

运行许多需要高性能架构的应用程序会产生大量需要分析和展示的数据。为了能够管理如此庞大、多样的数据,已经开发了特定的工具、策略、库和概念,以帮助从超级计算机输出数据的可视化。以直观易懂的方式呈现建模和仿真的输出数据甚至可能需要超级计算资源。HPC、AI/ML/DL和大规模大数据的融合是一个永恒的主题,需要一个新的、敏捷的、开放的高性能架构和融合计算服务框架。

商业是科学的游戏

美国能源部(DOE)宣布回来于2018年,“未来是超级计算机。”在几年内在母鹿上线上的新系统将成为世界上最快的地球超级计算机的一些。在医学和健康中,在发现和创新中,我们可以建立新的系统,可以真正改善人类的健康和安全性。

在极端变化或危机时期,向公众提供和传播应用科学的理念是企业的当务之急——这一点的能力也是如此。商业在利用科学知识方面发挥的作用可以指导公共部门决策的有效性。HPC和AI已经成为数据驱动决策的原型框架。

美国国家科学工程与医学研究院(National Academies of Sciences Engineering and Medicine)是一个私人的、非营利性的、非政治性的专业组织,它的职责是帮助企业利用应用科学。他们的线索:

  • 民主社会取决于科学,让我们免于卫生,社会,环境和经济危机。
  • 对于可预见的未来,政策制定者和社区将努力做出决策,以便对未来不确定地定位。
  • 公共和私营部门有助于找出不可替代科学的重要机会,并在适当进入可行和战略科学的情况下整合结果。

开放式高性能架构和融合计算正在支持业务和政府的数字敏捷性和政府,以使当今现代组织的数据驱动的尹和杨成功 - 两者都可以以有效和激励的方式应用。

混合云模型带来了额外的改变游戏规则的能力和容量(互补和互连的)资源,因为这两者都是实现大规模集成、完全安全的高性能环境所必需的。融合计算非常适合满足最苛刻的安全、云和性能要求。

计算机将继续变得更加强大和个性化

随着时间的推移,这些超级计算机的尺寸将变小,需要更少的物理基础设施来冷却它们,并且比当前系统具有更低的能量占地面积。

实现这些进步的方法需要回到设计和工程的首要原则。与脑科学一样,分层模块化、灵活性和敏捷性为超级计算机设计的成功提供了路线图。分解和可组合性的路线图在今天是至关重要的。

个性化是为适应个人或企业的需求而定制服务或产品,现在被广泛认为是全球大趋势。现在,数字技术已经使超级计算机制造商、熟练的方案商和系统集成商(SIs)能够大规模地提供定制制造的个性化和灵活性。

随着基于适用于每个级别的公共和私有云和基础设施作为服务(IAAS)的可协商性的可组合性的出现,您的指尖可以部署和执行业务工作流程的大规模超级计算性能。个性化超级计算解决方案可以瞄准您的业务挑战、研究目标、用例和数据驱动的机会。

一种混合的、可扩展的和安全的计算范式

这些趋势和进步引领我们走向一种混合的、可扩展的、安全的计算范式:高性能计算、人工智能和大数据的融合。这种融合并不新鲜,而且已经进行了多年。新的是边缘计算和物联网/工业物联网的加入。开放的高性能架构是融合计算的基础架构构建块。

当然,对于全球的、敏捷的、云计算可用的企业来说,应用于这一新兴计算范式(例如,HPC、大数据/ hdpa、AI/ML/DL、Edge、IoT/IIoT)的特别方法可能会面临挑战和挫折。世界范围技术(World Wide Technology, WWT)正在用融合计算来统一复杂的计算世界中不同的、不断增长的、经常相互竞争的需求。WWT定义了“融合计算”这一新的解决方案类别,它代表了一个统一的架构,可以将边缘、核心和云的生态系统融合在一起,同时保持一致的、安全第一的心态。

WWT及其顶级合作伙伴已经创建了一个参考体系结构从根本上解决了竞争力的企业如何与技术,流程,商业模式和人员互动。融合计算不仅仅是一种产品路线图 - 它定义了企业整体计算,数据,网络,应用程序和安全生态系统的平衡,开放的架构,设计和操作。高性能架构是在自我管理的分布式计算资源的特征之外构建,适应不可预测的变化,同时隐藏对管理者,运营商和用户的内在复杂性;有了它,自主计算开始在TCO上提供。

融合计算的工具和技术正在迅速成熟。更好的是,高性能计算和大数据平台正在以一种减少在高性能计算和存储环境之间来回移动数据的方式融合。这种聚合帮助组织避免了不同系统带来的大量开销和延迟。

如今,在开放的高性能环境中,组织可以从快速增长的工具和技术中进行选择,如流分析、图表分析和探索性数据分析。让我们简要地看看这些工具。

  • 流分析提供了新的算法和方法,帮助组织快速分析高带宽、高吞吐量的流数据。这些改进为新兴的图模式、数据融合和压缩以及大规模网络分析提供了解决方案。
  • 图分析技术支持图建模、可视化和评估,以理解大型、复杂的网络。具体应用包括语义数据分析、大数据可视化、用于图形分析研究的数据集、基于活动的分析、大图形数据工具的性能分析和抗规避异常检测。
  • 探索性数据分析提供了探索和分析大量流数据源的机制,以获得新的见解并为决策提供信息。应用包括探索性图形分析,地理启发并行模拟,和网络分析数据。

这些是高性能数据分析技术和解决方案的兴起所带来的无数进步中的一部分。

2020-11-10T16:45:02 + 00:00

关于作者:

伯爵多德
Earl Dodd是World Wide Technology的HPC和超级计算的全球技术解决方案架构师。