新云层

CDM 提交于 周五, 07/14/2017
新云层

生命之始的混沌云团在风、温度、压力和湿度复杂的相互作用下,逐渐分成了具有不同特性的云层。相似的,在大数据计算和物联网(IoT)的新压力下,今天看起来统一的云数据中心也在发生转变,分成了多个截然不同的层面,包括计算、网络和存储等,从数据中心最核心的地方一直延伸至遍布在真实环境中的各种传感器和制动器。4月份在加州圣克拉拉举行的开放服务器峰会论文中,针对这一发展的“云团”提出了一种独特的断层观点(图1)。

 

图1. 大气条件合适时,云会分成很多独立的云层。

图1. 大气条件合适时,云会分成很多独立的云层。

 

这种分层结构不太寻常的一个特点是,它不是由集中式计算能力需求推动的——体系结构变化通常的推动力量,而是由数据移动约束造成的。逐渐的,带宽和延时而不是GFLOPS决定了云的大致结构。

存储本身的重构

变化最大的是在数据中心最核心的地方,内存和存储设备领域。最开始简单的分层结构包括了存档磁带、巨大的硬盘矩阵以及一块又一块的本地DRAM,而这些都被打乱混在了一起,成为不同类型设备、位置和互联技术构成的“细雾”。现在,混杂的雾凝结成了几个截然不同的层面。

其推动需求是让尽可能多的数据尽量靠近服务器CPU。这一趋势可以追溯到早期非常重要的内存高速缓存(Memcached),Spark和Redis等软件引擎极大的推动了其发展,该技术是要把整个数据集驻留在内存中,而不是驻留在硬盘中。在这种压力下,集中式RAID阵列老的配置方法是通过以太网连接至服务器机架,这已经被服务器卡上小规模的高速硬盘所替代,这些卡通过SATA连接至DRAM阵列。

而这些硬盘也再次被服务器卡上大量的快速固态存储器所替代。今天,这意味着提供高密度NAND闪存阵列,通过PCIe总线承载NVMe协议连接至CPU簇,或者,甚至驻留在服务器卡DRAM总线的DIMM中。

Micron技术公司高级存储副总裁Rob Pelgar在其峰会主题演讲中提到,今后最好的选择将是Micron的3D Xpoint存储器。Pelgar说,非易失3D Xpoint的速度是NAND闪存的数千倍,而密度远远高于DRAM,是连接机架式大规模共享固态硬盘(SSD)和刀片中DRAM最自然的选择(图2)。

 

图2. Intel和Micron的3D XPoint存储器在存储器/存储设备分层结构的SSD和DRAM中间建立了新层。

图2. Intel和Micron的3D XPoint存储器在存储器/存储设备分层结构的SSD和DRAM中间建立了新层。

 

本地3D Xpoint能够帮助Spark等系统有效的把刀片中的本地存储器扩展为一个类似DRAM的大规模资源池,而且不仅如此,它还有更深刻的含义。Pelgar指出,CPU地址空间中的大规模非易失存储器非常有助于延时关键的应用,这类应用通常来自设备虚拟化和IoT。一旦非易失存储器就位后,它也改变了操作系统内核程序的基本规则。文件系统元数据、关键值存储以及应用数据等结构现在都具有一致性,而不用在每次唤醒一个进程时重新装入。

进行连接

数据中心把服务器刀片、硬盘阵列和大容量存储设备可靠连接在一起的是以太网。目前这通常是铜背板上老的10 Gbit/s以太网——尽管服务器卡和架顶(ToR)交换机之间的速度已经向40 Gbits/s迈进。ToR交换机一般通过光纤连接至集中式以太网交换机,从而扩大了数据中心的网络覆盖范围。但是峰会上来自微软的两名发言人介绍了这种传统的布局是怎样被分解并演进的。

首先,网络被分成两个完全不同的层——控制平面和数据平面,它们有不同的实现。网络交换机中总是存在这种控制/数据差别。但是现在,交换机和网卡(NIC)被打开了,在某种程度上,允许控制平面功能移植到通用计算硬件中——服务器CPU及其硬件加速器,而数据平面成为纯粹的传送介质。

微软Azure服务器硬件工程总经理Kushagra Vaid说:“网络正在成为服务器问题。我们正在向服务器中基于策略的网络控制平面发展,而数据平面只是管道。在服务器上实现网络应用和安全功能,这为路由RDMA提供了平坦空间。”

但是,这种情形也存在问题。 如果您提高管道速度,服务器CPU则很难跟得上,即使是没有以全线速处理数据。因此,微软在以太网连接服务器卡的地方增加了计算硬件加速层:NIC。这一可配置处理器——微软称之为Smart NIC,读取进入或者离开卡的以太网数据包流,与面向流任务的服务器CPU协同工作。Vaid描述道,“例如,我们能够以40 Gbits/s进行线速端到端加密。

一旦有了这类处理能力后,就能够运行新程序。Vaid说:“Smart NIC是可配置的,这非常重要。我们每星期更新其FPGA。”但是Vaid认为这还只是趋势的开始。 他注意到,“很多新出现的工作负载,例如机器学习、网络功能虚拟化,以及存储处理等,都是高度并行的,很难映射到CPU指令集。但是可以在复杂的I/O中完成,与CPU的交互很少。我们会看到服务器和I/O分开了,老的代码留在CPU中,而在I/O中执行新应用程序。现在各类并行体系结构都在进行试验。”

加入光纤

网络增加了处理能力后,管道的特性也会改变。微软首席Azure网络架构师Brad Booth说,公司今年把服务器卡的网络连接从40提升至50 Gbits/s。今后,公司希望2018年能够达到100 Gbits/s。但这要求有根本性的改变。

目前,刀片中的收发器驱动几米的铜背板连接ToR交换机。Booth提醒说:“但是,100 G PAM4不能驱动很长的铜缆。”机架中的网络将不得不转向采用光纤。一旦完成这种转变后,距离将从3 m延伸到20 m,甚至更远。您可以完全不再采用ToR交换机,把光纤从服务器卡直接拉到集中式数据中心交换机,去掉了网络分层结构中一个完整的层面。

线缆的终结

数据中心将会出现深刻的变化。新一类服务器存储器、网络内计算以及新网络拓扑都会在今后几年出现,每一种创新都会让我们越来越接近单一的平坦的地址空间,在这里是从任务至数据,而不是数据至任务。

但是,开放服务器峰会的另一名发言人——HP企业副总裁兼总经理Tom Bradicich有不同的意见,他认为IoT会在数据中心之外带来深刻的变革,是在互联网的最边缘。

一个简单的IoT场景包括企业的物体群,不断的把数据发送到云端,从中周期性的进行大数据分析,发出操作或者控制命令。Bradicich激动的说:“最后,操作直接连接至IT。”然后,他又解释了为什么这根本上不太可能。

首先,他列举了涉及到的数据量。Bradicich讲述到,“举一个嵌入式系统极端的例子,CERN的超级碰撞机每秒产生40 Tbytes数据。一辆普通的汽车,联网后,每分钟产生500 Mbytes数据。”所有这些数据都不太可能送回数据中心,即使是未来有了5G无线网络。然后,还有安全问题。 他有些乐观的认为,“一个正常的人不会把国家电网放在互联网上。”

在任何情况下,巨大的带宽要求以及严格的安全问题都希望在网络边缘建立本地处理层。还有延时也是如此。某些系统的控制环或者功能安全最重要,这取决于对所采集的数据的分析以及对已知延时的了解。这些系统会需要一定程度的本地计算,以满足延时和抖动要求,以尽力而为方式工作的互联网无法满足这些要求。

而且,Bradicich认为,本地处理资源应针对具体应用而进行定制。他指出,IoT边缘的环境——涌动的传感器数据、中断,以及实时性最低要求等,与数据中心环境完全不同。那么,为什么通过部署数据中心机架式服务器来满足边缘计算需求呢?

Bradicich提供了一些例子。一个是空客工业公司为装配工人配备了智能眼镜。当用户准备安装一个紧固件时,眼镜识别出孔的位置,为具体的紧固件和位置相对应的扭矩预选正确的螺丝刀。完成插入后,眼镜记录任务期间采集到的数据,为机身建立全面的装配记录。实际上,这就是一类增强现实应用。为保证不会减慢工人的工作速度,很多这类操作必须满足实时性最低要求,因此,必须是在本地完成。您当然不希望技术员由于不愿意等待没有响应的系统而拿起错误的螺丝刀或者设置了错误的扭矩。

另一个例子来自Virgin电动方程式赛车车队,他们参加全球电动方程式汽车系列锦标赛。比赛的日常非常紧张,练习赛和排位赛仅间隔几个小时。难点在于练习赛期间采集来自汽车的远程监测数据、视频和音频,进行大数据分析,从而调整汽车实现最优电机/底盘/轮胎设置和电池管理。

车队使用了两台HP企业级Moonshot机架式服务器:一台在总部的实验室,另一台在赛道的检修区。这两台都专门针对其任务负载进行了配置。Virgin赛车队曾说过他们最初的目的是在实验室中把Moonshot当做私有云,完成所有处理工作。但是,对于全球系列锦标赛,他们很快发现在某些赛场没有足够的互联网带宽来满足计算最低要求。因此,他们开发了边缘云方法。

独立的层

计算云最初简单的概念,互联网,充满物体的世界,现在发展为非常复杂的场景。在数据中心,存储、计算和网络被分成多个,有时甚至是叠加的层面。在外部,网络边缘形成了实时计算的一个新层。所有这些新结构的形成是应用数据流和实时带宽以及延时限制共同作用的结果。未来会非常有趣。

转载:altera

公司信息: 

Intel-英特尔

相关文章

Digi-Key