【原创】元宇宙要来了大数据暴增,如何存储更多数据?西部数据有妙招!

作者:张国斌

目前全球正在经历数字化转型,数字化正在重塑我们的世界,元宇宙也许就是这场数字化转型的终极形态。数字化的快速推进导致我们的数据量暴增,据罗兰贝格预测,从2018年到2030年,自动驾驶对算力的需求将增加390倍,智慧工厂需求将增长110倍,主要国家人均算力需求将从今天不足500 GFLOPS到2035年增加到10000 GFLOPS。据IDC报告,全球数据总量2020年约为64ZB,2025年预计达到180ZB,其中中国也将增长到41ZB!

1.png

数据是数字经济的石油,要发挥数据的作用就必须及时地保存数据以便分析,但是,每年只有非常少量的数据得以保存下来,这是因为大数据的暴增已经超过了存储器件的增长,而要存储更多的数据就需要不断革新存储器件。我们看到近两年,存储器件不断提升密度,同时,大量的HDD硬盘依然在使用,提升这些存储器的存储密度也可以应对存储挑战。

“一些领先的科技应用和新兴数字化产业,如人工智能、机器学习、区块链、5G、物联网、智慧视频等,更是时刻都在产生海量数据。我们预计,未来5年内数据会呈指数级增长,将超过之前所有数据存储量的两倍。”西部数据公司HDD业务部高级副总裁Ravi Pendekanti在西部数据“数智创新 芯存未来”西部数据媒体分享会上指出,“西部数据作为全球数据基础架构的提供者,面对市场需求的更迭,积极了解不同领域的客户对于数据存储的需求,持续通过科技创新推出针对性的产品组合和解决方案,助力客户面对数字时代的新挑战。”

2.jpg

西部数据公司HDD业务部高级副总裁Ravi Pendekanti

今年9月,西部数据面向全球发布了创新的OptiNAND技术——结合并优化了在闪存和HDD领域的积累,通过协力效应,对磁盘架构设计做出革新,汇聚二者优势,为客户带来开创性的解决方案,帮助客户应对未来的存储需求。目前,西部数据搭载了OptiNAND技术的20TB Ultrastar DC HC560产品已经出货,西部数据公司副总裁兼中国区业务总经理刘钢分享了这个技术的详细细节信息。

3.jpg

西部数据公司副总裁兼中国区业务总经理刘钢

目前全球40%以上的数据存储在西部数据的产品上,从中可以感受到西部数据在存储领域的重要地位。

刘钢表示,目前HDD和SSD都在增长,尽管SSD增长更快,复合年均增长率大概为43%,HDD的复合年均增长率是27%,同样也很快。这说明用户对数据容量依旧有很强烈的需求,同时用户对快数据的需求也非常急迫,不仅要存储数据,还要挖掘数据的价值,真正把数据用于分析、预测和决策。可以简单地理解为HDD支持的是大数据,而是SSD支持快数据的需求。

4.png

如今,数据中心的单盘容量不断提高,HDD单盘从16TB到20TB的升级也会给数据用户中心会带来更多好处。刘钢表示,“首先体现在单盘的容量提高了25%,另外每TB的功耗也降低了14%。单盘容量的密度提高会降低部署成本与功耗,同时节省空间,会带来长期运营成本的降低。此外,密度提高了,用户在达到同样的容量需要的服务器减少了20%,降低了工业的压力。将总成本CAPEX和OPEX算在一起,TCO降低预估可以达到16%。”

5.png

在闪存领域,西部数据也在不断提升SSD的存储密度。3D NAND技术从之前的48层增长到了现在112层,今年西部数据还发布了162层的3D NAND技术。这就是摩尔定律在半导体和芯片里面继续发挥作用的结果。虽然摩尔定律在很多半导体领域可能会受到挑战,但是在半导体存储里面,摩尔定律不仅是一个维度里面发挥作用。以前的摩尔定律是缩小限宽提高密度,比如在十八个月的时间之内,密度可以增加一倍。但是到存储领域,摩尔定律不仅是在横向扩展,纵向也有更多的堆叠。

刘钢介绍道,“横向密度扩张加上纵向的堆叠,加上一个单元里面密度的扩展,闪存的存储率在过去几年增长了很多倍,超过了仅仅是线宽的缩小带来的增长,也超过了仅仅是堆叠层数的增加带来的增长。所以摩尔定律可以在这三个维度发挥作用,让我们在半导体存储方面有更快速的进展。这不单单是摩尔定律,更是摩尔定律和建筑架构设计的完美结合。”

西部数据的BiCS5技术是112层,而最新发布的BiCS6是162层。前面是48、64、96有规律的增长,为什么到了BiCS5、BiCS6不是规律的增长?按照规律应该是128层。

刘钢指出:“这正是我们西部数据有优势所在。我们不是在一个维度里面提高我们的技术,并不是简单地做层数的堆叠,而是在同一层里面也会提高密度。所以达到BiCS5的时候,只有需要112层就可以达到同样的密度。当堆叠层数越多,实际上会折中其他性能。所以用更低的层数达到同样的密度,才会有更好的写性能。BiCS6只需要162层就可以了。所以不是存储少了,其实是更好了,同样的容量需要更少的存储。”

相较于BiCS5,BiCS6的优势在于写性能在两代之间可以提高两倍;在提高写性能的同时,并没有增加功耗,反而将功耗降低了35%。

6.png

西部数据是同时拥有存储颗粒、存储控制器和存储设备的厂家,因此可以在提升存储密度、提升耐擦写次数、降低功耗、提升写入速度读出速度上做优化。根据用户应用场景的不同,西部数据可以挑选相应的闪存颗粒,同时也拥有自己的控制器和固件(firmware),可以做纵向的提升,达到极致的优化。此外,西部数据通过电路设计布局,实现了CMOS-Under-Array来提高平面的利用效率,带来更高的效率以及更好的性能和密度。
正是有了这些技术储备,西部数据才有能力推出将HDD和SSD融为一体的OptiNAND技术——把HDD技术和闪存技术做了很好的深度的优化和整合,并在同一个设备里面实现。在今年9月发布了OptiNAND技术后,仅仅过了两个月,西部数据便发布了最新的基于OptiNAND技术的20TB的产品——Ultrastar DC HC560 HDD。

7.png

8.png

首先来看一下OptiNAND的三大核心优势:
第一,有更大的容量。通过加入最新的OptiNAND,优化了结构,让密度提高,同时也提高了性能以及可靠性。这一代技术的20TB HDD每碟片达到2.2TB,也改善了相邻磁道的干扰,这也会使密度得以提高。
第二,因为把一些关键的HDD内部数据放到了OptiNAND的闪存上,因此整体的性能也得到了提高,缩短了延迟。
第三就是更安全,可以在紧急断电的时候,比之前保留近50倍的客户数据。
“总的来说,这是一个优化、深度的结合,让新一代的HDD达到更大的容量、更高的密度、更高的性能和可靠性。这就是我们的第一个产品,我们在后续产品当中或会持续用到OptiNAND技术。”刘钢总结说。
不同于先前的混合硬盘,西部数据的OptiNAND中iNAND与HDD的性能相关。HDD内部除了用户数据之外,还有许多运行数据,包括寻道的数据、关键的定位数据等。这些数据原来存在HDD的磁碟上面,会占用一部分空间,并降低性能。在OptiNAND中,运行数据都存储在iNAND上,并对它进行性能等方面的优化以适应特殊的工作场景。所以,iNAND在OptiNAND架构设计中负责的是跟HDD本身的运行深度相关的数据存储部分,这与把用户数据放在其中做缓存的做法有极大的不同。
值得一提的是,搭载了OptiNAND技术的HDD对外保留了标准接口,同时还预留了进一步的优化空间。
因为硬盘系统运行环境的原因,有一个很重要的数据损失场景,就是断电的时候如何保护数据。以前的技术是利用磁碟转动惯性的能量,把数据刷写进去,现在iNAND本来就是非易失性的,所以在断电保护的时候,相较传统的HDD可以保存大约50倍的用户数据。

9.png

在本土合作伙伴方面,西部数据积极布局,联合各界客户共同推出解决方案,赋能行业的数字化转型。据了解,西部数据与联想及SmartX携手,SmartX 超融合基础架构核心软件 SMTX OS 内置其自主研发的分布式块存储 ZBS, 搭载西部数据NVMe 企业级固态硬盘,结合联想商用服务器,助力金融行业客户 IT 基础设施升级与数字化转型。

10.png

西部数据还联手H3C与星环科技,助力企业实现数据资产化。基于搭载了西部数据高可靠且低延迟的企业级NVMe SSD的H3C R4900 G5 服务器,Transwarp ArgoDB 可实现高效的大数据存储、顺滑的大数据统一管理、智能的大数据分析,助力金融企业实现数据资产化。在仓库部署中,可实现对原有系统平滑迁移,解决原平台的成本高、性能不足的问题。
此外,西部数据还联合沃趣为金融企业提供卓越的云架构体验。沃趣 QData 数据库云平台作为新一代云架构,搭载西部数据高性能企业级 NVMe SSD,大幅优化了数据的读取速度,为金融企业提供卓越的性能体验,提升业务处理效率。
西部数据专注存储领域50多年,是少有的几家同时拥有HDD和闪存技术的公司,拥有从芯片到整个系统完整的产品线,无论是闪存还是HDD领域创新方面都有领先的进展。
刘钢最后表示,明年西部数据在闪存领域会有更多产品进入量产阶段;在HDD部分,也会有更多基于OptiNAND技术的大容量、高密度,更高性能的新品推出,来适应数据中心对大数据、快数据增长的未尽需求。

注:本文为原创文章,未经作者授权严禁转载或部分摘录切割使用,否则我们将保留侵权追诉的权利!

最新文章