中国储能网欢迎您!
当前位置: 首页 >新闻动态>国内新闻 返回

先进存储构建新型基础设施底座:存储系统

作者:中国储能网新闻中心 来源:人民邮电报 发布时间:2020-09-05 浏览:

以5G、物联网、数据中心、人工智能等为代表的新型基础设施已成为引领数字经济高质量发展的全新引擎。在数字经济时代,数据是第一生产要素,其存储、管理、分析和应用对于预测经济形势、规划经济活动至关重要,数据的存储与管理需求推动存储技术不断升级:一方面,作为数据存储的底层介质,存储芯片的特性向高性能、低功耗、小尺寸等方向快速发展;另一方面,以存储芯片和器件为基础,结合互联协议与软件平台构建的存储系统,在极致性能、融合扩展和高效管理方面不断提升,二者共同为新型基础设施构筑数据底座。

作者:中国信息通信研究院泰尔系统实验室 韩超 李婷婷 

数字化推动我国存储产业快速

发展与技术升级

在数字化、信息化的浪潮下,全球社会产生的数据量快速增长,例如视频清晰度4K到4K VR,数据量将提升6倍以上;L4等级自动驾驶训练产生数据量高达100EB;城市中超过200万个的摄像头每天会产生超过80PB的图片数据。我国在数字经济发展战略的引领下,目前已成为全球数据产生量最大的国家,并且随着新型基础设施为数字经济注入新的动力,未来数据量将进一步增长。根据IDC预测,从2019年到2025年,全球数据量将从45ZB增长至175ZB,其中以图片、音频、视频为主的非结构化数据占比将超过80%,我国数据量将达到50ZB,在全球占比接近30%。

数据量快速增长对存储系统需求的提高,有力推动了我国存储产业的发展,2017年~2019年我国外部存储市场平均增速为22.3%,2019年市场规模达到31亿美元,其中以存储非结构化数据为主的第二存储成为产业增长的主要着力点,2019年增长高达160%。伴随新基建带动数字经济的繁荣发展,数据价值挖掘与分析利用需求的日益凸显对存储系统提出了越来越高的要求:海量非结构化数据的存储对单节点存储容量需求上升到PB级别;银行、电商、高性能计算等场景大量高速的数据交互对存储系统性能要求不断提升;智慧应用下沉催生的云边协同模式离不开高效存储数据管理的支撑。

采用全闪存阵列是存储系统

性能提升的方向

随着数字经济的深入发展,数字化应用对存储系统的性能要求不断提升。例如银行和大型电商每天超过1亿笔交易,需要核心业务系统IOPS超过20万,且时延需要保持在1ms左右;承载数据库、Web应用等业务的服务器虚拟化在高负载下需要高达5000 IOPS/TB的数据吞吐速率。基于HDD的传统磁盘阵列面对高性能负载应用已捉襟见肘,基于SSD的全闪存阵列是存储系统获得极致性能提升的主要手段。

SSD基于NAND-Flash构成,与HDD相比,其关键性能大幅提升,例如HDD的随机I/O典型为400IO/s,SSD则高达6000IO/s,同时SSD降低了功耗、提高了可靠性。相对于传统的磁盘阵列,基于SSD构建的全闪存阵列主要有以下优势:一方面,可以极大提升存储系统的IOPS和时延性能,有效满足金融交易系统、VDI、高性能计算等追求极致性能应用场景的需求;另一方面,得益于SSD的低功耗与高可靠特性,存储系统的总体功耗和制冷设备能耗,以及故障维护费用可以得到有效降低,进而节省系统的总体拥有成本。

目前主流存储系统提供商,如Dell EMC、NetApp、华为、Pure Storage、IBM等,60%以上的主存储产品均采用全闪存阵列。2018年~2019年采用全闪存阵列的存储系统市场增长超过20%,到2023年在存储市场的占比预计达到50%。

基于分布式的超融合架构成为

构建企业云的重要解决方案

从存储资源的扩展模式来看,存储系统架构可分为两种:集中式存储和分布式存储,其中集中式存储包括DAS直接存储和SAN/NAS网络存储。相对于集中式存储,分布式存储采用横向扩展的节点集群模式,将数据分散到多个存储服务器节点,各节点通过网络构成虚拟的存储整体对外提供存储服务,因而具有以下优势:一是横向扩展模式可按需灵活配置存储节点,单节点容量可提升到PB甚至EB级别;二是存储可与计算资源同步横向扩展,使系统得到线性提升;三是易于对不同厂商的产品进行整合和管理,降低扩展成本。分布式架构已成为存储系统容量扩展、应对非结构化数据存储的基本特点。当前市场主流存储系统产品均基于分布式架构,根据IDC预测,到2023年超过40%的存储系统都是分布式的。

近几年,企业上云率不断提升,“公有云﹢私有云”的混合云架构在企业云存储解决方案中的优势越发凸显,企业云数据中心的部署对存储系统提出了差异化的要求。相对于大规模云数据中心,企业云的部署主要有以下核心诉求:一是敏捷性,提高资源交付的灵活性与运维难度,缩短业务系统的部署与应用流程;二是稳定性,提高容错性,妥善应对硬件、网络等故障,保障业务的连续;三是统一管理,将计算、存储、网络等资源融合管理,同时将不同区域、不同业务系统数据资源打通,消除数据孤岛。特别是对于工业互联网应用,工业场景分散、业务数据独立管理易形成数据孤岛,传统IT架构管理平台割裂增大管理难度和故障风险,工业互联网的推进对企业云的稳定性和统一管理提出更加迫切的需求。

基于分布式的超融合架构为企业建云提供了强有力的支撑。超融合架构基于x86服务器和分布式存储,在同一套单元设备中融合计算、网络、存储和服务器虚拟化等资源及技术,多套单元设备通过网络聚合,实现模块化的横向扩展,形成统一的资源池。与传统架构相比,超融合架构具有以下特点:基于x86服务器的特性降低了建设与扩充成本,一体化的设计降低了系统资源构建、运维与管理难度,提升了可用性;分布式的架构实现资源弹性扩展与分散配置,避免单点故障对系统的影响;存储虚拟化将不同业务系统数据资源打通,避免了数据孤岛。分布式超融合架构可较好满足企业云敏捷性、稳定性与统一管理的部署需求,特别是在支撑大型企业工业互联网建设方面有较大优势。随着工业互联网的深入推进,未来企业云在各个行业的深入部署与应用将有力带动分布式超融合架构的发展,根据IDC的预测,未来两年超融合架构存储的年复合增长率达到25.2%。

云存储的协同发展对数据管理

提出更高要求

在新基建的带动下,云数据中心的规模化建设与边缘计算节点和终端设备的部署,将极大提升数据跨云流动和云边交互的协同需求,进而对存储系统的数据管理能力提出更高的要求。

一方面,协同架构要求存储系统实现高效的生命周期分级管理。根据读写频率不同,不同生命周期的数据对存储需求各异。例如边端传感器采集的信息,或金融系统实时处理的交易,数据的实时性强,读写频率高,对存储系统的时延、IOPS要求较高;实时数据经处理后存档,在一定时间内存在档案查询或价值挖掘等需求,读写频率较低,对存储系统吞吐量、海量文件的存取效率要求较高;当数据不再需要读写,作为容灾备份进行长期保存时,对存储系统性能要求低,但对成本要求较高。随着云存储的普及,分散在边缘云或中心云的数据对存储性能需求将呈现较大差异,云边协同和云网协同的架构要求存储系统实现数据生命周期的分级管理,实现资源的最大化利用。

另一方面,协同架构要求存储系统具备协同管理能力,满足多样化数据交互需求。当前“公有云﹢私有云”的应用模式实现了数据存储成本、灵活性与安全性的有机结合,融合多云与混合云的多云架构成为越来越多的企业数据存储的部署方案,云网协同的架构对存储系统跨云的数据统一调度与协同管理要求不断上升。随着5G、工业互联网、物联网的应用,更多的数据将在移动终端、摄像头、传感器等边缘设备产生且在边缘节点进行处理,云边协同的架构需要存储系统能够基于互联协议对云边节点的数据进行访问和管理,实现云端与边缘侧数据的汇聚与分发。

我国存储系统产业发展问题和

应对策略

虽然我国存储系统产业增速较快,但放眼全球格局,我国仍处于竞争劣势。从产业市场来看,存储系统的市场呈现向美日巨头高度集中的特点。根据2020年第一季度全球外部存储市场数据,排名前五位的均为美日企业(Dell EMC/NetApp/ HPE/Hitachi/IBM),市场总占比高达73%。我国华为位列第六,市场占比为5.9%;联想与NetApp成立合资公司后首次跻身第九,市场占比为1.2%。我国本土化企业在全球市场的业务实力有待进一步提升。

目前我国存储系统产业主要存在以下几个问题:一是产业起步较晚,国内大多数企业基于开源技术构建存储系统软件基础,核心技术欠缺,与国际巨头差距较大;二是产业链自主化程度不足,存储芯片等产业链核心环节对国外供应依赖性较强,产品成本与供应存在一定风险;三是目前存储系统产品较为单一,产业同质化竞争较为激烈,核心优势有所欠缺。

要提升我国存储系统产业的全球竞争力,一是要加强软件的研发投入与产学研结合,以自主核心技术构建创新实力壁垒,推动产业界痛点问题与学术界的联合攻关和学术界创新成果的转化落地,突破存储软件的短板;二是要加强产业链核心环节的资金投入与技术攻关,努力摆脱长期受制于人的局面;三是要把握国内市场需求,在新基建的引导下,针对不同的场景需求开发差异化产品,提升产业差异化竞争优势。

分享到:

关键字:存储系统

中国储能网版权说明:

1、凡注明来源为“中国储能网:xxx(署名)”,除与中国储能网签署内容授权协议的网站外,未经本网授权,任何单位及个人不得转载、摘编或以其它方式使用上述作品。

2、凡本网注明“来源:xxx(非中国储能网)”的作品,均转载与其他媒体,目的在于传播更多信息,但并不代表中国储能网赞同其观点、立场或证实其描述。其他媒体如需转载,请与稿件来源方联系,如产生任何版权问题与本网无关。

3、如因作品内容、版权以及引用的图片(或配图)内容仅供参考,如有涉及版权问题,可联系我们直接删除处理。请在30日内进行。

4、有关作品版权事宜请联系:13661266197、 邮箱:ly83518@126.com