数据基础设施
数据基础设施是传统IT基础设施面向数字化、智能化转演进的必然结果。新技术如AI、5G、IoT的广泛应用,推动了数据爆发增长。数据已经成为数字经济时代的生产要素,驱动着国家、社会和企业的数字化转型。围绕数据为中心,深度整合计算、存储、网络和软件资源,以充分挖掘数据价值为目标,使数据“存得下、流得动、用得好”所设计建设的数据中心和边缘基础设施被称为数据基础设施。
基本信息
- 中文名
数据基础设施
- 外文名
Intelligent Data Infrastructure
- 构成
存储、计算、网络、操作系统、数据库、大数据等
- 特征
融合、协同、智能、安全、开放
背景
数据是数字经济时代的核心生产要素。
社会已经迎来了继农业经济、工业经济之后的数字经济时代,如同农业时代的土地、劳动力,工业时代的技术、资本一样,数据已经成为数字经济时代的生产要素,而且是最核心的生产要素,数据甚至被认为已经超过石油的价值。数据驱动型创新正在向经济社会、科技研发等各个领域扩展,成为国家创新发展的关键形式和重要方向。包含数据因素的生产函数1可以用如下公式表达:
Y =F(A, D, K, L, T)
Y: 经济产出 F:生产函数 A:技术进步 L:劳动力 T:土地 K:资本D:数据
业务需求
随着社会数字化、智能化加速发展,新技术如AI、5G、IoT的广泛应用,以及大量新的硬件与应用带来数据量快速增长的同时,也让数据类型越来越多样化。生产、采集和保存尽可能多的数据,用于全量分析以洞察先机。到2025年,全球将产生180ZB(1ZB = 1,000,000,000,000,000,000,000Byte)的数据2。海量数据蕴含巨大的价值,也给存储系统带来了前所未有的挑战。
4K视频已经普及,8K、AR、VR时代即将到来。在工业和信息化部、国家广播电视总局、中央广播电视总台联合发布的《超高清视频产业发展行动计划(2019-2022年)》中提出“4K先行、兼顾8K”的总体技术路线,使广电行业IT基础设施在高可靠的基础上,向着高性能、低延迟、集约化的方向转型,尤其对存储平台的能力带来巨大挑战。
5G通过提升连接速率和降低时延,使单位时间内产生的数据量急剧增长。物联网将得到较大程度的发展,人与物、物与物之间的连接将急剧增多,数据采集渠道将更加丰富,如联网汽车、可穿戴设备、机器人等,这也对数据存储与采集技术提出更高要求。同时,5G时代下越来越多的IoT设备将通过边缘计算进行存储、处理和分析,云、边协同能力变得尤为重要。
人工智能(AI)和大数据的应用改变了数据的存储周期和形态。比如,公安部《公安机关现场执法视音频记录工作规定》3明确提出,现场执法视音频资料的保存期限原则上应当不少于六个月,以构筑“更长证据链”。其次,AI需要全数据训练、处理和分析。在数据规模化增长的趋势下,可以按温度来定义不同访问频率的数据:经常被访问的数据称为热数据,而较少被访问的数据称为冷数据,处于中间状态的称为温数据。应用AI之后,需要数据能在冷、温、热之间随时进行切换。
技术革新
近年来一系列的技术革新和新技术的出现,使得传统IT基础设施往数据基础设施演进成为可能。例如,人工智能(AI)技术在数据领域的应用大大降低了大规模集群的运维难度;分布式存储技术打通了块、文件、对象和HDFS等不同的存储协议,使不同类型不同来源的数据集中存储成为可能;全闪存和SCM等新型存储介质的出现使存储不再成为系统的性能瓶颈;GPU、NPU、ARM等非x86架构芯片的蓬勃发展为数据带来多样化算力。在执行不同类型的数据运算时,异构算力会显著提升运算效率。因此,无论是硬件系统还是数据库、大数据等软件系统都将支持异构算力作为演进的关键点之一。
定义
数据基础设施是传统IT基础设施的演进,是围绕数据为中心,深度整合计算、存储、网络和软件资源,以充分挖掘数据价值为目标所设计建设的数据中心IT基础设施。数据基础设施涵盖接入、存储、计算、管理和数据使能五个领域,通过汇聚各方数据,提供“采-存-算-管-用”全生命周期的支撑能力,构建全方位的数据安全体系,打造开放的数据生态环境,让数据“存得下、流得动、用得好,将数据资源转变为数据资产,最大化数据价值。
范围
数据基础设施由基础设施层和数据管理层组成,其中基础设施层包括存储、计算、网络等硬件设施,数据管理层由操作系统、数据库系统及大数据系统组成,构成支撑数据存储及数据全生命周期管理的软件设施。
在基础设施层,区别于传统的硬件设施,数据基础设施将引入多样性计算,从单一算力到多样性算力,匹配多样性数据,让计算更高效;存储也会从单一类型存储走向多样性融合存储,构建融合处理基础,应对存储效率低、管理复杂的问题。
在数据管理层,将结合大数据系统和数据库系统提供的“采-存-算-管-用”全流程的软件支撑,从单一处理向多源数据智能协同、融合处理发展,应对更实时和智能的数据应用需求,加速实现数据价值。
数据基础设施需要面向数据构建全方位的安全体系,保障数据端到端的安全和隐私合规,打造开放的数据生态环境,推动全社会数据的共享和开放,创造更大的价值。