《电子技术应用》
您所在的位置:首页 > 通信与网络 > 设计应用 > 分布式对象存储——信息爆炸时代的“超级数据图书馆”
分布式对象存储——信息爆炸时代的“超级数据图书馆”
CCTIME
CCTIME
摘要: 分布式,存储,数据,存储,,华为,更清晰的认识我们所生存的环境,提高人际沟通效率,人们收集和创造了大量的数据,有些是对物理世界的客观描述,如原子和分子的组成,或是DNA螺旋结构;也包括烟波浩渺的宇宙中的星系和星云;亦或是人类对自身历史的记录;还有一些数据被用于人们相互沟通,
Abstract:
Key words :
</a>数据" title="数据">数据" title="数据">数据的产生及信息爆炸带来的挑战

    为了更清晰的认识我们所生存的环境,提高人际沟通效率,人们收集和创造了大量的数据,有些是对物理世界的客观描述,如原子和分子的组成,或是DNA螺旋结构;也包括烟波浩渺的宇宙中的星系和星云;亦或是人类对自身历史的记录;还有一些数据被用于人们相互沟通,如Facebook上每天新增数十亿条内容,或每天被发送的数千亿封邮件。

    随着人们对客观世界的逐步认知,人际沟通的效率越来越高,人们的沟通与生活也越来越丰富,人类收集和创造的数据也越来越多,这些数据饱含信息与知识,是人类智慧与勤劳的结晶,是人类宝贵的信息资产。一部《史记》,共52万6千500字,约1MB数据;一组用于基因研究的染色体照片数据量超过2TB;欧洲核子研究中心(CERN)每年有超过20PB数据通过全球最大的大型强子对撞机(LHC)被收集起来用于微观粒子研究。根据IDC的分析,2011年全球数据产生量达到1.8ZB,到2020年这个数字将增长50倍(1ZB=1,000EB=1,000,000PB),如此大规模的数据给存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储" title="存储">存储系统带来了巨大的挑战,人类将如何应对咆哮而来的数据洪流?

    存储方案的演进

    在人类发明和使用电子计算机以前,数据处理由人类大脑完成,大脑中还同时存储了大量信息用于支撑数据处理,人类大脑存储的信息依然相对有限,仍有大量数据被存储在图书馆。当有需要的时候,人们便会到图书馆获取更多的数据。以此我们可以总结出如下的一种数据存储与数据处理模型:

    该模型包括三个部分,计算单元、内部存储单元(低延迟,容量偏小)、外部存储单元(延迟增加,容量超大)。如果按照对图书的存储(记忆)能力来估算,通常一个人大脑中能记忆的内容不超过1000本书,图书馆中收藏的书籍大约是百万本为单位。两种存储的存储容量差距大概是1000倍,而且图书馆中的数据可以被很多人共享。

    20世纪电子与信息技术迅速发展,机器计算迅速普及,冯·诺依曼在1945年6月30日,提出了存储程序逻辑架构,即现有的计算机都遵循的“冯·诺依曼体系架构”,具体如下图:

    我们可以看出,冯诺依曼体系结构与人脑(生物)计算模型匹配度相当准确。我们通常把运算器和控制器合并成中央处理器(CPU),内部小容量的存储提供快速的访问,外部存储器提供大容量的存储空间。在不同的计算机时代,我们可以按照不同的角度来理解冯诺依曼体系结构。在单机计算时代(包括大型机、小型机、微机)内部存储器可理解为内存(即Memory),外部存储器可理解为物理硬盘(包括本地硬盘和通过网络映射的逻辑卷)。在本地硬盘空间不足,可靠性无法满足业务需求的情况下,SAN存储出现了,通过网络映射的逻辑卷(即SAN存储提供的LUN)成为增强版的硬盘。为了解决数据共享的问题,NAS存储随之诞生。

    但冯诺依曼体系架构没有考虑并行计算和数据共享情形,在如今的网络时代,大量计算设备通过网络形成一个庞大、相互独立但又逻辑统一的计算系统,因此我们可以总结出一个数据存储的通用模型,这个模型包括两级存储,其存储容量差距约1000倍:

    如果将上图中每一个计算模块理解为一个计算内核,那么高速存储单元则是CPU内的缓存(单位为KB~MB),海量存储单元则是内存(单位为GB);如果把每一个计算模块理解为一个CPU,那么高速存储单元则是内存(单位为GB~TB),海量存储是物理硬盘或通过网络映射给服务器的逻辑卷(或网络文件系统,单位为TB~PB);如果把计算模块理解为针对某一项任务或某一组任务提供计算能力的服务器集群,把SAN或NAS等拥有TB~PB级存储规模的网络存储设备理解为高速存储单元,那么具备PB~EB级存储容量的海量存储单元将基于什么技术和产品构建呢?

     SAN和NAS技术已经出现了数十年,目前单台SAN或NAS设备最大容量已经达到PB级别,但在应对EB级数据挑战时,还是显得有些力不从心。这主要由于其架构和服务接口决定的。

    SAN使用SCSI协议作为底层协议,SCSI协议管理的粒度非常小,通常以字节(byte)或千字节(KB)为单位;同时SCSI协议没有提供读写锁机制以确保不同应用并发读写时的数据一致性,因此难以实现EB级存储资源管理和多个服务器/服务器集群之间数据共享。

此内容为AET网站原创,未经授权禁止转载。