导航:首页 > 数据处理 > pb数据怎么存储便宜

pb数据怎么存储便宜

发布时间:2024-06-16 13:14:05

大数据时代,数据应该如何存储

PB或多PB级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别,就像在笔记本电脑上处理数据和在RAID阵列上处理数据之间的差别。"
当Day在2009年加入Shutterfly时,存储已经成为该公司最大的开支,并且以飞快的速度增长。
"每N个PB的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础设施,"Day表示,"面对大规模数据存储,系统会更频繁地出问题,任何管理超大存储的人经常都要处理硬件故障。大家都在试图解决的根本问题是:当你知道存储的一部分将在一段时间内出现问题,你应该如何确保数据可用性,同时确保不会降低性能?"RAID问题解决故障的标准答案是复制,通常以RAID阵列的形式。但Day表示,面对庞大规模的数据时,RAID解决问题的同时可能会制造更多问题。在传统RAID数据存储方案中,每个数据的副本都被镜像和存储在阵列的不同磁盘中,以确保完整性和可用性。但这意味着每个被镜像和存储的数据将需要其本身五倍以上的存储空间。随着RAID阵列中使用的磁盘越来越大(从密度和功耗的角度来看,3TB磁盘非常具有吸引力),更换故障驱动器的时间也将变得越来越长。
"实际上,我们使用RAID并不存在任何操作问题,"Day表示,"我们看到的是,随着磁盘变得越来越大,当任何组件发生故障时,我们回到一个完全冗余的系统的时间增加。生成校验是与数据集的大小成正比的。当我们开始使用1TB和2TB的磁盘时,回到完全冗余系统的时间变得很长。可以说,这种趋势并没有朝着正确的方向发展。"
对于Shutterfly而言,可靠性和可用性是非常关键的因素,这也是企业级存储的要求。Day表示,其快速膨胀的存储成本使商品系统变得更具吸引力。当Day及其团队在研究潜在技术解决方案以帮助控制存储成本时,他们对于一项叫做纠删码(erasure code)的技术非常感兴趣。
采用擦除代码技术的下一代存储
里德-所罗门纠删码最初作为前向纠错码(Forward Error Correction, FEC)用于不可靠通道的数据传输,例如外层空间探测的数据传输。这项技术还被用于CD和DVD来处理光盘上的故障,例如灰尘和划痕。一些存储供应商已经开始将纠删码纳入他们的解决方案中。使用纠删码,数据可以被分解成几块,单块分解数据是无用的,然后它们被分散到不同磁盘驱动器或者服务器。在任何使用,这些数据都可以完全重组,即使有些数据块因为磁盘故障已经丢失。换句话说,你不需要创建多个数据副本,单个数据就可以确保数据的完整性和可用性。
基于纠删码的解决方案的早期供应商之一是Cleversafe公司,他们添加了位置信息来创建其所谓的分散编码,让用户可以在不同位置(例如多个数据中心)存储数据块或者说数据片。
每个数据块就其自身而言是无用的,这样能够确保隐私性和安全性。因为信息分散技术使用单一数据来确保数据完整性和可用性,而不是像RAID一样使用多个副本,公司可以节省多达90%的存储成本。
"当你将试图重组数据时,你并不一定需要提供所有数据块,"Cleversafe公司产品策略、市场营销和客户解决方案副总裁Russ Kennedy表示,"你生成的数据块的数量,我们称之为宽度,我们将重组数据需要的最低数量称之为门槛。你生成的数据块的数量和重组需要的数量之间的差异决定了其可靠性。同时,即使你丢失节点和驱动器,你仍然能够得到原来形式的数据。"

㈡ 什么是“PB级别的数据”

pb指petabyte,它是较高级穗激的存储单位,其上还有EB,ZB,YB等单位,1PB=1024TB。

未来学家码碧Raymond Kurzweil在他的论文中关于对PB级数据定义解释说:人类功能记忆的容量预计在1.25个TB,这意味着,800个人类记忆才相当于1个PB。

㈢ 什么是pB级企业数据存储

提供的企业存储空间达到pb,即100万GB的空间,(1pb=1000tb,1tb=1000gb,1gb=1000mb)。

Pb为petabyte级,Pb是一个更高级别的存储单元,其上有EB、ZB、YB等单元,1PB=1024TB。

未来学家雷蒙德·库兹韦尔(RaymondKurzweil)在其关于pb级数据定义的论文中解释:

人类功能性记忆的容量估计为1.25tb,这意味着800个人类记忆相当于1pb。

(3)pb数据怎么存储便宜扩展阅读:

pb级数据存储和使用:

AnyShare支持海量非结构化数据的统一存储,提供数十亿的容量存储,支持数据的重擦除,提高容量存储的效率。可以根据需要扩展容量,还可以扩展性能以降低单个GB数据存储的成本,从而降低总存储成本。

pbAnyShare存储容量,支持蠕虫的特征对象存储系统,AnyShareNAS网关的形式实施周期超过三个月的治疗非结构化数据存档、三个月内的活跃的文件存储在本地业务系统,确保电子档案,证据,如文件数据固化存储很长一段时间,防止被篡改和删除。

AnyShare的固化档案文件可以根据关键词、文件全称或标签等多种搜索方法准确检索出需要的文件,全文搜索可以在一秒内找到文件。

自动生成的标签是标签自动分析AnyShare文档的文档内容的分析选择,和手动标记标签根据需要手动添加帮助拍字节的数据进行分类和归档根据文档内容,并且可以准确地根据标签来提高检索效率的使用和访问文档。

阅读全文

与pb数据怎么存储便宜相关的资料

热点内容
嫦娥技术落后美国多少 浏览:125
抖音怎么看以前的直播数据 浏览:681
苏州工程技术职业学院怎么样 浏览:421
数据大屏讲解时长在哪里看 浏览:816
knn数据线怎么样 浏览:609
数据结构课是干什么的 浏览:468
研究生大数据技术与应用学些什么 浏览:788
张庭化妆品代理如何卖 浏览:140
用微米技术可以做什么 浏览:836
房改房转商品房多久可以交易 浏览:641
期货交易需要哪些技术 浏览:76
荆州有哪些家装市场 浏览:694
宜职院数控技术专业如何 浏览:125
excel数据如何导入到股市行情软件 浏览:783
惠农网卖家怎么交易 浏览:838
哪个汽车的数据中心在英国 浏览:610
没有代理记账许可证如何处罚 浏览:997
中国人工智能技术哪里最好 浏览:179
技术转移联盟是由什么组成 浏览:870
瑞丽水果批发市场有哪些 浏览:217