分布式云存储到底是什么?又究竟如何让场景落地?

栏目: 后端 · 发布时间: 5年前

“区块链”这个词并不新鲜,但是很多提到它的时候第一反应是“炒币”。为什么会形成这种偏见?归根结底还是区块链的基础设施不行。 就说说大家还比较了解的以太猫和Fomo3D吧。用户群体其实并不庞大,可体验依旧不好。或者说,用户稍微多一点,操作系统就承载不了了。分布式系统本来是个好东西,但是对于用户来说,交易速度慢、门槛又高,对于开发者来说基础设施建设差、开发环境不友好,也是挺让人头疼的一件事。大家都在提DApp,可是DApp到底有没有真正开花结果?到底能够有什么样的影响力?也是很多人在思考的一个问题。

分布式云存储到底是什么?又究竟如何让场景落地?

互联网行业经历了几十年的发展,早已有很多应用落地生根,枝叶繁茂。相比之下,区块链就更需要好好打下根基。

说到底,分布式储存到底是什么?

分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

元数据管理的奥义

其中最重要的技术,便是元数据管理、系统弹性扩展技术、存储层级内的优化技术、针对应用和负载的存储优化技术,这几个也决定了一个分布式储存是否成功,能否运行的 关键。

毕竟在大数据环境下,元数据的体量也非常大,元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。集中式元数据管理架构采用单一的元数据服务器,实现简单.但是存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上.进而解决了元数据服务器的性能瓶颈等问题.并提高了元数据管理架构的可扩展性,但实现较为复杂,并引入了元数据一致性的问题。另外,还有一种无元数据服务器的分布式架构,通过在线算法组织数据,不需要专用的元数据服务器。但是该架构对数据一致性的保障很困难.实现较为复杂。文件目录遍历操作效率低下,并且缺乏文件系统全局监控管理功能。

而数据规模和复杂度的增加往往非常迅速,对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题,包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现,后者则侧重数据迁移算法的优化。此外,大数据存储体系规模庞大.结点失效率高,因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数,并动态地将数据在结点间迁移。以实现负载均衡;同时.结点失效时,数据必须可以通过副本等机制进行恢复,不能对上层应用产生影响。

构建存储系统时.需要基于成本和性能来考虑,因此存储系统通常采用多层不同性价比的存储器件组成存储层次结构。大数据的规模大,因此构建高效合理的存储层次结构,可以在保证系统性能的前提下,降低系统能耗和构建成本,利用数据访问局部性原理.可以从两个方面对存储层次结构进行优化。从提高性能的角度,可以通过分析应用特征,识别热点数据并对其进行缓存或预取,通过高效的缓存预取算法和合理的缓存容量配比,以提高访问性能。从降低成本的角度,采用信息生命周期管理方法,将访问频率低的冷数据迁移到低速廉价存储设备上,可以在小幅牺牲系统整体性能的基础上,大幅降低系统的构建成本和能耗。

传统数据存储模型需要支持尽可能多的应用,因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性,通用的数据存储模型通常并不是最能提高应用性能的模型.而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储,就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能,根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化,使应用达到最佳性能。这类优化技术在谷歌、Facebook等互联网公司的内部存储系统上,管理超过千万亿字节级别的大数据,能够达到非常高的性能。

而IPFS最为分布式储存中的翘楚,可以从本质上改变网络数据的分发机制。

分布式云存储到底是什么?又究竟如何让场景落地?

IPFS每个文件及其中的所有块都被赋予一个称为加密散列的唯一指纹。

通过网络删除重复具有相同哈希值的文件,通过计算是可以判断哪些文件是冗余重复的。并跟踪每个文件的版本历史记录。

每个网络节点只存储它感兴趣的内容,以及一些索引信息,有助于弄清楚谁在存储什么。

查找文件时,你通过文件的哈希值就可以在网络查找到储存改文件的节点,找到想要的文件。

使用称为IPNS(去中心化命名系统),每个文件都可以被协作命名为易读的名字。通过搜索,就能很容易地找到想要查看的文件。

IPFS设想的是让所有的网络终端节点不仅仅只充当 Browser或Client的角色,其实人人都可以作为这个网络的运营者,人人都可以是服务器。

落地场景应用情况

而我们都知道,千好万好,只有落地才是最重要,那么如今真能利用IPFS落地的分布式储存dapp应用场景又有哪些?

其实,分布式储存可结合的场景一直十分多元,电商、互联网金融、在线教育等行业的Web和移动应用等等,例如阿里的蚂蚁金服。蚂蚁区块链想要构建一个全球最强壮的工业级的全球会员系统,支撑业务发展,实现全球的互联。已在探索中的有医院和保险公司的业务,包括养老保险,信托、基金、银行等

分布式云存储到底是什么?又究竟如何让场景落地?

更例如京东,直接将区块链的分布式储存技术应用至物流追溯,使商家与品牌商、供应商、消费者、流通渠道等供应链上的各方以低成本迅速建立互信关系。让商品可溯源,消费者完全放心。

分布式云存储到底是什么?又究竟如何让场景落地?

更加直接的落地场景还有云盘,分布式云盘概念炒作很多,但是国内多是在白皮书阶段,基本上都是资本为了炒币描述的概念化项目,目前真正落地,实现公测体验的,就是前不久上架应用宝的《无极云》。

分布式云存储到底是什么?又究竟如何让场景落地?

无极云由深网科技推出,是基于IPFS分布式存储技术而升级的云储存APP,使用P2P传输协议,用户几乎再不会遇到404,502等尴尬情况。同时用户存储在网络上的文件将被永远的储存,无法抹去(除非刻意删除);并且ipfs可以帮助用户节约大量的带宽和存储等,不再需要浪费大量的设备来进行维护。以及将极大的降低数据传输的成本,同时数据可以更加安全便捷的进行传输。而根据目前所得知的规划,显然《无极云》也将苗头对向了企业云储存这一块,未来似乎将已帮助企业改革的方式融入,但剧情情况尚不清楚。

所以,就此我们也能看出,分布式存储系统的诞生,与传统存储的最终目的都是一样的,就是如何有效的利用好存储,并降低维护成本。分布式存储系统的产生也是对于传统存储系统缺点的补充,是在传统存储系统的基础上的改进,我们也期待分布式存储系统的发展,能够更好的降低维护的人力物资成本,实现存储资源的有效利用,实现数据的有效保护,而要走向落地的道路,还依旧很长,最重要的便是脱离那些不切实际的“一夜暴富”幻想。


以上所述就是小编给大家介绍的《分布式云存储到底是什么?又究竟如何让场景落地?》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深度探索C++对象模型

深度探索C++对象模型

斯坦利•B.李普曼 (Stanley B. Lippman) / 侯捷 / 电子工业出版社 / 2012-1 / 69.00元

作者Lippman参与设计了全世界第一套C++编译程序cfront,这本书就是一位伟大的C++编译程序设计者向你阐述他如何处理各种explicit(明确出现于C++程序代码中)和implicit(隐藏于程序代码背后)的C++语意。 本书专注于C++面向对象程序设计的底层机制,包括结构式语意、临时性对象的生成、封装、继承,以及虚拟——虚拟函数和虚拟继承。这本书让你知道:一旦你能够了解底层实现模......一起来看看 《深度探索C++对象模型》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

URL 编码/解码
URL 编码/解码

URL 编码/解码

MD5 加密
MD5 加密

MD5 加密工具