当前位置:首页 > 移动互联 > 大数据和区块链之间的比较分析

大数据和区块链之间的比较分析

admin 8个月前 250 0

 

6月5日移动互联 大数据和区块链两者之间有个共同的关键词:分布式,代表了一种从技术权威垄断到去中心化的转变。

大数据和区块链之间的比较分析 移动互联 第1张

分布式存储:HDFS vs. 区块

大数据,需要应对海量化和快增长的存储,这要求底层硬件架构和文件系统在性价比上要大大高于传统技术,能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外,大数据对存储技术提出的另一个挑战是多种数据格式的适应能力,因此现在大数据底层的存储层不只是HDFS,还有HBase和Kudu等存储架构。

区块链,是比特币的底层技术架构,它在本质上是一种去中心化的分布式账本。区块链技术作为一种持续增长的、按序整理成区块的链式数据结构,通过网络中多个节点共同参与数据的计算和记录,并且互相验证其信息的有效性。从这一点来说,区块链技术也是一种特定的数据库技术。由于去中心化数据库在安全、便捷方面的特性,很多业内人士看好其发展,认为它是对现有互联网技术的升级与补充。

分布式计算:MapReduce vs. 共识机制

大数据的分析挖掘是数据密集型计算,需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。Google和Hadoop的MapReduce是这种分布式计算技术的代表,通过添加服务器节点可线性扩展系统的总处理能力(Scale Out),在成本和可扩展性上都有巨大的优势。现在,除了批计算,大数据还包括了流计算、图计算、实时计算、交互查询等计算框架。

区块链的共识机制,就是所有分布式节之间怎么达成共识,通过算法来生成和更新数据,去认定一个记录的有效性,这既是认定的手段,也是防止篡改的手段。区块链主要包括四种不同的共识机制,适用于不同的应用场景,在效率和安全性之间取得平衡。以比特币为例,采用的是“工作量证明”(Proof Of Work,简称POW),只有在控制了全网超过51%的记账节点的情况下,才有可能伪造出一条不存在的记录。

IT技术发展的分分合合

和人类社会一样,IT技术发展的也呈现出“合久必分,分久必合”,即集中与分布的螺旋式上升。

计算机诞生初期,仅能实现一对一的使用,是集中化的。为了使得一台大型机能够同时为多个客户提供服务,IBM公司引入了虚拟化的设计思想,使得多个客户在同时使用同一台大型机时,就好像将其分割成了多个小型化的虚拟主机,是时分复用的集中式计算。

进入小型机和PC时代,回归了一对一的使用,不过设备已经分散到了千家万户。进入互联网时代,C/S模型的客户端和服务器是分布式计算,只不过服务器之间还是分散的。

进入云计算时代,计算能力又被统一管控起来,在客户端和服务器的分布式计算基础之上,服务器之间也开始了分布式协同工作。因为协同,所以也可以认为它们在整体上是一种集中式的计算服务。

进入大数据时代,云计算成为大数据基础设施,也使得大数据的核心思想和云计算一脉相承。MapReduce将任务分解进行分布式计算,然后将结果合并从而实现了信息的整合分析。

区块链则是纯粹意义上的分布式系统。

是什么力量造成了集中与分布的此消彼长?

让我们从历史中试着寻找答案。

商业需要集中,希望通过产品实现更好的控制和更高的利润。但随着产品集中度的不断上升,系统会越来越复杂,实现的难度越来越大,沟通、交流和管理的成本也越来越高,最终变得不经济。

社会需要分工,让专业的人做专业的事,涂尔干的《社会分工论》谈到,“分工使社会像有机体一样,每个成员都为社会整体服务,同时又不能脱离整体,分工就像社会的纽带,故谓之‘有机团结’。”

分布式技术的诞生,正是基于这种思想。产品功能被分解并分布到不同的节点上去完成,节点之间通过网络实现沟通。分布式系统中的一些节点或因为商业上的成功,重新成为“集中化”的节点,但随着时代的改变,它们终将会进入新一轮的分布式周期。如此往复。

集中和分布不是光谱的两端,任何伟大的产品,都是商业和技术的“有机团结”。

以上是区块链与大数据之间的一些相同点,接下来聊一聊两者之间的不同点。

两者属于不同的时代,区块链继大数据之后的又一次技术革命。

两个技术处于不同的生命周期

——Gartner Hype Cycle

技术成熟度曲线(The Hype Cycle)是咨询公司Gartner用来分析和预测各种新科技的成熟演变速度及所需时间著名工具。

大数据和区块链之间的比较分析 移动互联 第2张

“大数据”与“区块链”在Gartner历年的《技术成熟度曲线》中的出现情况

2011年,“大数据”第一次上榜,位于技术萌芽期的爬坡阶段,当时还统称为“‘Big Data’ and Extreme Information Processing and Management”(“大数据”和极端信息处理和管理)。2012年更进一步,并在2013年几乎达到了过热期顶峰。经历了2014年的下滑,从2015年开始,“大数据”突然从曲线中消失,可解读为Gartner对大数据的定位已从“新兴”转为“主流”。当前,大数据对于企业的意义已从能力要素上升为战略核心。

相对而言,“区块链”直到2016年才第一次出现在《技术成熟度曲线》中,并直接进入“过热期”。总的来看,“大数据”和“区块链”所处的生命周期阶段大不相同,两者约有5年左右的差距。

发表评论
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

相关文章

消息称阿里将淘点点等O2O项目独立运营 地位被弱化

消息称阿里将淘点点等O2O项目独立运营 地位被弱化

消息称阿里将淘点点等O2O项目独立运营 地位被弱化【TechWeb报道】4月9日消息,据媒体援引知情人士的消息,阿里巴巴将淘点点、淘宝本地生活等“生活服务类O...

2017年做SEO优化推广要学习“百度冰桶算法全盘点”

2017年做SEO优化推广要学习“百度冰桶算法全盘点”

2016年,冰桶算法连续发布3个升级版本,现已更新到冰桶算法4.5,辣么多算法,究竟都说了什么呢?冰桶算法,初次推出是2014年,主要打击移动端影响用户体验的落地页行为,从最初的严惩强...

华为P10事件表明,让强者主动认错似乎是个悖论

华为P10事件表明,让强者主动认错似乎是个悖论

 网络热点纷呈的时代,任何资讯都是茶余饭后的谈资,由于节奏太快,想不快速被后浪拍死在沙滩上都难。但是,华为P10事件引发的持续的热点却显得格外与众不同。这既与华为这个树太大容易招风有关,也与...

苹果两分钟:iPhone8外观确定,看看怎么样

苹果两分钟:iPhone8外观确定,看看怎么样

 5月23近日,微博网友给出一张据说是即将发布的苹果iPhone8的背部工程示意图以及生产配置流程图,从文件日期为5月3日来看,或许证实iPhone8的发布已经确认并且可以开始量产了。...

一个200元的粽子怎么卖出去,高手依旧在民间

一个200元的粽子怎么卖出去,高手依旧在民间

    【文章摘要】2块钱一个的粽子怎么卖到200块一个?重要的不是答案,而是你思考的方式。  一、做个ppt,把粽子的原料分别从种下到收获再到加工全部演示一遍,强调一下怎...

百度突生变故,饿了么、美团或将坐不住了!

百度突生变故,饿了么、美团或将坐不住了!

 5月17日互联资讯刚刚,百度又发大消息,外卖业务要出售给顺丰!顺丰控股将收购百度外卖,双方将按照5:5的出资比例,共同出资通过设立合资公司来运营。自去年10月份饿了么、美团相继与百度外卖...

分享10款非常实用的在线网站原型设计工具

分享10款非常实用的在线网站原型设计工具

现在,基于云端的软件渐渐成为主流,而网站原型设计工具当然也不例外。在线原型工具相比于桌面版有得天独厚的优势,它不需要安装、不限制地点、不限制操作系统,无论你使用的Linux,Solaris,M...

勒索病毒攻击再次爆发 国内校园网大面积感染

勒索病毒攻击再次爆发 国内校园网大面积感染

 5月13日,英国、意大利、俄罗斯等多个国家爆发勒索病毒攻击,国内校园网也出现大面积感染。这并不是勒索病毒首次发威。近几年来,勒索病毒已经多次出现爆发的情况。黑客利用Windows漏洞传播病...