Hadoop和Spark有什么区别?

Spark位于内存处理引擎中，因此尽管它是基于MapReduce / Hadoop构建的，但它比MapReduce更快。Spark拥有丰富的库集，用于数据处理，分析，机器学习，查询等。

可以说，MapReduce是像C这样的低级语言编程语言，而Spark是像SQL这样的高级语言。因此，如果需要深入研究数据，那么MapReduce将比Spark更好。另一个比喻是MapReduce是PL / SQL语言，而Spark是SQL语言

Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼

近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同

Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥

虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分散式存储系统

而分散式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬碟上，并提供了良好的可扩展性，只需要随著数据集的增大增加硬碟

因此，Spark需要一个第三方的分散式存储，也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上，这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了

与Hadoop相比，Spark真正的优势在于速度，Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上，这是为了确保在出现问题时能够完全恢复，但Spark的弹性分散式数据存储也能实现这一点

另外，在高级数据处理（如实时流处理、机器学习）方面，Spark的功能要胜过Hadoop

在Bernard看来，这一点连同其速度优势是Spark越来越受欢迎的真正原因

实时处理意味著可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈

在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控

Spark平台的速度和流数据处理能力也非常适合机器学习演算法，这类演算法可以自我学习和改进，直到找到问题的理想解决方案

这种技术是最先进位造系统（如预测零件何时损坏）和无人驾驶汽车的核心

Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout

实际上，虽然Spark和Hadoop存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务

例如，Cloudera 就既提供 Spark服务也提供 Hadoop服务，并会根据客户的需要提供最合适的建议

Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达，在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法

诞生的先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二代
属于下一代的spark肯定在综合评价上要优于第一代的hadoop
spark和hadoop在分散式计算的底层思路上，其实是极为相似的，即mapreduce分散式运算模型：将运算分成两个阶段，阶段1-map，负责从上游拉取数据后各自运算，然后将运算结果shuffle给下游的reduce，reduce再各自对通过shuffle读取来的数据进行聚合运算
spark和hadoop在分散式计算的具体实现上，又有区别；hadoop中的mapreduce运算框架，一个运算job，进行一次map-reduce的过程；而spark的一个job中，可以将多个map-reduce过程级联进行
spark和hadoop的另一个区别是，spark是一个运算平台，而hadoop是一个复合平台（包含运算引擎，还包含分散式文件存储系统，还包含分散式运算的资源调度系统），所以，spark跟hadoop来比较的话，主要是比运算这一块
大数据技术发展到目前这个阶段，hadoop（主要是说它的运算部分）日渐式微，而spark目前如日中天，相关技术需求量大，offer好拿，薪资相对更高

对比不恰当。应该去关注hove和spark的区别。不完整的比喻，hadoop是铁轨，上面跑绿皮车hive和跑高铁spark有区别。而不应该问铁轨和高铁有什么区别。

Hadoop是目前最主流的大数据生态体系，其核心包含HDFS分散式存储，hive数据仓库，hbase列式资料库及yarn分散式调度等组件。而spark是基于内存计算的分散式计算引擎。可以和Hadoop集成使用。

主要是编程思想不一样，spark 有众多运算元可以完成业务需要，spark 十来行代码就能解决的任务，在 hadoop map reduce需要几百行，而且编写过程十分痛苦，要学肯定要学 spark 了，hadoop 可以说是一个生态，可以学一下 hdfs ,yarn 之类的，但 map reduce 没必要再花时间去写，直接上手 spark 就好