+关注

spark平台与hadoop比较哪个前景更好

已邀请:

学者001 - 大数据工程师

赞同来自:


目前看来,在各个场合下spark都优于hadoop(Map/Reduce)。但Hadoop与MR是的初衷是为了使用廉价的、异构的机器来做分布式存储与计算,但spark对硬件的要求稍高,对内存/CPU是有较高要求的。如果不考虑成本因素,spark应该是未来的首选,当然也不排除2~3年后,在hadoop生态圈又有新贵出来替换spark。

桸櫾桎栘

赞同来自:


hadoop吧,尽管hadoop在部分方面不如spark,但是在hadoop2.X的版本上的yarn已经开始兼容spark,和storm了。并不是所有的企业对于数据的实时性要求那么高,hadoop应用会比较好一点

spark零起步 - 有梦想,一切皆有可能

赞同来自:

该答案已隐藏

数独

赞同来自:


在文件系统和离线数据存储方面hadoop的hdfs是spark取代不了,两者互为补充,目前spark都是基于hadoop进行部署的,也说明了两者的关系
详见 hadoop vs spark一文

相关课程
【现场班】hadoop+spark精英加速培训班(6天),全程上级实操,招招试用,助你加速成长!
http://www.ppvke.com/class/det ... 00074

【视频】大数据实战工具Spark 9章64讲 ,有料有量!
http://www.ppvke.com/vip?id=47

sushisysu - 学习者

赞同来自:


则重点不同, 如果是提及Hadoop, 其中的HDFS是取代不了的. 对于存储这一块的HDFS是通用的格式和基础. 但是针对运算这一块, Spark是趋势. 之所以说是趋势, 其中一个原因是其运行速度, 另一个是一些类如Cloudera这类的厂商也在推. 但是Spark有个问题是比较倾向于使用Scala, Python, 这个短时间内可能对推广有点阻碍.

要回复问题请先登录注册