基于Kubernetes来搭建生产用的Hadoop、Spark集群合理吗？会不会有什么坑？

kubernetes应用，运维

存储网路坑而且会有性能损耗

很少见在k8s上搭建hadoop这一套东西的，一般资源隔离可以考虑yarn on docker，也仅限于yarn caintainer跑在k8s上。另外由于hdfs的存在，hadoop不太适合搭建在docker上，而且yarn本身就是一套资源管理系统。综合考虑下，hadoop on k8s没问题，但是需要做好节点的标签与污点，隔离其他pod。但是建议还是单独搭建hadopp生态，降低复杂性与性能下降

你既然问了这个问题，那么对你来说，肯定到处都是坑。

行业里面有这么搞的吗，非常多，特别是spark跑在k8s上特别普遍。hadoop能不能跑，也可以跑，我们现在就是在这么搞。

你问了这个问题，说明你对k8s和docker都了解不多。在这个前提下，强烈建议你不要这么搞，结果肯定是掉坑里出不来。因为现在社区还没有完整的标准解决方案。

spark用kubernetes还可以，hadoop就不太适合了

坑不是很正常吗？坑都得自己去趟啊！

虚拟机或者容器来跑Hadoop和Spark，最大的优势就是在于方便部署和管理，能够做到资源的隔离。至于有什么坑，肯定要自己淌过才知道的，坑不在于容器技术，在于你自己的配置。