基於Kubernetes來搭建生產用的Hadoop、Spark集群合理嗎？會不會有什麼坑？

kubernetes應用，運維

存儲網路坑而且會有性能損耗

很少見在k8s上搭建hadoop這一套東西的，一般資源隔離可以考慮yarn on docker，也僅限於yarn caintainer跑在k8s上。另外由於hdfs的存在，hadoop不太適合搭建在docker上，而且yarn本身就是一套資源管理系統。綜合考慮下，hadoop on k8s沒問題，但是需要做好節點的標籤與污點，隔離其他pod。但是建議還是單獨搭建hadopp生態，降低複雜性與性能下降

你既然問了這個問題，那麼對你來說，肯定到處都是坑。

行業裡面有這麼搞的嗎，非常多，特別是spark跑在k8s上特別普遍。hadoop能不能跑，也可以跑，我們現在就是在這麼搞。

你問了這個問題，說明你對k8s和docker都了解不多。在這個前提下，強烈建議你不要這麼搞，結果肯定是掉坑裡出不來。因為現在社區還沒有完整的標準解決方案。

spark用kubernetes還可以，hadoop就不太適合了

坑不是很正常嗎？坑都得自己去趟啊！

虛擬機或者容器來跑Hadoop和Spark，最大的優勢就是在於方便部署和管理，能夠做到資源的隔離。至於有什麼坑，肯定要自己淌過才知道的，坑不在於容器技術，在於你自己的配置。