infiniband相與乙太網的優勢在哪裡？

之前也沒有接觸過這方面的內容，所以不是很懂。
最近看了一些infiniband的資料，發現在數據中心等高性能計算場景Infiniband相較乙太網來說有很大優勢？例如帶寬（目前好像都是100G），低延時(infiniband好像是100ns)，RDMA技術方面（乙太網目前也有類似功能），另外價格方面兩者不是很清楚。。照目前來看是不是說Infiniband網路已經沒什麼優勢了？如果仍然有優勢為什麼普及率會這麼低?希望各位大神能夠幫我分析一下，謝謝！

之前一直做的乙太網，近兩年開始做infiniband相關，正好來回答你的問題。

就像你所說，一些以前IB特有的技術比如RDMA，協議卸載等，現在已經也可以在乙太網上用上了，此類差異並不本質，因此要比就要從二層及以下進行比較，就可以清楚看到這兩種網路的差異。

首先，IB和乙太網要解決的問題完全不同，所以在底層協議設計時的考慮也完全不一樣。

乙太網設計初衷是，多個不同的系統，如何讓他們之間流暢的進行信息交換？這是一種典型的network，它的設計中優先考慮的是兼容性與分散式。

IB要解決的問題是，在一套系統內部，如何將多個分開的部件整合起來，如同一臺設備一樣工作。我們可以把這種網路稱為一種fabric，是一種互聯技術，它的設計時考慮的優先是低延遲。

因此，在兩種網路設計時，採用了完全不同的思路。

為了便於區分，我們可以把乙太網想像成一個快遞包裹分發網路；而IB網路，則可以想像成一個城鐵軌道交通網路

乙太網類似一個快遞包裹分發網路，這個網路中所有的快遞中轉站（交換機/路由器）都是獨立運作，根據一套公認的規則（網路協議）進行分揀並投遞對。每個中轉站（網路設備）設備來說，第一，它可能看到發送到任何地址的包裹（分散式，異構的），所以它收到每個包都要算算該怎麼發（這就要花時間，引入延遲），如果業務太繁忙，收不下來了，就間斷粗暴的把包裹丟棄（丟包）。

IB網路你可以想像成一個城鐵軌道交通網路。這是因為IB的底層是基於VCT（Virtual Cut Through）技術。因此IB的一個數據包，與乙太網的包裹相比更像是一列火車（每節車廂是個叫做flit的數據單元）。為什麼這麼類比？不像乙太網在轉發時必須先在入隊列上包裹收下來，然後丟到出隊列等待再發出去。IB網路是直接然後再在過每個中轉站的時候，車屁股還沒進站，車頭已經向下一站出發了！所以它的延遲才能做到這麼低。並且，也如同軌道交通網路一樣，這些中轉站（交換機）之所以能做到這麼快的讓車輛通過，是因為目的地車站是確定且有限的（IB網路的地址數量，稱為LID號，是有限的，地址空間65535個），所有列車怎麼走在網路開始運行前都提前決定好了（路由表提前算好），所以在每個中轉站的扳道工只需要簡單查一下線路圖（實現就是個普通的數組查詢），「到10號站的車該走n2出口」就行了，而不像快遞網路一樣去查「xxx區xxx號xxx大廈」該怎麼走（實現中用哈希或者CAM）

這種傳輸方式能夠極致的降低延遲，那麼它就也不可避免的收到很多的限制，除了上面提到的地址空間限制外，如同軌道交通網路一樣，需要有個叫做subnet manager的調度中心來進行管理和調度，所以IB天生就是一個SDN網路。當然，IB的SDN它不看任何數據包，而是負責維護所有中轉站的那張線路圖（線性轉發表），除了保證調度策略高效穩定，還需要額外考慮軌道交通中避免死鎖問題（這個是乙太網不需要考慮的）。

理解了以上乙太網和IB網的理念之後，你的問題就很好回答了，在並行計算的場景，也就是需要多個節點共同做完成一個任務的場景（從應用角度看，主要看底層是不是基於MPI進行通信就可以區分），且有很高的性能要求的時候，IB網路仍然是首選，這也是為什麼IB網路是當前高性能計算行業的主要網路方案，但這個市場相對來說比較小。

當前的主流的數據中心網路都是要解決多個異構系統的互聯問題，即使是單一的大規模應用場景，包括雲計算、大數據等，主流也都是以高吞吐量場景，也就是多個節點做多個事情，對節點之間的通信延遲沒有很高的要求，更看重的是靈活的接入與擴容。所以這些場景用乙太網就非常合適。

這就是為什麼看著IB網路各項技術指標都很好，但是普及率遠遠不及乙太網的原因。

首先 rdma傳輸是硬體完成分片重組校驗的 CPU被釋放乙太網的各種協議棧都可以丟掉 CPU可以在百G下節省很多週期去做關鍵任務以前網路不快協議棧開銷很小現在網路瘋了這塊絕對變成瓶頸 ASIC強大了協議穩定了用硬體加速也是必然的

rdma是一種內存塊遠程傳輸介面底層實現可以是ib硬體也能是roce傳統乙太網 v1 v2的區別是能不能路由

高性能計算和雲服務場景要求節省計算資源的必然要優化到這裡

Ib鏈路裡面本身功能很多很完善但是需要從網卡到交換設備的整套投資

從軟體開發看用roce或者上層vmx會是很好的兼容選擇