infiniband相与乙太网的优势在哪里？

之前也没有接触过这方面的内容，所以不是很懂。
最近看了一些infiniband的资料，发现在数据中心等高性能计算场景Infiniband相较乙太网来说有很大优势？例如带宽（目前好像都是100G），低延时(infiniband好像是100ns)，RDMA技术方面（乙太网目前也有类似功能），另外价格方面两者不是很清楚。。照目前来看是不是说Infiniband网路已经没什么优势了？如果仍然有优势为什么普及率会这么低?希望各位大神能够帮我分析一下，谢谢！

之前一直做的乙太网，近两年开始做infiniband相关，正好来回答你的问题。

就像你所说，一些以前IB特有的技术比如RDMA，协议卸载等，现在已经也可以在乙太网上用上了，此类差异并不本质，因此要比就要从二层及以下进行比较，就可以清楚看到这两种网路的差异。

首先，IB和乙太网要解决的问题完全不同，所以在底层协议设计时的考虑也完全不一样。

乙太网设计初衷是，多个不同的系统，如何让他们之间流畅的进行信息交换？这是一种典型的network，它的设计中优先考虑的是兼容性与分散式。

IB要解决的问题是，在一套系统内部，如何将多个分开的部件整合起来，如同一台设备一样工作。我们可以把这种网路称为一种fabric，是一种互联技术，它的设计时考虑的优先是低延迟。

因此，在两种网路设计时，采用了完全不同的思路。

为了便于区分，我们可以把乙太网想像成一个快递包裹分发网路；而IB网路，则可以想像成一个城铁轨道交通网路

乙太网类似一个快递包裹分发网路，这个网路中所有的快递中转站（交换机/路由器）都是独立运作，根据一套公认的规则（网路协议）进行分拣并投递对。每个中转站（网路设备）设备来说，第一，它可能看到发送到任何地址的包裹（分散式，异构的），所以它收到每个包都要算算该怎么发（这就要花时间，引入延迟），如果业务太繁忙，收不下来了，就间断粗暴的把包裹丢弃（丢包）。

IB网路你可以想像成一个城铁轨道交通网路。这是因为IB的底层是基于VCT（Virtual Cut Through）技术。因此IB的一个数据包，与乙太网的包裹相比更像是一列火车（每节车厢是个叫做flit的数据单元）。为什么这么类比？不像乙太网在转发时必须先在入队列上包裹收下来，然后丢到出队列等待再发出去。IB网路是直接然后再在过每个中转站的时候，车屁股还没进站，车头已经向下一站出发了！所以它的延迟才能做到这么低。并且，也如同轨道交通网路一样，这些中转站（交换机）之所以能做到这么快的让车辆通过，是因为目的地车站是确定且有限的（IB网路的地址数量，称为LID号，是有限的，地址空间65535个），所有列车怎么走在网路开始运行前都提前决定好了（路由表提前算好），所以在每个中转站的扳道工只需要简单查一下线路图（实现就是个普通的数组查询），「到10号站的车该走n2出口」就行了，而不像快递网路一样去查「xxx区xxx号xxx大厦」该怎么走（实现中用哈希或者CAM）

这种传输方式能够极致的降低延迟，那么它就也不可避免的收到很多的限制，除了上面提到的地址空间限制外，如同轨道交通网路一样，需要有个叫做subnet manager的调度中心来进行管理和调度，所以IB天生就是一个SDN网路。当然，IB的SDN它不看任何数据包，而是负责维护所有中转站的那张线路图（线性转发表），除了保证调度策略高效稳定，还需要额外考虑轨道交通中避免死锁问题（这个是乙太网不需要考虑的）。

理解了以上乙太网和IB网的理念之后，你的问题就很好回答了，在并行计算的场景，也就是需要多个节点共同做完成一个任务的场景（从应用角度看，主要看底层是不是基于MPI进行通信就可以区分），且有很高的性能要求的时候，IB网路仍然是首选，这也是为什么IB网路是当前高性能计算行业的主要网路方案，但这个市场相对来说比较小。

当前的主流的数据中心网路都是要解决多个异构系统的互联问题，即使是单一的大规模应用场景，包括云计算、大数据等，主流也都是以高吞吐量场景，也就是多个节点做多个事情，对节点之间的通信延迟没有很高的要求，更看重的是灵活的接入与扩容。所以这些场景用乙太网就非常合适。

这就是为什么看著IB网路各项技术指标都很好，但是普及率远远不及乙太网的原因。

首先 rdma传输是硬体完成分片重组校验的 CPU被释放乙太网的各种协议栈都可以丢掉 CPU可以在百G下节省很多周期去做关键任务以前网路不快协议栈开销很小现在网路疯了这块绝对变成瓶颈 ASIC强大了协议稳定了用硬体加速也是必然的

rdma是一种内存块远程传输介面底层实现可以是ib硬体也能是roce传统乙太网 v1 v2的区别是能不能路由

高性能计算和云服务场景要求节省计算资源的必然要优化到这里

Ib链路里面本身功能很多很完善但是需要从网卡到交换设备的整套投资

从软体开发看用roce或者上层vmx会是很好的兼容选择