InfiniBand

InfiniBand（直译为“无限带宽”技术，缩写为IB）是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连。^[1]

截至2014年，它是超级计算机最常用的互连技术。Mellanox（英语：Mellanox）和英特尔制造InfiniBand主机总线适配器和网路交换器，并根据2016年2月的报道，^[2]甲骨文公司已经设计了自己的Infiniband交换机单元和服务器适配芯片，用于自己的产品线和第三方。Mellanox IB卡可用于Solaris、RHEL、SLES（英语：SUSE_Linux_Enterprise_Server）、Windows、HP-UX、VMware ESX（英语：VMware ESX）、^[3] AIX。^[4]它被设计为可扩展和使用交换结构（英语：Switched fabric）的网络拓扑。

作为互连技术，IB与以太网、光纤通道和其他专有技术^[5]（例如克雷公司的SeaStar）竞争。该技术由InfiniBand贸易联盟推动。

规格

性能

More information SDR, DDR ...

特征
	SDR	DDR	QDR（英语：Quad Data Rate）	FDR-10	FDR	EDR	HDR	NDR
信令速率 (Gb/s)	2.5	5	10	10.3125	14.0625^[6]	25	50	100
理论有效吞吐量，Gb/s，每1x^[7]	2	4	8	10	13.64	24.24
4x链路速度 (Gbit/s)	8	16	32	40	54.54	96.97
12x链路速度 (Gbit/s)	24	48	96	120	163.64	290.91
编码（位元）	8/10	8/10	8/10	64/66（英语：64b/66b encoding）	64/66	64/66
延迟时间（微秒）^[8]	5	2.5	1.3	0.7	0.7	0.5
年^[9]	2001、 2003	2005	2007		2011	2014^[7]	2017^[7]	2020年后

Close

链路可以聚合：大多数系统使用一个4X聚合。12X链路通常用于计算机集群和超级计算机互连，以及用于内部网路交换器连接。

InfiniBand也提供远程直接内存访问（RDMA）能力以降低CPU负载。

拓扑

InfiniBand使用一个交换结构（英语：switched fabric）拓扑，不同于早期的共享媒介以太网。所有传输开始或结束于通道适配器。每个处理器包含一个主机通道适配器（HCA），每个外设具有一个目标通道适配器（TCA）。这些适配器也可以交换安全性或QoS信息。

消息

InfiniBand以最高4 KB的封包发送消息数据。一条消息可以为：

一个直接记忆体存取的读取或写入，对于一个远程节点（RDMA）。
一个信道发送或接收
一个基于事务的操作（可以逆向）
一个多播传输。
一个原子操作

物理互连

除了板式连接，它还支持有源和无源铜缆（最多30米）和光缆（最多10公里）。^[10]使用QSFP（英语：QSFP）连接器。

Inifiniband Association也指定了CXP（英语：CXP (connector)）铜连接器系统，用于通过铜缆或有源光缆达到高达120 Gbit/s的能力。

API

InfiniBand没有标准的应用程序接口。标准只列出一组的动作例如 ibv_open_device 或是 ibv_post_send，这些都是必须存在的子程序或方法的抽象表示方式。这些子程序的语法由供应商自行定义。事实标准的软体堆叠标准是由 OpenFabrics Alliance（英语：OpenFabrics Alliance）所开发的。它以双许可证方式发布，GNU通用公共许可证或BSD许可证用于 GNU/Linux 以及 FreeBSD，且 WinOF 在 Windows 下可以选择 BSD许可证。它已被大多数 InfiniBand 供应商采用，用于 GNU/Linux、FreeBSD 以及 Windows。

历史

InfiniBand源于1999年两个竞争设计的合并：未来I/O与下一代I/O。这促成了InfiniBand贸易联盟（InfiniBand Trade Association，缩写IBTA），其中包括康柏、戴尔、惠普、IBM、英特尔、微软及昇阳。当时有人认为一些更强大的电脑正在接近PCI总线的互连瓶颈（英语：interconnect bottleneck），尽管有像PCI-X的升级。^[11]InfiniBand架构规范的1.0版本发布于2000年。最初，IBTA的IB愿景是取代PCI的I/O，以太网的机房、计算机集群的互连以及光纤通道。IBTA也设想在IB结构（英语：Fabric computing）上分担服务器硬件。随着互联网泡沫的爆发，业界对投资这样一个意义深远的技术跳跃表现为犹豫不决。^[12]

时间线

2001年：Mellanox（英语：Mellanox）售出InfiniBridge 10Gbit/s设备和超过10,000个InfiniBand端口。^[13]
2002年：英特尔宣布将着眼于开发PCI Express而不是采用IB芯片，以及微软停止IB开发以利于扩展以太网，IB发展受挫，尽管Sun和日立继续支持IB。^[14]
2003年：弗吉尼亚理工学院暨州立大学建立了一个InfiniBand集群，在当时的TOP500排名第三。
2004年：IB开始作为集群互连采用，对抗以太网上的延迟和价格。^[12]OpenFabrics Alliance（英语：OpenFabrics Alliance）开发了一个标准化的基于Linux的InfiniBand软件栈。次年，Linux添加IB支持。^[15]
2005年：IB开始被实现为存储设备的互连。^[16]
2009年：世界500强超级计算机中，259个使用千兆以太网作为内部互连技术，181个使用InfiniBand。^[17]
2010年：市场领导者Mellanox和Voltaire合并，IB供应商只剩下另一个竞争者——QLogic（英语：QLogic），它主要是光纤通道供应商。^[18] Oracle makes a major investment in Mellanox.
2011年：FDR交换机和适配器在国际超级计算会议（英语：International Supercomputing Conference）上宣布。^[19]
2012年：英特尔收购QLogic的InfiniBand技术。^[20]
2016年：甲骨文公司制造自己的InfiniBand互连芯片和交换单元。^[21]
2019年：Nvidia以69亿美元收购Mellanox（英语：Mellanox）。^[22]

参见

SCSI RDMA协议（英语：SCSI RDMA Protocol）
iSCSI Extensions for RDMA（英语：iSCSI Extensions for RDMA）
iWARP（英语：iWARP）
电脑装置频宽列表
光互连
光通讯
并行光接口（英语：Parallel optical interface）
40/100吉比特以太网

参考资料

[1]
存档副本. [2017-01-09]. （原始内容存档于2017-07-07）.
[2]
存档副本. [2017-01-09]. （原始内容存档于2020-11-29）.
[3]
InfiniBand Cards - Overview. Mellanox. [30 July 2014]. （原始内容存档于2020-01-11）.
[4]
Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. （原始内容存档 (PDF)于2020-11-25）.
[5]
Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. （原始内容存档于2021-01-27）.
[6]
存档副本. [2017-01-09]. （原始内容存档于2016-08-26）.
[7]
存档副本. [2017-01-09]. （原始内容存档于2011-09-29）.
[8]
http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf （页面存档备份，存于互联网档案馆） // Mellanox
[9]
Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. （原始内容存档 (PDF)于2020-06-13）.
[10]
Specification FAQ. ITA. [30 July 2014]. （原始内容存档于2016-11-24）.
[11]
Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. （原始内容存档于2014-08-09）.
[12]
Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. （原始内容存档于2014年8月8日）.
[13]
Timeline. Mellanox Technologies. [28 July 2014]. （原始内容存档于2019-11-29）.
[14]
Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. （原始内容存档于2019-06-20）.
[15]
Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. （原始内容存档于2020-10-21）.
[16]
Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], （原始内容存档于2020-11-25）
[17]
Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. （原始内容存档于2017-01-10）.
[18]
Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. （原始内容存档于2017-07-01）.
[19]
Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. （原始内容存档于2014-01-07）.
[20]
Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. （原始内容存档于2012-01-27）.
[21]
Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. （原始内容存档于2020-11-29）.
[22]
NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. （原始内容存档于2019-03-11）.

外部链接

Dissecting a Small InfiniBand Application Using the Verbs API, arXiv:1105.1827 
Mellanox Technologies: InfiniBand Performance Metrics

[1] [1]
存档副本. [2017-01-09]. （原始内容存档于2017-07-07）.

[2] [2]
存档副本. [2017-01-09]. （原始内容存档于2020-11-29）.

[3] [3]
InfiniBand Cards - Overview. Mellanox. [30 July 2014]. （原始内容存档于2020-01-11）.

[4] [4]
Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. （原始内容存档 (PDF)于2020-11-25）.

[5] [5]
Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. （原始内容存档于2021-01-27）.

[fdr_fact_sheet-6] [6]
存档副本. [2017-01-09]. （原始内容存档于2016-08-26）.

[ib_over-7] [7]
存档副本. [2017-01-09]. （原始内容存档于2011-09-29）.

[8] [8]
http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf （页面存档备份，存于互联网档案馆） // Mellanox

[ccgrid11-ib-hse-23-9] [9]
Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. （原始内容存档 (PDF)于2020-06-13）.

[faq-10] [10]
Specification FAQ. ITA. [30 July 2014]. （原始内容存档于2016-11-24）.

[pentakalos-11] [11]
Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. （原始内容存档于2014-08-09）.

[kim-12] [12]
Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. （原始内容存档于2014年8月8日）.

[timeline-13] [13]
Timeline. Mellanox Technologies. [28 July 2014]. （原始内容存档于2019-11-29）.

[14] [14]
Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. （原始内容存档于2019-06-20）.

[15] [15]
Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. （原始内容存档于2020-10-21）.

[16] [16]
Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], （原始内容存档于2020-11-25）

[17] [17]
Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. （原始内容存档于2017-01-10）.

[18] [18]
Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. （原始内容存档于2017-07-01）.

[19] [19]
Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. （原始内容存档于2014-01-07）.

[20] [20]
Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. （原始内容存档于2012-01-27）.

[21] [21]
Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. （原始内容存档于2020-11-29）.

[22] [22]
NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. （原始内容存档于2019-03-11）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]