InfiniBand

InfiniBand（直譯為「無限頻寬」技術，縮寫為IB）是一個用於高效能計算的電腦網路通訊標準，它具有極高的吞吐量和極低的延遲，用於電腦與電腦之間的資料互連。InfiniBand也用作伺服器與儲存系統之間的直接或交換互連，以及儲存系統之間的互連。^[1]

截至2014年，它是超級電腦最常用的互連技術。Mellanox（英語：Mellanox）和英特爾製造InfiniBand主機匯流排配接器和網路交換器，並根據2016年2月的報道，^[2]甲骨文公司已經設計了自己的Infiniband交換機單元和伺服器適配晶片，用於自己的產品線和第三方。Mellanox IB卡可用於Solaris、RHEL、SLES（英語：SUSE_Linux_Enterprise_Server）、Windows、HP-UX、VMware ESX（英語：VMware ESX）、^[3] AIX。^[4]它被設計為可延伸和使用交換結構（英語：Switched fabric）的網路拓撲。

作為互連技術，IB與乙太網路、光纖通道和其他專有技術^[5]（例如克雷公司的SeaStar）競爭。該技術由InfiniBand貿易聯盟推動。

規格

效能

More information SDR, DDR ...

特徵
	SDR	DDR	QDR（英語：Quad Data Rate）	FDR-10	FDR	EDR	HDR	NDR
信令速率 (Gb/s)	2.5	5	10	10.3125	14.0625^[6]	25	50	100
理論有效吞吐量，Gb/s，每1x^[7]	2	4	8	10	13.64	24.24
4x鏈路速度 (Gbit/s)	8	16	32	40	54.54	96.97
12x鏈路速度 (Gbit/s)	24	48	96	120	163.64	290.91
編碼（位元）	8/10	8/10	8/10	64/66（英語：64b/66b encoding）	64/66	64/66
延遲時間（微秒）^[8]	5	2.5	1.3	0.7	0.7	0.5
年^[9]	2001、 2003	2005	2007		2011	2014^[7]	2017^[7]	2020年後

Close

鏈路可以聚合：大多數系統使用一個4X聚合。12X鏈路通常用於電腦叢集和超級電腦互連，以及用於內部網路交換器連接。

InfiniBand也提供遠端直接主記憶體訪問（RDMA）能力以降低CPU負載。

拓撲

InfiniBand使用一個交換結構（英語：switched fabric）拓撲，不同於早期的共享媒介乙太網路。所有傳輸開始或結束於通道配接器。每個處理器包含一個主機通道配接器（HCA），每個外設具有一個目標通道配接器（TCA）。這些配接器也可以交換安全性或QoS資訊。

訊息

InfiniBand以最高4 KB的封包傳送訊息資料。一條訊息可以為：

一個直接記憶體存取的讀取或寫入，對於一個遠端節點（RDMA）。
一個信道傳送或接收
一個基於事務的操作（可以逆向）
一個多播傳輸。
一個原子操作

物理互連

除了板式連接，它還支援有源和無源銅纜（最多30米）和光纜（最多10公里）。^[10]使用QSFP（英語：QSFP）連接器。

Inifiniband Association也指定了CXP（英語：CXP (connector)）銅連接器系統，用於通過銅纜或有源光纜達到高達120 Gbit/s的能力。

API

InfiniBand沒有標準的應用程式介面。標準只列出一組的動作例如 ibv_open_device 或是 ibv_post_send，這些都是必須存在的子程式或方法的抽象表示方式。這些子程式的語法由供應商自行定義。事實標準的軟體堆疊標準是由 OpenFabrics Alliance（英語：OpenFabrics Alliance）所開發的。它以雙許可證方式發佈，GNU通用公共許可證或BSD許可證用於 GNU/Linux 以及 FreeBSD，且 WinOF 在 Windows 下可以選擇 BSD許可證。它已被大多數 InfiniBand 供應商採用，用於 GNU/Linux、FreeBSD 以及 Windows。

歷史

InfiniBand源於1999年兩個競爭設計的合併：未來I/O與下一代I/O。這促成了InfiniBand貿易聯盟（InfiniBand Trade Association，縮寫IBTA），其中包括康柏、戴爾、惠普、IBM、英特爾、微軟及昇陽。當時有人認為一些更強大的電腦正在接近PCI匯流排的互連瓶頸（英語：interconnect bottleneck），儘管有像PCI-X的升級。^[11]InfiniBand架構規範的1.0版本發布於2000年。最初，IBTA的IB願景是取代PCI的I/O，乙太網路的機房、電腦叢集的互連以及光纖通道。IBTA也設想在IB結構（英語：Fabric computing）上分擔伺服器硬體。隨著網際網路泡沫的爆發，業界對投資這樣一個意義深遠的技術跳躍表現為猶豫不決。^[12]

時間線

2001年：Mellanox（英語：Mellanox）售出InfiniBridge 10Gbit/s裝置和超過10,000個InfiniBand埠。^[13]
2002年：英特爾宣布將著眼於開發PCI Express而不是採用IB晶片，以及微軟停止IB開發以利於擴充乙太網路，IB發展受挫，儘管Sun和日立繼續支援IB。^[14]
2003年：維吉尼亞理工學院暨州立大學建立了一個InfiniBand叢集，在當時的TOP500排名第三。
2004年：IB開始作為叢集互連採用，對抗乙太網路上的延遲和價格。^[12]OpenFabrics Alliance（英語：OpenFabrics Alliance）開發了一個標準化的基於Linux的InfiniBand軟體棧。次年，Linux添加IB支援。^[15]
2005年：IB開始被實現為儲存裝置的互連。^[16]
2009年：世界500強超級電腦中，259個使用千兆乙太網路作為內部互連技術，181個使用InfiniBand。^[17]
2010年：市場領導者Mellanox和Voltaire合併，IB供應商只剩下另一個競爭者——QLogic（英語：QLogic），它主要是光纖通道供應商。^[18] Oracle makes a major investment in Mellanox.
2011年：FDR交換機和配接器在國際超級計算會議（英語：International Supercomputing Conference）上宣布。^[19]
2012年：英特爾收購QLogic的InfiniBand技術。^[20]
2016年：甲骨文公司製造自己的InfiniBand互連晶片和交換單元。^[21]
2019年：Nvidia以69億美元收購Mellanox（英語：Mellanox）。^[22]

參見

SCSI RDMA協定（英語：SCSI RDMA Protocol）
iSCSI Extensions for RDMA（英語：iSCSI Extensions for RDMA）
iWARP（英語：iWARP）
電腦裝置頻寬列表
光互連
光通訊
並列光介面（英語：Parallel optical interface）
40/100十億位元乙太網路

參考資料

[1]
存档副本. [2017-01-09]. （原始內容存檔於2017-07-07）.
[2]
存档副本. [2017-01-09]. （原始內容存檔於2020-11-29）.
[3]
InfiniBand Cards - Overview. Mellanox. [30 July 2014]. （原始內容存檔於2020-01-11）.
[4]
Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. （原始內容存檔 (PDF)於2020-11-25）.
[5]
Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. （原始內容存檔於2021-01-27）.
[6]
存档副本. [2017-01-09]. （原始內容存檔於2016-08-26）.
[7]
存档副本. [2017-01-09]. （原始內容存檔於2011-09-29）.
[8]
http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf （頁面存檔備份，存於網際網路檔案館） // Mellanox
[9]
Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. （原始內容存檔 (PDF)於2020-06-13）.
[10]
Specification FAQ. ITA. [30 July 2014]. （原始內容存檔於2016-11-24）.
[11]
Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. （原始內容存檔於2014-08-09）.
[12]
Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. （原始內容存檔於2014年8月8日）.
[13]
Timeline. Mellanox Technologies. [28 July 2014]. （原始內容存檔於2019-11-29）.
[14]
Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. （原始內容存檔於2019-06-20）.
[15]
Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. （原始內容存檔於2020-10-21）.
[16]
Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], （原始內容存檔於2020-11-25）
[17]
Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. （原始內容存檔於2017-01-10）.
[18]
Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. （原始內容存檔於2017-07-01）.
[19]
Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. （原始內容存檔於2014-01-07）.
[20]
Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. （原始內容存檔於2012-01-27）.
[21]
Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. （原始內容存檔於2020-11-29）.
[22]
NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. （原始內容存檔於2019-03-11）.

外部連結

Dissecting a Small InfiniBand Application Using the Verbs API, arXiv:1105.1827 
Mellanox Technologies: InfiniBand Performance Metrics

[1] [1]
存档副本. [2017-01-09]. （原始內容存檔於2017-07-07）.

[2] [2]
存档副本. [2017-01-09]. （原始內容存檔於2020-11-29）.

[3] [3]
InfiniBand Cards - Overview. Mellanox. [30 July 2014]. （原始內容存檔於2020-01-11）.

[4] [4]
Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. （原始內容存檔 (PDF)於2020-11-25）.

[5] [5]
Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. （原始內容存檔於2021-01-27）.

[fdr_fact_sheet-6] [6]
存档副本. [2017-01-09]. （原始內容存檔於2016-08-26）.

[ib_over-7] [7]
存档副本. [2017-01-09]. （原始內容存檔於2011-09-29）.

[8] [8]
http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf （頁面存檔備份，存於網際網路檔案館） // Mellanox

[ccgrid11-ib-hse-23-9] [9]
Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. （原始內容存檔 (PDF)於2020-06-13）.

[faq-10] [10]
Specification FAQ. ITA. [30 July 2014]. （原始內容存檔於2016-11-24）.

[pentakalos-11] [11]
Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. （原始內容存檔於2014-08-09）.

[kim-12] [12]
Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. （原始內容存檔於2014年8月8日）.

[timeline-13] [13]
Timeline. Mellanox Technologies. [28 July 2014]. （原始內容存檔於2019-11-29）.

[14] [14]
Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. （原始內容存檔於2019-06-20）.

[15] [15]
Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. （原始內容存檔於2020-10-21）.

[16] [16]
Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], （原始內容存檔於2020-11-25）

[17] [17]
Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. （原始內容存檔於2017-01-10）.

[18] [18]
Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. （原始內容存檔於2017-07-01）.

[19] [19]
Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. （原始內容存檔於2014-01-07）.

[20] [20]
Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. （原始內容存檔於2012-01-27）.

[21] [21]
Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. （原始內容存檔於2020-11-29）.

[22] [22]
NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. （原始內容存檔於2019-03-11）.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]