InfiniBand
高速、低延迟的计算机网络通信总线 / 维基百科,自由的 encyclopedia
InfiniBand(直译为“无限带宽”技术,缩写为IB)是一个用于高性能计算的电脑网络通信标准,它具有极高的吞吐量和极低的延迟,用于电脑与电脑之间的数据互连。InfiniBand也用作伺服器与存储系统之间的直接或交换互连,以及存储系统之间的互连。[1]
截至2014年,它是超级计算机最常用的互连技术。Mellanox(英语:Mellanox)和英特尔制造InfiniBand主机总线适配器和网络交换器,并根据2016年2月的报道,[2]甲骨文公司已经设计了自己的Infiniband交换机单元和伺服器适配晶片,用于自己的产品线和第三方。Mellanox IB卡可用于Solaris、RHEL、SLES(英语:SUSE_Linux_Enterprise_Server)、Windows、HP-UX、VMware ESX(英语:VMware ESX)、[3] AIX。[4]它被设计为可扩展和使用交换结构(英语:Switched fabric)的网络拓扑。
作为互连技术,IB与以太网、光纤通道和其他专有技术[5](例如克雷公司的SeaStar)竞争。该技术由InfiniBand贸易联盟推动。
规格
性能
SDR | DDR | QDR(英语:Quad Data Rate) | FDR-10 | FDR | EDR | HDR | NDR | |
---|---|---|---|---|---|---|---|---|
信令速率 (Gb/s) | 2.5 | 5 | 10 | 10.3125 | 14.0625[6] | 25 | 50 | 100 |
理论有效吞吐量,Gb/s,每1x[7] | 2 | 4 | 8 | 10 | 13.64 | 24.24 | ||
4x链路速度 (Gbit/s) | 8 | 16 | 32 | 40 | 54.54 | 96.97 | ||
12x链路速度 (Gbit/s) | 24 | 48 | 96 | 120 | 163.64 | 290.91 | ||
编码(位元) | 8/10 | 8/10 | 8/10 | 64/66(英语:64b/66b encoding) | 64/66 | 64/66 | ||
延迟时间(微秒)[8] | 5 | 2.5 | 1.3 | 0.7 | 0.7 | 0.5 | ||
年[9] | 2001、 2003 |
2005 | 2007 | 2011 | 2014[7] | 2017[7] | 2020年后 |
链路可以聚合:大多数系统使用一个4X聚合。12X链路通常用于电脑集群和超级计算机互连,以及用于内部网络交换器连接。
InfiniBand也提供远程直接内存访问(RDMA)能力以降低CPU负载。
拓扑
InfiniBand使用一个交换结构(英语:switched fabric)拓扑,不同于早期的共享介质以太网。所有传输开始或结束于通道适配器。每个处理器包含一个主机通道适配器(HCA),每个外设具有一个目标通道适配器(TCA)。这些适配器也可以交换安全性或QoS资讯。
消息
InfiniBand以最高4 KB的数据包发送消息数据。一条消息可以为:
物理互连
![](http://upload.wikimedia.org/wikipedia/commons/thumb/a/ab/Infinibandport.jpg/320px-Infinibandport.jpg)
除了板式连接,它还支持有源和无源铜缆(最多30米)和光缆(最多10公里)。[10]使用QSFP(英语:QSFP)连接器。
Inifiniband Association也指定了CXP(英语:CXP (connector))铜连接器系统,用于通过铜缆或有源光缆达到高达120 Gbit/s的能力。
API
InfiniBand没有标准的应用程序接口。标准只列出一组的动作例如 ibv_open_device
或是 ibv_post_send
,这些都是必须存在的子程序或方法的抽象表示方式。这些子程序的语法由供应商自行定义。事实标准的软件堆栈标准是由 OpenFabrics Alliance(英语:OpenFabrics Alliance) 所开发的。它以双许可证方式发布,GNU通用公共许可证或BSD许可证用于 GNU/Linux 以及 FreeBSD,且 WinOF 在 Windows 下可以选择 BSD许可证。它已被大多数 InfiniBand 供应商采用,用于 GNU/Linux、FreeBSD 以及 Windows。
历史
InfiniBand源于1999年两个竞争设计的合并:未来I/O与下一代I/O。这促成了InfiniBand贸易联盟(InfiniBand Trade Association,缩写IBTA),其中包括康柏、戴尔、惠普、IBM、英特尔、微软及昇阳。当时有人认为一些更强大的电脑正在接近PCI总线的互连瓶颈(英语:interconnect bottleneck),尽管有像PCI-X的升级。[11]InfiniBand架构规范的1.0版本发布于2000年。最初,IBTA的IB愿景是取代PCI的I/O,以太网的机房、电脑集群的互连以及光纤通道。IBTA也设想在IB结构(英语:Fabric computing)上分担伺服器硬件。随着互联网泡沫的爆发,业界对投资这样一个意义深远的技术跳跃表现为犹豫不决。[12]
时间线
- 2001年:Mellanox(英语:Mellanox)售出InfiniBridge 10Gbit/s装置和超过10,000个InfiniBand端口。[13]
- 2002年:英特尔宣布将着眼于开发PCI Express而不是采用IB晶片,以及微软停止IB开发以利于扩展以太网,IB发展受挫,尽管Sun和日立继续支持IB。[14]
- 2003年:弗吉尼亚理工学院暨州立大学建立了一个InfiniBand集群,在当时的TOP500排名第三。
- 2004年:IB开始作为集群互连采用,对抗以太网上的延迟和价格。[12]OpenFabrics Alliance(英语:OpenFabrics Alliance)开发了一个标准化的基于Linux的InfiniBand软件栈。次年,Linux添加IB支持。[15]
- 2005年:IB开始被实现为存储装置的互连。[16]
- 2009年:世界500强超级计算机中,259个使用千兆以太网作为内部互连技术,181个使用InfiniBand。[17]
- 2010年:市场领导者Mellanox和Voltaire合并,IB供应商只剩下另一个竞争者——QLogic(英语:QLogic),它主要是光纤通道供应商。[18] Oracle makes a major investment in Mellanox.
- 2011年:FDR交换机和适配器在国际超级计算会议(英语:International Supercomputing Conference)上宣布。[19]
- 2012年:英特尔收购QLogic的InfiniBand技术。[20]
- 2016年:甲骨文公司制造自己的InfiniBand互连晶片和交换单元。[21]
- 2019年:Nvidia以69亿美元收购Mellanox(英语:Mellanox)。[22]
参见
- SCSI RDMA协议(英语:SCSI RDMA Protocol)
- iSCSI Extensions for RDMA(英语:iSCSI Extensions for RDMA)
- iWARP(英语:iWARP)
- 电脑装置带宽列表
- 光互连
- 光通讯
- 并行光接口(英语:Parallel optical interface)
- 40/100吉比特以太网
参考资料
- InfiniBand Cards - Overview. Mellanox. [30 July 2014]. (原始内容存档于2020-01-11).
- Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. (原始内容存档 (PDF)于2020-11-25).
- Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. (原始内容存档于2021-01-27).
- Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. (原始内容存档 (PDF)于2020-06-13).
- Specification FAQ. ITA. [30 July 2014]. (原始内容存档于2016-11-24).
- Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. (原始内容存档于2014-08-09).
- Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. (原始内容存档于2014年8月8日).
- Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. (原始内容存档于2019-06-20).
- Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. (原始内容存档于2020-10-21).
- Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], (原始内容存档于2020-11-25)
- Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. (原始内容存档于2017-01-10).
- Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. (原始内容存档于2017-07-01).
- Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. (原始内容存档于2014-01-07).
- Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. (原始内容存档于2012-01-27).
- Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. (原始内容存档于2020-11-29).
- NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. (原始内容存档于2019-03-11).
外部链接
- Dissecting a Small InfiniBand Application Using the Verbs API, arXiv:1105.1827
- Mellanox Technologies: InfiniBand Performance Metrics