張量處理單元（英文：Tensor Processing Unit，簡稱：TPU），也稱張量處理器，是 Google 開發的專用集成電路（ASIC），專門用於加速機器學習。[1]自 2015 年起，谷歌就已經開始在內部使用 TPU，並於 2018 年將 TPU 提供給第三方使用，既將部分 TPU 作為其雲基礎架構的一部分，也將部分小型版本的 TPU 用於銷售。
總覽
2016 年 5 月，Google 在 Google I/O 上宣佈了張量處理單元，並表示 TPU 已經在其數據中心內部使用了超過一年。[2][3]該晶片是專門為 Google 的 TensorFlow 框架（一個符號數學庫，用於機器學習應用程式，如神經網絡）設計的。[4]不過，截至 2017 年，Google 也將 CPU 和 GPU 用於其他類型的機器學習。[2]其他供應商也設計了自己的 AI 加速器，並針對嵌入式和機械人市場。
Google 的 TPU 是專有的，一些 TPU 的型號已經上市。在 2018 年 2 月 12 日，紐約時報報道稱 Google 將「允許其他公司通過其雲端運算服務購買對這些晶片的訪問權」。[5]Google 曾稱，它們已用於 AlphaGo 與李世乭的人機圍棋對戰[3]以及 AlphaZero 系統中。Google還使用 TPU 進行 Google 街景中的文字處理，並且能夠在不到五天的時間內找到 Google 街景資料庫中的所有文字。在 Google 相簿中，單個 TPU 每天可以處理超過1億張相片。TPU 也被用在 Google 用來提供搜尋結果的 RankBrain 中。[6]
與圖形處理單元（GPU）相比，TPU 被設計用於進行大量的低精度計算（如 8 位的低精度）[7]，每焦耳功耗下的輸入/輸出操作更多，但缺少用於光柵化/紋理對映的硬件。[3]
根據 Norman Jouppi 的說法，TPU 可以安裝在散熱器組件中，從而可以安裝在數據中心機架上的硬碟機插槽中。[2]
產品
第一代TPU是一個 8 位矩陣乘法的引擎，使用複雜指令集，並由主機通過 PCIe 3.0 匯流排驅動。它採用28 nm工藝製造，裸晶尺寸小於 331 mm2，時鐘速度為 700 MHz，熱設計功耗為 28–40 W。它有28 MiB 的片上儲存和 4 MiB 的 32位元累加器，取 8 位乘法器的 256×256 脈動陣列的計算結果。[8]TPU 還封裝了 8 GiB 的雙連結 2133 MHz DDR3 SDRAM，頻寬達到 34 GB/s。[9]TPU 的指令向主機進行數據的收發，執行矩陣乘法和卷積運算，並應用啟用功能。[8]
第二代 TPU 於 2017 年 5 月發佈。[10]Google 表示，第一代 TPU 的設計受到了主記憶體頻寬的限制，因此在第二代設計中使用 16 GB 的高頻寬記憶體，可將頻寬提升到 600 GB/s，效能從而可達到 45 TFLOPS。[9]TPU 晶片隨後被排列成效能為 180 TFLOPS 的四晶片模組[10]，並將其中的 64 個這樣的模組組裝成 256 晶片的 Pod，效能達到 11.5 PFLOPS。[10]值得注意的是，第一代 TPU 只能進行整數運算，但第二代 TPU 還可以進行浮點運算。這使得第二代 TPU 對於機器學習模型的訓練和推理都非常有用。谷歌表示，這些第二代TPU將可在 Google 計算引擎上使用，以用於 TensorFlow 應用程式中。[11]
第三代 TPU 於 2018 年 5 月 8 日發佈。[12]谷歌宣佈第三代 TPU 的效能是第二代的兩倍，並將部署在晶片數量是上一代的四倍的 Pod 中。[13][14]與部署的第二代 TPU 相比，這使每個 Pod 的效能提高了 8 倍（每個 Pod 中最多裝有 1,024 個晶片）。
第四代 TPU 於 2021 年 5 月 19 日發佈。谷歌宣佈第四代 TPU 的效能是第三代的2.7倍，並將部署在晶片數量是上一代的兩倍的 Pod 中。與部署的第三代 TPU 相比，這使每個 Pod 的效能提高了 5.4 倍（每個 Pod 中最多裝有 4,096 個晶片）。
參見
參考文獻
外部連結
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
