生成型預訓練變換模型 3 （英語：Generative Pre-trained Transformer 3，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言[1]。GPT-3是由在三藩市的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網絡包含1750億個參數，需要700GB來儲存，為有史以來參數最多的神經網絡模型[2]。該模型在許多工上展示了強大的零樣本和少樣本的能力。[3]
| 原作者 | OpenAI |
|---|---|
| 首次發佈 | 2020年6月11日 (beta) |
| 目前版本 | 2023年2月13日 |
| 原始碼庫 | https://github.com/openai/gpt-3 |
| 取代 | GPT-2 |
| 由…取代 | GPT-4 |
| 類型 | |
| 許可協定 | 專有 |
| 網站 | openai |
OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣佈取得了GPT-3的獨家授權[4]。
GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者們警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智能對人類無威脅的評論專欄[5]。李開復稱卷積神經網絡與GPT-3為人工智能重要的改善，兩者皆是模型加海量數據的成果[6]。
背景
據《經濟學人》報道，改進的演算法、強大的電腦和數碼化數據的增加推動了機器學習的革命，2010 年代的新技術導致「任務的快速改進」，包括操縱語言。[7]
訓練和能力
在2020年5月28日，由OpenAI團隊中31名工程師和研究人員撰寫的arXiv預印本介紹了第三代「最先進的語言模型」——GPT-3的開發情況。[8]該團隊相對於GPT-2，[9] 將GPT-3的容量增加了兩個數量級以上，使其成為迄今為止最大的非稀疏語言模型。[10]:14[11]
史丹福大學的研究發現，GPT3已經可以解決70%的心智理論任務，相當於7歲兒童；至於GPT3.5(ChatGPT的同源模型)，更是解決了93%的任務，心智相當於9歲兒童。但這並不意味着，ChatGPT就真正具備了心智理論。可能它即使不被設計到AI系統中，也可以作為「副產品」通過訓練得到。 因此，相比探究GPT-3.5是不是真的有了心智還是像有心智，更需要反思的是這些測試本身。[12] [13]
迭代版本
2022年3月1日，OpenAI在其API中提供了新版本的GPT-3和Codex，名稱為「text-davinci-003」和「code-davinci-002」，具有編輯和插入的功能 。[14]
![[icon]](#/media/File:Wiki_letter_w_cropped.svg){kind=small} | 此章節尚無任何內容，需要擴充。 |
參見
參考資料
外部連結
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
