![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/0/00/Multi-Layer_Neural_Network-Vector-Blank.svg/langzh-mo-640px-Multi-Layer_Neural_Network-Vector-Blank.svg.png&w=640&q=50)
GPT-1
2018年大型语言模型 / 維基百科,自由的 encyclopedia
GPT-1,全稱基於轉換器的生成式預訓練模型1(Generative Pre-trained Transformer 1)是繼2017年Google推出Transformer架構後,OpenAI推出的第一個大型語言模型[3]。2018年,OpenAI發佈了一篇名為《通過生成式預訓練提高語言理解能力》(Improving Language Understanding by Generative Pre-Training)的論文,其中介紹了該初期模型以及基於轉換器的生成式預訓練模型的總體概念[4] 。
Quick Facts 原作者, 首次發佈 ...
原作者 | OpenAI |
---|---|
首次發佈 | 2018年2月,6年前(2018-02) |
目前版本 |
![]() |
原始碼庫 | ![]() |
由…取代 | GPT-2 |
類型 | |
許可協定 | MIT[2] |
網站 | openai |
Close
![](http://upload.wikimedia.org/wikipedia/commons/thumb/5/51/Full_GPT_architecture.svg/320px-Full_GPT_architecture.svg.png)
在此之前,表現最佳的神經網絡自然語言處理模型主要採用依靠大量手動標記數據的監督學習。這種依賴於監督學習的方法限制了它們在未經精細標註的數據集上的應用,並使訓練超大模型相當耗時且開支非常昂貴[5][6];許多語言(例如斯瓦希里語或海地克里奧爾語)由於缺乏能建立起語料庫的文字資料,導致模型難以對其進行翻譯和解釋[6]。相比之下,GPT採用了「半監督」方法,包含兩個階段:無監督的生成式「預訓練」階段,使用目標函數來設置初始參數;以及有監督的判別式「微調(英語:fine-tuning (machine learning))」階段,將這些參數在目標任務上進行微調[5]。
與之前基於注意力增強的迴圈神經網絡(RNN)技術相比,GPT採用的Transformer架構為模型提供了比迴圈機制更加結構化的記憶;使其擁有「跨多樣任務的穩健傳輸效能」[5]。