GPT (語言模型)
大型语言模型的种类 来自维基百科，自由的百科全书
基於轉換器的生成式預訓練模型[1]（英語：generative pre-trained transformers，GPT）是一種大型語言模型（LLM）[2][3][4]，也是生成式人工智慧的重要框架[5][6]。首個GPT由OpenAI於2018年推出[7]。GPT模型是基於Transformer模型的類神經網路，在大型未標記文字資料集上進行預訓練，並能夠生成類似於人類自然語言的文字[3][4]。截至2023年，大多數LLM都具備這些特徵[8]，並廣泛被稱為GPT[9][10]。
基於轉換器的生成式預訓練模型
| 上級分類 | 大型語言模型  |
|---|---|
| 簡稱 | GPT |
OpenAI發布了具有極大影響力的GPT基礎模型，它們按順序編號，構成了「GPT-n」系列[11]。由於其規模（可訓練參數數量）和訓練程度的提升，每個模型相較於前一個都顯著增強。其中最新的模型是GPT-4o，於2024年5月發布。這些模型為更具任務特定性的GPT系統奠定了基礎，包括經過微調以適應特定指令的模型——而這些又反過來為ChatGPT聊天機器人服務提供了支援[2] 。
術語「GPT」還用於命名和描述其他開發者所開發的模型。例如，其他GPT基礎模型包括EleutherAI開發的一系列模型[12]，以及Cerebras開發的七個模型[13]。此外，不同行業的公司還在其各自領域開發了執行特定任務的GPT，例如賽富時的「EinsteinGPT」（用於客戶關係管理）[14]和彭博的「BloombergGPT」（用於金融領域）[15]。
歷史
生成式預訓練（generative pretraining，簡稱GP）是機器學習應用中一個歷史悠久的概念[16][17]，但直到2017年，Google的員工發明了Transformer模型[18]，這才使得大型語言模型如BERT（2018年）[19]和XLNet（2019年）成為可能[20]，這些模型是預訓練的轉換器（pre-trained transformers，簡稱PT），但未被設計為生成式，而是「僅編碼器」（encoder-only）[21]。2018年，OpenAI發表了題為《通過生成式預訓練提高語言理解能力》（Improving Language Understanding by Generative Pre-Training）的文章，在其中首次介紹了基於轉換器的生成式預訓練模型（GPT）系統（「GPT-1」）[22]。
在基於轉換器的架構出現之前，表現最優秀的神經自然語言處理（NLP）模型通常通過大量手動標記的資料進行監督學習。這種依賴於監督學習的開發途徑限制了在未經充分標記的資料集上的應用，並且使得訓練極大型語言模型相當耗時且開支非常昂貴[22]。
OpenAI採用半監督學習方法來構建大規模生成式系統，同時也是首個使用Transformer模型的方法。該方法包括兩個階段：無監督的生成式「預訓練」階段，使用目標函式來設定初始參數；以及有監督的判別式「微調」階段，將這些參數在目標任務上進行微調[22]。
OpenAI於2020年7月發布了GPT-3的首個版本。其中包括三個模型，參數數量分別為10億、67億和1750億，分別被命名為巴貝奇（babbage）、居里（curie）和達文西（davinci），分別以B、C和D作為簡稱。
2021年7月，OpenAI發布了Codex，是專門用於編程應用的特定任務GPT模型。該模型使用GitHub上的代碼對GPT-3的12億參數版本（與之前的GPT-3模型不同）進行代碼微調而開發[23]。
2022年3月，OpenAI發布了兩個針對指令跟隨進行微調（即「指令微調」（instruction-tuned））的GPT-3版本，分別命名為davinci-instruct-beta（1750億參數）和text-davinci-001[24]，隨後開始測試code-davinci-002[25]。text-davinci-002是通過code-davinci-002進行指令微調得到的。text-davinci-003和ChatGPT於2022年11月發布，兩者都是在text-davinci-002的基礎上通過基於人類回饋的強化學習方案[1]（RLHF）得到的。text-davinci-003用於遵循指令（與其前身相似），而ChatGPT則經過進一步訓練，可與人類使用者進行對話互動[26][27] 。
OpenAI最新的GPT基礎模型是GPT-4，於2023年3月14日發布。使用者可以通過ChatGPT的進階版本直接訪問它，而開發者則可通過OpenAI的API將其納入其他產品和服務中。其他GPT基礎模型的開發者包括EleutherAI（從2021年3月開始推出一系列模型）[12]和Cerebras（於2023年3月發布七個模型）[13]。
基礎模型
基礎模型是指在廣泛的資料上進行大規模訓練的AI模型，以便能夠適用於各種下游任務[28] 。
迄今為止，最著名的GPT基礎模型來自OpenAI的GPT-n系列。其中最新的是GPT-4，OpenAI選擇不公開該模型的規模或訓練細節，理由是「大規模模型的競爭環境和安全影響」[29]。
| 模型 | 架構 | 參數數量 | 訓練資料 | 發布日期 | 訓練成本 |
|---|---|---|---|---|---|
| GPT-1 | 12層，12頭的Transformer解碼器（沒有編碼器），後跟線性softmax層 | 1.17 億 | BookCorpus[30]：一個包含7000本未出版書籍的語料庫，總大小為4.5 GB。這些書籍涵蓋了各種不同的文學流派和主題。 | 2018年6月11日[7] | 「使用8個GPU訓練1個月」[7]，或等價於1.7e19次浮點運算（FLOP）[31] |
| GPT-2 | 基於GPT-1架構，但使用修改後的歸一化方法 | 15億 | WebText：一個包含八百萬個文件的語料庫，總大小為40 GB。這些文字是從Reddit上投票最高的4,500萬個網頁中收集的，包括各種主題和來源，例如新聞、論壇、部落格、維基百科和社群媒體等。 | 2019年2月14日（初始/有限版）和2019年11月5日（完整版）[32] | 「數十PetaFlop/s-day」[33]，或等價於1.5e21次浮點運算[31] |
| GPT-3 | 基於GPT-2架構，但修改以支援更大規模的訓練 | 1750億 | 一個總大小為570 GB的大規模文字語料庫，其中包含約4990億個標記。這些資料主要來自於Common Crawl、WebText、英文維基百科和兩個書籍語料庫（Books1和Books2）。 | 2020年5月28日[33] | 3640 petaflop/s-day（Table D.1 [33]）, 或等價於3.1e23次浮點運算[31] |
| GPT-3.5 | 未公開 | 1750億[34] | 未公開 | 2022年3月15日 | 未公開 |
| GPT-4 | 使用文字預測和基於人類回饋的強化學習方案（RLHF）進行訓練，並可以接受文字和圖像輸入。進一步的細節尚未公開[29] | 未公開 | 未公開 | 2023年3月14日 | 未公開。估計約為2.1e25次浮點運算[31] |
其他類似的模型包括Google的PaLM，與2023年3月通過API向開發者提供[35][36]。另外還有Together的GPT-JT，據報道是與GPT-3效能最接近的開源替代方案（源自早期的開源GPT模型）[37]。Meta AI（前身為Facebook）還擁有一個基於轉換器的生成式基礎大型語言模型（generative transformer-based foundational large language model），稱為LLaMA[38]。
基礎GPT模型還可以採用文字以外的模態進行輸入和/或輸出。GPT-4是一個多模態LLM，能夠處理文字和圖像輸入（儘管其輸出僅限於文字）[39]。多模態輸出方面，一些基於轉換器的生成式模型被用於文字到圖像技術，如擴散[40]和並列解碼[41]。此類模型可作為視覺基礎模型（visual foundation models，簡稱VFMs），用於開發能夠處理圖像的下游系統[42]。
特定任務模型
基礎GPT模型可以進一步適應特定任務和/或主題領域，形成更具針對性的系統。這種適應的方法可以包括額外的微調（超出基礎模型的微調），以及某種形式的提示工程[43] 。
一個重要的例子是將模型微調以遵循指令，這當然是一個相當廣泛的任務，但比基礎模型更具針對性。2022年1月，OpenAI推出了「InstructGPT」系列模型，這些模型在GPT-3語言模型的基礎上使用監督訓練和基於人類回饋的強化學習方案（RLHF）進行微調，以遵循指令。與純粹的基礎模型相比，其優點包括更高的準確性、更少的負面情感，以及更好地符合使用者需求。因此，OpenAI開始將它用作其API服務提供的基礎。其他開發者也發布了不同的經過指令微調的模型，其中還有完全開源的模型[44][45]。
另一種（相關的）任務特定模型是聊天機器人，它可以進行類似人類對話的交流。2022年11月，OpenAI推出了ChatGPT。ChatGPT是一個線上聊天介面，由經過指令微調的語言模型提供支援，該模型的訓練方式類似於InstructGPT[46]。OpenAI使用RLHF訓練該模型，通過讓人工智慧訓練員進行對話，扮演使用者和AI的角色，並將這些新的對話資料集與InstructGPT資料集混合，形成了適合聊天機器人的對話格式。其他主要的聊天機器人還包括微軟的Bing Chat，它使用OpenAI的GPT-4（作為OpenAI和微軟之間更廣泛合作的一部分），以及競爭對手Google的Bard聊天機器人（最初基於他們的LaMDA系列對話訓練語言模型，計劃轉換為PaLM）[47]。
GPT還可以用於另一種元任務，即生成它自己的指令，如為「自己」開發一系列提示（prompt），以實現人類使用者給定的更一般目標[48]。這被稱為AI智慧型體，具體而言是遞迴性的，因為它利用前一次的自我指令結果來幫助形成後續的提示；這方面的一個重要例子是Auto-GPT（使用OpenAI的GPT模型），此外還有其他類似的模型被開發出來[49] 。
基於轉換器的生成式系統還可以針對涉及文字以外的其他模態的任務進行客製化。
例如，微軟的「Visual ChatGPT」結合了ChatGPT與視覺基礎模型（VFMs），使其能夠處理包含圖像和文字的輸入或輸出[50]。此外，由於文字轉語音技術的進步，當該技術與基礎GPT語言模型結合使用時，可為音訊內容的創作提供強大的工具[51]。
GPT系統可以針對特定領域或行業。以下是一些報道中涉及的此類模型和應用範例：
- EinsteinGPT - 用於銷售和行銷領域，輔助客戶關係管理（使用GPT-3.5）[52]。
- BloombergGPT - 用於金融領域，幫助處理金融新聞和資訊（使用「免費可用」的AI方法，結合其專有資料）[53]。
- Khanmigo – 被描述為在教育領域中用於輔導的GPT版本，通過引導學生的學習過程而不是直接提供答案，來幫助他們在可汗學院上學習（由GPT-4提供支援）[54][55]。
- SlackGPT - 用於Slack即時通訊服務，幫助導航和概括討論內容（使用OpenAI的API）[56]
- BioGPT – 由微軟開發的[57]，用於生物醫學領域，幫助進行生物醫學文獻的文字生成和挖掘[58]
- ProtGPT2 – 用於蛋白質研究[59]
有時，領域特異性可以通過軟體外掛程式或附加元件實現。例如，幾家公司已經開發了與OpenAI的ChatGPT介面直接互動的特定外掛程式[60][61]，Google Workspace也提供了可用的附加元件，如「GPT for Sheets and Docs」。據報道，該組件有助於Google試算表中電子試算表功能的使用[62][63]。
品牌問題
OpenAI曾宣稱「GPT」應該被視為OpenAI的品牌[64]。在2023年4月，OpenAI在其服務條款中修改了品牌指南，指示其他企業在使用其API執行其人工智慧（AI）服務時，將不再能夠在名稱或品牌中包含「GPT」[65]。在2023年5月，OpenAI聘請了一個品牌管理服務，通知其API客戶有關此政策的資訊，儘管這些通知並未明確提出法律要求（比如指控商標侵權或要求停止並終止）[64]。
此外，OpenAI已向美國專利及商標局（USPTO）申請在AI領域對「GPT」一詞進行國內商標註冊[64]。OpenAI試圖讓其申請被加速處理，但專利及商標局於2023年4月拒絕了該請求[66]。要獲得商標批准，OpenAI需要證明該術語實際上在其特定產品中具有「顯著性」，而不僅僅被廣泛理解為描述類似技術的廣泛技術術語。一些媒體報道暗示OpenAI或可間接基於其ChatGPT的知名度來實現這一點[66][67]，對於ChatGPT，OpenAI已經單獨尋求商標保護（並試圖更嚴格地執行）[68] 。其他報道表明，「GPT」一詞似乎不太可能被授予獨占權[64][69]，因為它經常用於簡單地指代涉及生成預訓練轉換器的AI系統[4][70][71]。即使這種情況發生，商標上的描述性合理使用原則仍可能保留一些空間，使其能繼續進行與品牌無關的使用[72]。
部分出版物
以下為OpenAI和微軟關於其GPT模型的主要官方出版物：
GPT-2：部落格公告[74]，關於「分階段發布」決策的報告[75]，GitHub發布[76]
GPT-3：報告[33]。此後沒有GitHub或任何其他形式的代碼發布
ChatGPT：部落格公告（無報告）[46]
參考資料
Wikiwand - on
Seamless Wikipedia browsing. On steroids.