基礎模型

基礎模型（英語：foundation model或base model）指一類大型機器學習模型^[1]，它們經大規模數據訓練而成（通常以自監督學習或半監督學習方式進行）^[2]，以適應各種下游任務^[3][4]。基礎模型幫助實現了人工智能系統構建方式的重大革新，例如為聊天機械人和其他面向用戶的人工智能提供支持。斯坦福人類中心人工智能研究所（Stanford Institute for Human-Centered Artificial Intelligence）旗下的基礎模型研究中心（Center for Research on Foundation Models，簡稱CRFM）推廣了「基礎模型」這一術語的使用。^[3]

早期的基礎模型包括一些預訓練語言模型，比如Google開發的BERT和各種早期的GPT基礎模型，特別是OpenAI的「GPT-n」系列模型。這類用途廣泛的模型可以通過進一步開發以適用於特定的任務或領域。^[5]

除文本模型外，還先後誕生了各種視覺或多模式的基礎模型，如DALL-E、Flamingo^[6]、Florence和NOOR^[7]等。視覺基礎模型（visual foundation model，簡稱VFM）已與基於文本的大型語言模型相結合以構建適應特定任務的複雜模型。^[8]此外，還有Meta AI開發的用於通用圖像分割的Segment Anything^[9]以及Google DeepMind開發的強化學習智能體Gato（英語：Gato (DeepMind)）等。^{[10] [11]}

參考文獻

1. Perrigo, Billy. The A to Z of Artificial Intelligence. Time. 13 April 2023 [22 May 2023]. （原始內容存檔於2023-06-16）.
2. Goled, Shraddha. Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ. Analytics India Magazine. 7 May 2021 [22 May 2023]. （原始內容存檔於2023-06-18）.
3. Introducing the Center for Research on Foundation Models (CRFM). Stanford HAI. [11 June 2022]. （原始內容存檔於2023-06-04）.
4. Goldman, Sharon. Foundation models: 2022's AI paradigm shift. VentureBeat. 2022-09-13 [2022-10-24]. （原始內容存檔於2023-11-28）.
5. Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. Language models are an effective representation learning technique for electronic health record data. Journal of Biomedical Informatics. January 2021, 113: 103637. ISSN 1532-0480. PMC 7863633 . PMID 33290879. doi:10.1016/j.jbi.2020.103637.
6. Tackling multiple tasks with a single visual language model, 28 April 2022 [13 June 2022], （原始內容存檔於2022-04-28）
7. Technology Innovation Institute Announces Launch of NOOR, the World's Largest Arabic NLP Model. [2023-12-07]. （原始內容存檔於2023-01-15）.
8. Chenfei Wu; et al. Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models. Cornell University. 2023. arXiv:2303.04671 . 缺少或|url=為空 (幫助)
9. Segment Anything | Meta AI. segment-anything.com. [2023-06-21]. （原始內容存檔於2023-12-11） （英語）.
10. A Generalist Agent. www.deepmind.com. [2023-06-21]. （原始內容存檔於2022-08-02） （英語）.
11. RoboCat: A self-improving robotic agent. www.deepmind.com. [2023-06-21]. （原始內容存檔於2023-10-06） （英語）.