Loading AI tools
来自维基百科,自由的百科全书
生成型预训练變換模型 3 (英語:Generative Pre-trained Transformer 3,簡稱 GPT-3)是一個自迴歸語言模型,目的是為了使用深度學習生成人類可以理解的自然語言[1]。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發,模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數,需要700GB来存储,為有史以来參數最多的神經網路模型[2]。该模型在许多任务上展示了强大的零样本和少样本的能力。[3]
原作者 | OpenAI |
---|---|
首次发布 | 2020年6月11日 | (beta)
当前版本 | 2023年2月13日 |
源代码库 | https://github.com/openai/gpt-3 |
前任 | GPT-2 |
繼任 | GPT-4 |
类型 | |
许可协议 | 专有 |
网站 | openai |
OpenAI於2020年5月發表GPT-3的論文,在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權[4]。
GPT-3被認為可寫出人類無法與電腦區別的文章與字串,GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響,比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄[5]。李開復稱卷積神經網路與GPT-3為人工智能重要的改善,两者皆是模型加海量数据的成果[6]。
据《经济学人》报道,改进的算法、强大的计算机和数字化数据的增加推动了机器学习的革命,2010 年代的新技术导致“任务的快速改进”,包括操纵语言。[7]
在2020年5月28日,由OpenAI团队中31名工程师和研究人员撰写的arXiv预印本介绍了第三代“最先进的语言模型”——GPT-3的开发情况。[8]该团队相对于GPT-2,[9] 将GPT-3的容量增加了两个数量级以上,使其成为迄今为止最大的非稀疏语言模型。[10]:14[11]
斯坦福大学的研究发现,GPT3已经可以解决70%的心智理论任务,相当于7岁儿童;至于GPT3.5(ChatGPT的同源模型),更是解决了93%的任务,心智相当于9岁儿童。但这并不意味着,ChatGPT就真正具备了心智理论。可能它即使不被设计到AI系统中,也可以作为“副产品”通过训练得到。 因此,相比探究GPT-3.5是不是真的有了心智还是像有心智,更需要反思的是这些测试本身。[12] [13]
2022年3月1日,OpenAI在其API中提供了新版本的GPT-3和Codex,名称为“text-davinci-003”和“code-davinci-002”,具有编辑和插入的功能 。[14]
此章节尚無任何内容,需要扩充。 |
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.