GPT-3
米国のOpenAIが開発した言語処理人工知能システム / ウィキペディア フリーな encyclopedia
GPT-3(ジーピーティースリー、Generative Pre-trained Transformer 3)は、2020年に発表された自己回帰型の言語モデルで、ディープラーニング(深層学習)により人間のようなテキスト(文章)を生成する。プロンプト(命令)として最初のテキストを与えると、そのプロンプトを継続するテキストを生成する。
作者 | OpenAI[1] |
---|---|
初版 | June 11, 2020 (beta) |
リポジトリ | |
前身 | GPT-2 |
後継 | GPT-3.5 |
種別 | 自己回帰モデル transformer 言語モデル |
公式サイト |
openai |
テンプレートを表示 |
アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、1750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。このモデルは、生成的な事前学習を用いて訓練され、以前のトークンに基づいて次のトークンが何であるかを予測するように訓練をされる。このモデルは、多くのタスクに対し、強力なゼロショット学習(英語版)と少数ショット学習を実証した[2]。著者らは、自然言語処理(NLP)における言語理解性能が、GPT-nの『ラベル付与されていないテキストの多様なコーパスに対する言語モデルの生成的事前学習と、それに続く各特定タスクにおける識別的な微調整』のプロセスによって向上したことを説明した。これにより、人間による監督や、時間のかかる手作業でのラベル付けが不要になった[2]。
GPT-3は、サンフランシスコの人工知能研究所OpenAIが開発したGPT-2の後継で、GPTシリーズの第3世代の言語予測モデルである[3]。2020年5月に公開され、2020年7月にベータテストが実施されたGPT-3は[4]、事前学習言語表現による自然言語処理(NLP)システムにおけるトレンドの一翼を担った[1]。
GPT-3が生成するテキストの品質は、それが人間によって書かれたものであるかどうかを判断することは困難なほど高く、利点と危険性の両面があるとされる[5]。GPT-3を紹介する原論文は、2020年5月28日、31人のOpenAIの研究者と技術者が発表した。彼らは論文の中で、GPT-3の潜在的な危険性を警告し、その危険性を軽減するための研究を呼びかけた[1]:34。オーストラリアの哲学者デイヴィッド・チャーマーズは、GPT-3を『これまでに作られた最も興味深く、重要なAIシステムの一つ』と評した[6]。2022年4月のニューヨーク・タイムズ紙では、GPT-3の能力について、人間と同等の流暢さで独自の散文を書くことができると論評している[7]。
2020年9月22日、マイクロソフトは、GPT-3の『独占的な利用』を許諾したと発表した。他の企業が公開APIを使用して出力を受け取ることは引き続き可能だが、GPT-3の基礎モデルにアクセスできるのはマイクロソフトのみである[8]。