![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/5/51/Full_GPT_architecture.svg/langja-640px-Full_GPT_architecture.svg.png&w=640&q=50)
GPT (言語モデル)
OpenAIによる言語モデルの一種 / ウィキペディア フリーな encyclopedia
Generative Pre-trained Transformer(GPT)は、OpenAIによる言語モデルのファミリーである。通常、大規模なテキストデータのコーパスで訓練され、人間的な文章を生成する。
![Thumb image](http://upload.wikimedia.org/wikipedia/commons/thumb/5/51/Full_GPT_architecture.svg/320px-Full_GPT_architecture.svg.png)
Transformerアーキテクチャのいくつかのブロックを使用して構築される。テキスト生成、翻訳、文書分類など諸々の自然言語処理に合わせてファインチューニングできる。名称に含まれる"pre-trained"(事前訓練)とは、大量のテキストコーパスによる最初の訓練プロセスを指し、モデルは、各節に続く単語を予測するよう学習する。これによりもたらされる強固な基盤によって、各処理固有の下流処理が限定的なデータ量であってもモデルが適切に動作する。