![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/b/ba/ResBlock.png/640px-ResBlock.png&w=640&q=50)
残差ネットワーク
ウィキペディア フリーな encyclopedia
残差ニューラルネットワーク(別名:残差ネットワーク、ResNet)は[1]、ウェイト層が層入力を参照して残差関数を学習する深層学習モデルである。残差ネットワークは、恒等写像を行うスキップ接続を持つネットワークであり、加算によってレイヤーの出力とマージされる。これは、強い正のバイアス重みによってゲートが開く「幹線道路ネットワーク」[2]のように振る舞う。これにより、数十から数百のレイヤーを持つ深層モデルを容易に学習させることができ、より深く学習する際にはより高い精度に近づくことができる。同一性スキップ接続は、よく「残差接続」と呼ばれ、1997年のLSTMネットワーク[3]、トランスフォーマー・モデル(BERT、ChatGPTなどのGPTモデルなど)、AlphaGo Zeroシステム、AlphaStarシステム、AlphaFoldシステムでも使用されている。
![Thumb image](http://upload.wikimedia.org/wikipedia/commons/thumb/b/ba/ResBlock.png/640px-ResBlock.png)
残差ネットワークは、何愷明、張翔宇、任少卿、孫剣によって開発され、ImageNet 2015コンペティションで優勝した。[4][5]