Loading AI tools
ウィキペディアから
AlexNet は畳み込みニューラル ネットワーク（CNN）の構造の名前であり、Alex Krizhevsky が博士課程の指導教官である Ilya Sutskever および ジェフェリー・ヒントン と共同で設計した[1] [2]。
AlexNet は、2012 年 9 月 30 日に開催された ILSVRC 2012[3] に参加した。AlexNet はエラー率 15.3% で優勝し、次点よりも 10.8% 以上低かった。この論文の主な内容は、モデルの深さが高性能には不可欠であるというもので、計算コストは高くなるものの、GPU を用いて学習することで実現した[2]。
GPU で実装した高速な畳み込みニューラルネットワークが画像認識コンテストで優勝したのは AlexNet が初めてではなかった。K. Chellapilla ら（2006）による GPU 上の畳み込みニューラルネットワークは、CPU 上の同等の実装と比べて 4 倍高速だった[4]。IDSIA での Dan Cireșan ら（2011）のディープ畳み込みニューラルネットワークは、すでに 60 倍の速度で[5]、2011 年 8 月には超人的な性能を達成していた[6]。2011 年 5 月 15 日から 2012 年 9 月 10 日までの間に、彼らの畳み込みニューラルネットワークは 4 つ以上の画像コンテストで優勝している[7] [8]。また、複数の画像データベースに関する文献の中での最高性能を大幅に更新した[9]。
AlexNet の論文によると[2]、Cireșan の初期のネットワークは「多少似ている」とのこと。 どちらも元々は GPU 上で動作するように CUDA で書かれた。実際には、どちらもヤン・ルカンら（1989）が発表した畳み込みニューラルネットワーク・デザインの変形であり[10] [11]、ネオコグニトロンと呼ばれる福島邦彦の畳み込みニューラルネットワークの構造に誤差逆伝播法(バックプロパゲーション)を適用したものだ[12] [13]。 この構造は、J. Weng の max-pooling と呼ばれる手法で後に修正された [14] [8]。
2015 年には、ImageNet 2015 コンテストで優勝した Microsoft Research Asia の100層以上の非常に深い畳み込みニューラルネットワークにAlexNet が勝った[15]。
AlexNet には 8 つのレイヤーが含まれていた。最初の 5 つは畳み込み層で、そのうちのいくつかに max-pooling 層が続き、最後の 3 つは全結合層だった[2]。活性化関数には、非飽和型の ReLU を使用し、tanh および sigmoid よりも学習性能が向上している。
AlexNet は、コンピュータビジョンで発表された最も影響力のある論文の 1 つであると考えられており、深層学習を加速するために畳み込みニューラルネットワークと GPU を使用してさらに多くの論文が発表されている[16]。 Google Scholar によると、AlexNet の論文は 2021 年現在で 80,000 回以上引用されている。
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
