AlexNet是一个卷积神经网络，由亚历克斯·克里泽夫斯基设计[1]，与伊尔亚·苏茨克维和克里泽夫斯基的博士导师杰弗里·辛顿共同发表[2][3]。
AlexNet参加了2012年9月30日举行的ImageNet大规模视觉识别挑战赛[4]，达到最低的15.3%的Top-5错误率，比第二名低10.8个百分点。原论文的主要结论是，模型的深度对于提高性能至关重要，AlexNet的计算成本很高，但因在训练过程中使用了图形处理器（GPU）而使得计算具有可行性[4] 。
背景
AlexNet并不是卷积神经网络（CNN）第一次利用快速GPU实现而赢得图像识别竞赛。K. Chellapilla等人（2006）在GPU上的CNN比同等的CPU实现速度快4倍[5]。Dan Ciresan等人（2011）的深层CNN在IDSIA上已经快了60倍[6]，并在2011年8月获取了超过人类的表现[7]。从2011年5月15日到2012年9月10日，他们的CNN赢得了不少于四场图像竞赛[8][9]。他们还极大提高了文献中多个图像数据库的最佳性能[10]。
根据AlexNet的论文[4]，其与Ciresan的早期网络“有些相似”。两者最初都用CUDA编写，可在GPU支持下运行。实际上，两者都是杨立昆等人（1989）介绍的CNN设计的变体[11][12]，他将反向传播算法应用于福岛邦彦（福島 邦彦）最初提出的CNN架构“neocognitron”的一个变种[13][14]。后来J. Weng提出的最大池化方法修改了该架构[15][9]。
网络设计
AlexNet包含八层。前五层是卷积层，之后一些层是最大池化层，最后三层是全连接层[4]。它使用了非饱和的ReLU激活函数，显示出比tanh和sigmoid更好的训练性能[4]。
影响
AlexNet被认为是电脑视觉领域最有影响力的论文之一，它刺激了更多使用卷积神经网络和GPU来加速深度学习的论文的出现[16]。 根据Google scholar网站统计，截至2024年中，AlexNet论文已被引用超过157,000次[17]。
亚历克斯·克里泽夫斯基
亚历克斯·克里泽夫斯基（出生于乌克兰，在加拿大长大）是一名电脑科学家，以在人工神经网络和深度学习方面的工作而著称。在通过AlexNet赢得ImageNet 2012挑战赛后不久，他和同事将他们的创业公司DNN研究公司（DNN Research Inc.）卖给了Google[1]。克里泽夫斯基对这项工作失去兴趣后，于2017年9月离开了Google[1]。在Dessa公司，克里泽夫斯基将为新的深度学习技术提供建议和帮助[1]。研究人员经常引用他的许多有关机器学习和电脑视觉的论文[18]。
参考资料
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
