Loading AI tools
卷積神經網路 来自维基百科,自由的百科全书
AlexNet是一個卷積神經網路,由亞歷克斯·克里澤夫斯基設計[1],與伊爾亞·蘇茨克維和克里澤夫斯基的博士導師傑弗里·辛頓共同發表[2][3]。
AlexNet參加了2012年9月30日舉行的ImageNet大規模視覺辨識挑戰賽[4],達到最低的15.3%的Top-5錯誤率,比第二名低10.8個百分點。原論文的主要結論是,模型的深度對於提高效能至關重要,AlexNet的計算成本很高,但因在訓練過程中使用了圖形處理器(GPU)而使得計算具有可行性[4] 。
AlexNet並不是卷積神經網路(CNN)第一次利用快速GPU實現而贏得圖像辨識競賽。K. Chellapilla等人(2006)在GPU上的CNN比同等的CPU實現速度快4倍[5]。Dan Ciresan等人(2011)的深層CNN在IDSIA上已經快了60倍[6],並在2011年8月取得了超過人類的表現[7]。從2011年5月15日到2012年9月10日,他們的CNN贏得了不少於四場圖像競賽[8][9]。他們還極大提高了文獻中多個圖像資料庫的最佳效能[10]。
根據AlexNet的論文[4],其與Ciresan的早期網路「有些相似」。兩者最初都用CUDA編寫,可在GPU支援下執行。實際上,兩者都是楊立昆等人(1989)介紹的CNN設計的變體[11][12],他將反向傳播演算法應用於福島邦彥(福島 邦彦)最初提出的CNN架構「neocognitron」的一個變種[13][14]。後來J. Weng提出的最大池化方法修改了該架構[15][9]。
AlexNet包含八層。前五層是卷積層,之後一些層是最大池化層,最後三層是全連接層[4]。它使用了非飽和的ReLU啟用功能,顯示出比tanh和sigmoid更好的訓練效能[4]。
AlexNet被認為是電腦視覺領域最有影響力的論文之一,它刺激了更多使用卷積神經網路和GPU來加速深度學習的論文的出現[16]。 根據Google scholar網站統計,截至2024年中,AlexNet論文已被參照超過157,000次[17]。
亞歷克斯·克里澤夫斯基(出生於烏克蘭,在加拿大長大)是一名電腦科學家,以在類神經網路和深度學習方面的工作而著稱。在通過AlexNet贏得ImageNet 2012挑戰賽後不久,他和同事將他們的創業公司DNN研究公司(DNN Research Inc.)賣給了Google[1]。克里澤夫斯基對這項工作失去興趣後,於2017年9月離開了Google[1]。在Dessa公司,克里澤夫斯基將為新的深度學習技術提供建議和幫助[1]。研究人員經常參照他的許多有關機器學習和電腦視覺的論文[18]。