![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/0/00/Multi-Layer_Neural_Network-Vector-Blank.svg/langzh-hant-640px-Multi-Layer_Neural_Network-Vector-Blank.svg.png&w=640&q=50)
Transformer模型
維基百科,自由的 encyclopedia
Transformer模型(直譯為「變換器」)是一種採用注意力機制的深度學習模型,這一機制可以按輸入數據各部分重要性的不同而分配不同的權重。該模型主要用於自然語言處理(NLP)與計算機視覺(CV)領域。[1]
與循環神經網絡(RNN)一樣,Transformer模型旨在處理自然語言等順序輸入數據,可應用於翻譯、文本摘要等任務。而與RNN不同的是,Transformer模型能夠一次性處理所有輸入數據。注意力機制可以為輸入序列中的任意位置提供上下文。如果輸入數據是自然語言,則Transformer不必像RNN一樣一次只處理一個單詞,這種架構允許更多的並行計算,並以此減少訓練時間。[2]
Transformer模型於2017年由谷歌大腦的一個團隊推出[2],現已逐步取代長短期記憶(LSTM)等RNN模型成為了NLP問題的首選模型。[3]並行化優勢允許其在更大的數據集上進行訓練。這也促成了BERT、GPT等預訓練模型的發展。這些系統使用了維基百科、Common Crawl(英語:Common Crawl)等大型語料庫進行訓練,並可以針對特定任務進行微調。[4][5]