신경망 기계 번역

신경망 기계 번역(Neural machine translation, NMT)은 일련의 단어의 가능성을 예측하기 위해 인공 신경망을 사용하는 기계 번역 접근 방법으로, 일반적으로 하나의 통합 모델에 문장들 전체를 모델링한다.

속성

신경망 기계 번역은 전통적인 통계적 기계 번역(SMT) 모델에 필요한 기억의 일부만이 필요하다. 더 나아가, 전통적인 번역 시스템과는 달리 신경망 기계 번역 모델의 모든 부분은 합동하여(단대단으로) 훈련을 받음으로써 번역 성능을 극대화한다.^[1][2][3]

역사

딥 러닝 응용은 1990년대에 음성 인식으로 처음 등장하였다. 신경망을 기계 번역에 사용하는 것을 다룬 최초의 논문은 2014년 등장하였으며 그 뒤 수년에 걸쳐 수많은 진보가 있었다. (Large-vocabulary NMT, application to Image captioning, Subword-NMT, Multilingual NMT, Multi-Source NMT, Character-dec NMT, Zero-Resource NMT, Google, Fully Character-NMT, Zero-Shot NMT in 2017) 2015년, 기계 번역 대회(OpenMT'15)에 NMT 시스템이 처음 등장하였다. WMT'15 또한 최초로 NMT 도전자였으며 이듬해 NMT 시스템 중 우승자들 가운데 90%를 차지하였다.^[4] NMT의 인기는 NMT 부문의 도입 등의 행사를 통해 상승하였다.(NMT^[5], 연중 WMT(기계 번역 워크숍) 뉴럴 MT 트레이닝^[6], 매년 이어지는 구글 최초의 NMT 독립 워크숍^[7])

같이 보기

• 어텐션 (기계 학습)
• Seq2seq

각주

1. Kalchbrenner, Nal; Blunsom, Philip (2013). “Recurrent Continuous Translation Models”. 《Proceedings of the Association for Computational Linguistics》.
2. Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). “Sequence to sequence learning with neural networks”. arXiv:1409.3215 [cs.CL]. 더 이상 지원되지 않는 변수를 사용함 (도움말)
3. Kyunghyun Cho; Bart van Merrienboer; Dzmitry Bahdanau; Yoshua Bengio (2014년 9월 3일). “On the Properties of Neural Machine Translation: Encoder–Decoder Approaches”. arXiv:1409.1259 [cs.CL]. 더 이상 지원되지 않는 변수를 사용함 (도움말)
4. Bojar, Ondrej; Chatterjee, Rajen; Federmann, Christian; Graham, Yvette; Haddow, Barry; Huck, Matthias; Yepes, Antonio Jimeno; Koehn, Philipp; Logacheva, Varvara; Monz, Christof; Negri, Matteo; Névéol, Aurélie; Neves, Mariana; Popel, Martin; Post, Matt; Rubino, Raphael; Scarton, Carolina; Specia, Lucia; Turchi, Marco; Verspoor, Karin; Zampieri, Marcos (2016). “Findings of the 2016 Conference on Machine Translation” (PDF). 《ACL 2016 First Conference on Machine Translation (WMT16)》 (The Association for Computational Linguistics): 131–198. 2018년 1월 27일에 원본 문서 (PDF)에서 보존된 문서. 2019년 10월 29일에 확인함.
5. “ACL 2016 First Conference on Machine Translation (WMT16)”. 2019년 7월 9일에 원본 문서에서 보존된 문서. 2019년 10월 29일에 확인함.
6. “2017 Second Conference on Machine Translation (WMT17)”. 2019년 5월 6일에 원본 문서에서 보존된 문서. 2019년 10월 29일에 확인함.
7. “1st Workshop on Neural Machine Translation (and Generation)”.