Передавальне навчання

Передава́льне навча́ння (ПН, англ. transfer learning, TL) — це дослідницька задача в машинному навчанні (МН), зосереджена на зберіганні знань, отриманих під час розв'язання однієї задачі, та застосуванні їх до іншої, але пов'язаної задачі.^[1][2] Наприклад, знання, отримані під час навчання розпізнаванню легкових автомобілів, може бути застосовано при намаганні розпізнавати вантажівки. Цей напрямок досліджень має певне відношення до тривалої історії психологічної літератури з передавання навчання, хоча практичні зв'язки між цими двома напрямами є обмеженими. З практичної точки зору, повторне використання або передавання інформації з раніше навчених задач для навчання нових задач має потенціал значно покращувати ефективність вибірки агента навчання з підкріпленням.^[3]

Історія

1976 року Стево Бозіновський та Анте Фулгосі опублікували працю, в якій чітко розглянуто питання передавального навчання в тренуванні нейронних мереж.^[4][5] У цій праці наведено математичну та геометричну модель передавального навчання. 1981 року було зроблено звіт про застосування передавального навчання в тренуванні нейронної мережі на наборі зображень, що представляють літери комп'ютерних терміналів. Було експериментально продемонстровано як позитивне, так і негативне передавальне навчання.^[6]

1993 року Лоріен Пратт опублікував статтю про передавання в машиннім навчанні, сформулювавши алгоритм передавання на основі розрізнювальності (англ. discriminability-based transfer, DBT).^[7]

1997 року Пратт та Себастьян Трун стали запрошеними редакторами спеціального випуску журналу «Machine Learning», присвяченого передавальному навчанню,^[8] а до 1998 року ця галузь розвинулася до включення багатозадачного навчання^[en][9] а також більш формального аналізу теоретичних основ.^[10] «Вчитися вчитися»^[11] під редакцією Труна та Пратта — це огляд цієї теми 1998 року.

Передавальне навчання знайшло застосування також і в когнітивістиці, а Пратта також запрошували 1996 року редагувати випуск журналу «Connection Science» про повторне використання нейронних мереж через передавання.^[12]

Ендрю Ин у своєму семінарі на NIPS 2016^[13][14][15] сказав, щоби підкреслити важливість ПН, що воно буде наступним рушієм комерційного успіху МН після керованого навчання.

Визначення

Визначення передавального навчання задають у термінах областей визначення та задач. Область визначення ${\displaystyle {\mathcal {D}}}$ складається з простору ознак ${\displaystyle {\mathcal {X}}}$ та відособленого розподілу ймовірності ${\displaystyle P(X)}$, де ${\displaystyle X=\{x_{1},...,x_{n}\}\in {\mathcal {X}}}$. Для заданої конкретної області визначення ${\displaystyle {\mathcal {D}}=\{{\mathcal {X}},P(X)\}}$ задача складається з двох складових: простору міток ${\displaystyle {\mathcal {Y}}}$ та цільової передбачувальної функції ${\displaystyle f:{\mathcal {X}}\rightarrow {\mathcal {Y}}}$. Функцію ${\displaystyle f}$ використовують для передбачування відповідної мітки ${\displaystyle f(x)}$ нового примірника ${\displaystyle x}$. Цієї задачі, позначуваної через ${\displaystyle {\mathcal {T}}=\{{\mathcal {Y}},f(x)\}}$, навчаються з тренувальних даних, що складаються з пар ${\displaystyle \{x_{i},y_{i}\}}$, де ${\displaystyle x_{i}\in X}$, а ${\displaystyle y_{i}\in {\mathcal {Y}}}$.^[16]

Для заданої первинної області визначення ${\displaystyle {\mathcal {D}}_{S}}$ та задачі навчання ${\displaystyle {\mathcal {T}}_{S}}$, цільової області визначення ${\displaystyle {\mathcal {D}}_{T}}$ та задачі навчання ${\displaystyle {\mathcal {T}}_{T}}$, де ${\displaystyle {\mathcal {D}}_{S}\neq {\mathcal {D}}_{T}}$, або ${\displaystyle {\mathcal {T}}_{S}\neq {\mathcal {T}}_{T}}$, передавальне навчання має на меті допомогти покращити навчання цільової передбачувальної функції ${\displaystyle f_{T}(\cdot )}$ в ${\displaystyle {\mathcal {D}}_{T}}$, використовуючи знання в ${\displaystyle {\mathcal {D}}_{S}}$ і ${\displaystyle {\mathcal {T}}_{S}}$.^[16]

Застосування

Існують доступні алгоритми для передавального навчання в марковських логічних мережах^[en][17] та баєсових мережах.^[18] Передавальне навчання також застосовували до виявляння підтипів раку,^[19] використання будівель^[en],^[20][21] універсальних ігрових програм^[en],^[22] класифікації текстів,^[23][24] розпізнавання цифр,^[25] медичного унаочнювання та фільтрування спаму.^[26]

2020 року було виявлено, що, завдяки їхній подібній фізичній природі, є можливим передавальне навчання між електроміографічними (ЕМГ) сигналами від м'язів при класифікуванні поведінки електроенцефалографічних (ЕЕГ) мозкових хвиль з області розпізнавання жестів^[en] до області розпізнавання психічного стану. Було також зазначено, що цей взаємозв'язок працював і в зворотному напрямку, показуючи, що ЕЕГ також може подібним чином бути додатково використано для класифікування ЕМГ.^[27] Ці експерименти відзначали, що точність нейронних мереж та згорткових нейронних мереж покращилася^[28] завдяки передавальному навчанню як у першу епоху (до будь-якого тренування, тобто порівняно зі стандартним випадковим розподілом ваг), так і в асимптоті (у кінці процесу навчання). Тобто алгоритми вдосконалюються завдяки впливові іншої області визначення. Більше того, для досягнення кращої продуктивності кінцевий користувач попередньо натренованої моделі може змінювати структуру повноз'єднаних шарів.^[29]

Див. також

• Схрещування (генетичний алгоритм)
• Пристосовування області визначення
• Універсальна ігрова програма^[en]
• Багатозадачне навчання^[en]
• Багатозадачна оптимізація^[en]

Примітки

1. West, Jeremy; Ventura, Dan; Warnick, Sean (2007). Spring Research Presentation: A Theoretical Foundation for Inductive Transfer. Brigham Young University, College of Physical and Mathematical Sciences. Архів оригіналу за 1 серпня 2007. Процитовано 5 серпня 2007. (англ.)
2. Ткаченко, Д. А. (2018). Розподілене глибинне навчання для інтелектуального аналізу відео (PDF) (магістерська дисертація). НТУУ «КПІ ім. Ігоря Сікорського». Процитовано 4 квітня 2021.
3. George Karimpanal, Thommen; Bouffanais, Roland (2019). Self-organizing maps for storage and transfer of knowledge in reinforcement learning. Adaptive Behavior. 27 (2): 111—126. arXiv:1811.08318. doi:10.1177/1059712318818568. ISSN 1059-7123. (англ.)
4. Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (original in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled. (англ.)
5. Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302. (англ.)
6. S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf] (англ.)
7. Pratt, L. Y. (1993). Discriminability-based transfer between neural networks. NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. с. 204—211. (англ.)
8. Pratt, L. Y.; Thrun, Sebastian (July 1997). Machine Learning - Special Issue on Inductive Transfer. link.springer.com. Springer. Процитовано 10 серпня 2017. (англ.)
9. Caruana, R., "Multitask Learning", pp. 95-134 in Thrun та Pratt, 2012 (англ.)
10. Baxter, J., "Theoretical Models of Learning to Learn", pp. 71-95 Thrun та Pratt, 2012 (англ.)
11. Thrun та Pratt, 2012.
12. Pratt, L. (1996). Special Issue: Reuse of Neural Networks through Transfer. Connection Science. 8 (2). Процитовано 10 серпня 2017. (англ.)
13. NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (англ.), архів оригіналу за 13 січня 2020, процитовано 28 грудня 2019 (англ.)
14. NIPS 2016 Schedule. nips.cc. Процитовано 28 грудня 2019. (англ.)
15. Nuts and bolts of building AI applications using Deep Learning, slides (англ.)
16. Lin, Yuan-Pin; Jung, Tzyy-Ping (27 червня 2017). Improving EEG-Based Emotion Classification Using Conditional Transfer Learning. Frontiers in Human Neuroscience. 11: 334. doi:10.3389/fnhum.2017.00334. PMC 5486154. PMID 28701938.{{cite journal}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом (посилання) (англ.) Матеріал було скопійовано з цього джерела, що є доступним за ліцензією Creative Commons Attribution 4.0 International License. (англ.)
17. Mihalkova, Lilyana; Huynh, Tuyen; Mooney, Raymond J. (July 2007), Mapping and Revising Markov Logic Networks for Transfer (PDF), Learning Proceedings of the 22nd AAAI Conference on Artificial Intelligence (AAAI-2007), Vancouver, BC, процитовано 5 серпня 2007 (англ.)
18. Niculescu-Mizil, Alexandru; Caruana, Rich (March 21–24, 2007), Inductive Transfer for Bayesian Network Structure Learning (PDF), Proceedings of the Eleventh International Conference on Artificial Intelligence and Statistics (AISTATS 2007), архів оригіналу (PDF) за 20 червня 2010, процитовано 5 серпня 2007 (англ.)
19. Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada. arXiv:1810.09433 (англ.)
20. Arief-Ang, I.B.; Salim, F.D.; Hamilton, M. (8 листопада 2017). DA-HOC: semi-supervised domain adaptation for room occupancy prediction using CO2 sensor data. 4th ACM International Conference on Systems for Energy-Efficient Built Environments (BuildSys). Delft, Netherlands. с. 1—10. doi:10.1145/3137133.3137146. ISBN 978-1-4503-5544-5. (англ.)
21. Arief-Ang, I.B.; Hamilton, M.; Salim, F.D. (1 грудня 2018). A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data. ACM Transactions on Sensor Networks. 14 (3–4): 21:1–21:28. doi:10.1145/3217214. (англ.)
22. Banerjee, Bikramjit, and Peter Stone. "General Game Learning Using Knowledge Transfer [Архівовано 2021-05-01 у Wayback Machine.]." IJCAI. 2007. (англ.)
23. Do, Chuong B.; Ng, Andrew Y. (2005). Transfer learning for text classification. Neural Information Processing Systems Foundation, NIPS*2005 (PDF). Процитовано 5 серпня 2007. (англ.)
24. Rajat, Raina; Ng, Andrew Y.; Koller, Daphne (2006). Constructing Informative Priors using Transfer Learning. Twenty-third International Conference on Machine Learning (PDF). Процитовано 5 серпня 2007. (англ.)
25. Maitra, D. S.; Bhattacharya, U.; Parui, S. K. (August 2015). CNN based common approach to handwritten character recognition of multiple scripts. 2015 13th International Conference on Document Analysis and Recognition (ICDAR): 1021—1025. doi:10.1109/ICDAR.2015.7333916. ISBN 978-1-4799-1805-8. (англ.)
26. Bickel, Steffen (2006). ECML-PKDD Discovery Challenge 2006 Overview. ECML-PKDD Discovery Challenge Workshop (PDF). Процитовано 5 серпня 2007. (англ.)
27. Bird, Jordan J.; Kobylarz, Jhonatan; Faria, Diego R.; Ekart, Aniko; Ribeiro, Eduardo P. (2020). Cross-Domain MLP and CNN Transfer Learning for Biological Signal Processing: EEG and EMG. IEEE Access. Institute of Electrical and Electronics Engineers (IEEE). 8: 54789—54801. doi:10.1109/access.2020.2979074. ISSN 2169-3536. (англ.)
28. Maitra, Durjoy Sen; Bhattacharya, Ujjwal; Parui, Swapan K. (August 2015). CNN based common approach to handwritten character recognition of multiple scripts. 2015 13th International Conference on Document Analysis and Recognition (ICDAR): 1021—1025. doi:10.1109/ICDAR.2015.7333916. (англ.)
29. Kabir, H. M., Abdar, M., Jalali, S. M. J., Khosravi, A., Atiya, A. F., Nahavandi, S., & Srinivasan, D. (2020). Spinalnet: Deep neural network with gradual input. arXiv preprint arXiv:2007.03347. (англ.)

Джерела

• Thrun, Sebastian; Pratt, Lorien (6 грудня 2012). Learning to Learn. Springer Science & Business Media. ISBN 978-1-4615-5529-2. (англ.)