یادگیری خودنظارتی

یادگیری خود نظارتی ( SSL ) یک الگوی یادگیری ماشین و روش‌ های مرتبط برای پردازش داده‌های بدون برچسب است که برای به دست آوردن بازنمایی های مفیدی که در وظایف یادگیری پسین کمک می کنند، قابل استفاده است. برجسته‌ترین ویژگی روش‌ SSL این است که نیازی به برچسب‌ های انسانی ندارد و به گونه‌ای طراحی شده‌است که برای پردازش، از مجموعه داده هایی که بدون برچسب هستند، استفاده کند.

مرحله اول، مرحله معمول SSL شامل سیگنال‌های نظارتی یادگیری (برچسب‌ های تولید شده به صورت خودکار) است، که در مراحل دوم و بعدی برای برخی از وظایف یادگیری تحت نظارت از آن استفاده می شود. به همین دلیل، SSL می تواند به عنوان یک شکل میانی از یادگیری بدون نظارت و یادگیری با نظارت توصیف شود.

روش معمول SSL بر اساس شبکه عصبی مصنوعی یا مدل دیگری مانند لیست تصمیم گیری می باشد^[1]. در این روش، مدل دو مرحله یادگیری دارد. در مرحله اول با استفاده از برچسب های مصنوعی، مسئله برای یک وظیفه ی کلاس بندی فرعی یا پیش فرض حل می شود. این برچسب ها به مقداردهی اولیه ی پارامترهای مدل کمک می کنند^[2][3]. در مرحله ی دوم، وظیفه ی اصلی با استفاده از یادگیری تحت نظارت یا بدون نظارت انجام می شود^[4][5][6]. وظایف فرعی دیگر، شامل تکمیل الگو از پترن های ورودی پوشانده شده می باشند.

در سال 2013، یادگیری خود نظارتی به عنوان "خود برچسب گذاری" نامیده شد. خود برچسب‌ گذاری بر اساس مقادیر متغیرهای ورودی، برچسب ها را تولید می‌ کند. به عنوان مثال، اجازه می‌دهد تا از روش‌ های یادگیری با نظارت در سری‌های زمانی بدون برچسب استفاده شود.
یادگیری خود نظارتی در سال های اخیر نتایج قابل قبولی را به دست آورده است و در پردازش سیگنال‌های صوتی به کار گرفته شده است و همچنین توسط فیس‌ بوک و بقیه ی شرکت ها برای تشخیص گفتار استفاده می‌شود^[7]. یکی از مزایای اصلی یادگیری خودنظارتی این است که آموزش می تواند با داده های با کیفیت پایین هم انجام شود به جای اینکه بهبود نتایج نهایی مورد هدف قرار گرفته باشد. یادگیری خود نظارتی، به روشی که انسان ها برای طبقه بندی اشیاء یاد می گیرند، نزدیک تر است که باعث کاربرد و جذابیت بیشتر این روش می شود.^[8]

انواع

برای یک وظیفه ی طبقه بندی دودویی، داده های آموزشی می توانند به دو دسته نمونه مثبت و نمونه منفی تقسیم شوند. نمونه های مثبت آنهایی هستند که با هدف مورد نظر مطابقت دارند. برای مثال، اگر در حال یادگیری شناسایی پرندگان هستید، داده های آموزشی مثبت، تصاویری هستند که شامل پرنده می باشند. نمونه های منفی نمونه هایی هستند که با هدف مطابقت ندارند.
یادگیری خود نظارتی مقایسه ای
یادگیری خود نظارتی مقایسه ای از هر دو نمونه ی مثبت و منفی استفاده می‌ کند. تابع هزینه یادگیری مقایسه ای، فاصله ی بین نمونه های مثبت را به حداقل می رساند و فاصله بین نمونه های منفی را به حداکثر می رساند.^[9]

یادگیری خود نظارتی غیر مقایسه ای
در یادگیری خود نظارتی غیر مقایسه ای (NCSSL)، تنها از نمونه های مثبت استفاده می شود. به طور متضاد، NCSSL به جای اینکه به یک راه حل بی اهمیت با ضرر صفر برسد، به یک حداقل مفید محلی می رسد. برای مثال در طبقه‌ بندی دودویی، به طور ساده یاد می‌گیرد که هر نمونه را به عنوان مثبت طبقه‌ بندی کند. برای اینکه NCSSL موثر باشد، به یک پیش‌ بینی‌ کننده اضافی در سمت آنلاین نیاز دارد که در سمت هدف عقب نشینی نمی کند.^[9]

تفاوت میان یادگیری خودنظارتی و بدون نظارت

بسیاری از افراد این دو شکل یادگیری را با یکدیگر اشتباه می‌گیرند و برای رفع این مشکل در این بخش درباره‌ی تفاوت این دو شکل یادگیری صحبت می‌شود. به طور کلی هرکدام از دو تکنیک دارای اهداف متفاوت از هم می‌باشند اما اشتراک اصلی آنها این است که هردو نیازی به مجموعه‌داده‌های برچسب‌زده شده نیازی ندارند. روش‌های یادگیری خودنظارتی و یادگیری بدون نظارت را می‌توان را می‌توان به عنوان تکنیک‌های یادگیری مکمل در نظر گرفت و همان طور که در سطر قبل به آن اشاره شد به این دلیل است که برای انجام فرایند یادگیری به داده‌های برچسب‌گذاری شده نیازی ندارند. یادگیری خودنظارتی زیر مجموعه یادگیری بدون نظارت می‌باشد زیرا یادگیری بدون نظارت فاقد حلقه بازخورد می‌باشد.برعکس آن یادگیری خودنظارتی سیگنالهای نظارتی زیادی دارند که در فرایند آموزش به عنوان بازخورد عمل می‌کنند. یک تعریف ساده‌ برای بیان تفاوت این دو مدل این است که تکنیک یادگیری بدون نظارت بیشتر برروی مدل تمرکز می‌کند نه برروی داده‌ها و برعکس آن تکنیک یادگیری خودنظارتی برروی داده تمرکز می‌کند تا برروی مدل.با این حال روش‌های یادگیری بدون‌نظارت در خوشه‌بندی و کاهش ابعاد خوب عمل می‌کنند در حالی که یادگیری خودنظارتی مناسب برای کارهای رگرسیون و طبقه‌بندی می‌باشد.

^[10]

منابع

1. Yarowsky, David (1995-06). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods". 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge, Massachusetts, USA: Association for Computational Linguistics: 189–196. doi:10.3115/981658.981684. {{cite journal}}: Check date values in: |date= (help)
2. Doersch, Carl; Zisserman, Andrew (2017-10). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV): 2070–2079. doi:10.1109/ICCV.2017.226. {{cite journal}}: Check date values in: |date= (help)
3. Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander; Beyer, Lucas (2019-10). "S4L: Self-Supervised Semi-Supervised Learning". 2019 IEEE/CVF International Conference on Computer Vision (ICCV): 1476–1485. doi:10.1109/ICCV.2019.00156. {{cite journal}}: Check date values in: |date= (help)
4. Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (2015-12). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV): 1422–1430. doi:10.1109/ICCV.2015.167. {{cite journal}}: Check date values in: |date= (help)
5. Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018-04-01). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron (به انگلیسی). 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328.
6. Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Pérez, Patrick Pérez; Cord, Matthieu (2019-10). "Boosting Few-Shot Visual Learning With Self-Supervision". 2019 IEEE/CVF International Conference on Computer Vision (ICCV): 8058–8067. doi:10.1109/ICCV.2019.00815. {{cite journal}}: Check date values in: |date= (help)
7. «Wav2vec: State-of-the-art speech recognition through self-supervision». ai.facebook.com. دریافت‌شده در ۲۰۲۳-۰۶-۰۹.
8. Bouchard, Louis (2020-11-25). "What is Self-Supervised Learning? | Will machines ever be able to learn like humans?". What is Artificial Intelligence (به انگلیسی). Retrieved 2023-06-09.
9. «Demystifying a key self-supervised learning technique: Non-contrastive learning». ai.facebook.com. دریافت‌شده در ۲۰۲۳-۰۶-۰۹.
10. https://neptune.ai/blog/self-supervised-learning

جستارهای وابسته

• Doersch, Carl; Zisserman, Andrew (October 2017). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV): 2070–2079. arXiv:1708.07860. doi:10.1109/ICCV.2017.226. ISBN 978-1-5386-1032-9. S2CID 473729.
• Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV): 1422–1430. arXiv:1505.05192. doi:10.1109/ICCV.2015.167. ISBN 978-1-4673-8391-2. S2CID 9062671.
• Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018-04-01). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron (به انگلیسی). 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969. S2CID 3796689.
• Yarowsky, David (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods". Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge, MA: Association for Computational Linguistics: 189–196. doi:10.3115/981658.981684. Retrieved 1 November 2022.