![cover image](https://wikiwandv2-19431.kxcdn.com/_next/image?url=https://upload.wikimedia.org/wikipedia/commons/thumb/f/fe/Kernel_Machine.svg/langfa-640px-Kernel_Machine.svg.png&w=640&q=50)
توجه (یادگیری ماشین)
یادگیری ماشین / From Wikipedia, the free encyclopedia
در زمینه شبکههای عصبی، توجه تکنیکی است که توجه شناختی را تقلید میکند.
این روش باعث تمرکز بیشتر مدل بر روی یکسری دادهها مهم در حین مرحله آموزش شده و اثر مابقی موارد را در این مرحله کاهش میدهد. (این تصور وجود دارد که شبکه باید قدرت محاسباتی بیشتری را روی آن قسمتهای کوچکتر اما مهم داده اختصاص دهد)
در واقع توجه تکنیکی است که در ان به ورودیها یکوزن اختصاص داده شده، که این وزن نشاندهنده اهمیت و تأثیر این داده بر روند آموزش مدل است.
اینکه کدام قسمت از دادهها از دیگر نمونهها مهمتر بوده بسته به وزنهای انتخابی داشته و از طریق آموزش دادهها و مدل با روش گرادیان کاهشی میتوان به این خواسته رسید.
این تکنیک در طیف گستردهای از مدلهای یادگیری ماشین، از جمله در پردازش زبان طبیعی و بینایی کامپیوتر، مورد استفاده قرار میگیرد.[1][2]
شبکههای ترانسفورماتور (شبکه تبدیل کننده) برای دستیابی به قدرت بیان خود از مکانیسمهای توجه استفاده گسترده میکنند.[1] سیستمهای بینایی رایانه مبتنی بر شبکههای عصبی کانولوشن نیز میتوانند از مکانیسمهای توجه بهرهمند شوند
از متداولترین کاربردهای این تکنینک، تمرکز بر روی نتیجه است که از حاصل نقطهای بین بردارهای دادهها برای تعیین توجه دیگر نقاط استفاده میکند، همچنین چندین مکانیزم توجه مختلف را برای هدایت کلی یک شبکه یا شبکه فرعی در این روش ترکیب میشود.
استفاده از این تکنیک در مدلهای مختلف یادگیری ماشین در کارهای مختلف تأثیرگذار بوده و قسمت پرکاربردی از مدلهای پیشرو در زمنیههای مختلف شدهاست.
انواع مختلفی از مکانیزم توجه وجود دارد، همانند توجه نرم، توجه سخت و توجه چند واحدی که هرکدام مزایای کاربردی در مدلهای مختلف را دارا میباشد.