У машиннім навчанні магістра́лева мере́жа (англ. highway network) — це один з підходів до оптимізування мереж та збільшення їхньої глибини. Магістралеві мережі використовують навчені вентильні механізми для регулювання інформаційного потоку, натхненного рекурентними нейронними мережами довгої короткочасної пам'яті (ДКЧП). Ці вентильні механізми дозволяють нейронним мережам мати шляхи для проходження інформації крізь різні шари («інформаційні магістралі», англ. "information highways").[1][2]
Магістралеві мережі використовують як частину задач маркування текстових послідовностей[en] та розпізнавання мовлення.[3][4]
Ця модель має два вентилі на додачу до вентилю H(WH, x): перетворювальний вентиль (англ. transform gate) T(WT, x) та вентиль перенесення (англ. carry gate) C(WC, x). Ці два останні вентилі є нелінійними передавальними функціями (умовно сигмоїдними функціями). Функція H(WH, x) може бути будь-якою бажаною передавальною функцією.
Вентиль перенесення визначають як C(WC, x) = 1 − T(WT, x). Тоді як перетворювальний вентиль — це просто вентиль із сигмоїдною передавальною функцією.
Структура
Структура прихованого шару відповідає рівнянню:
Перевага магістралевої мережі над звичайними глибинними нейронними мережами полягає в тому, що вона розв'язує або частково запобігає проблемі зникання градієнта, що призводить до спрощення оптимізування нейронних мереж.
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.