Теорема Цибенка

Теорема Цибенка, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенком (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (англ. feed-forward; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір ${\displaystyle \mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } ,}$ і ${\displaystyle \mathbf {\theta } }$, де

• ${\displaystyle \mathbf {w} _{i}}$ — ваги між вхідними нейронами і нейронами прихованого шару
• ${\displaystyle \mathbf {\alpha } }$ — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
• ${\displaystyle \mathbf {\theta } }$ — коефцієнт «упередженості» для нейронів прихованого шару.

Формальне викладення

Нехай ${\displaystyle \varphi }$ будь-яка непрервна сигмоїдна функція, наприклад, ${\displaystyle \varphi (\xi )=1/(1+e^{-\xi })}$. Тоді, якщо дана будь-яка неперервна функція дійсних змінних ${\displaystyle f}$ на ${\displaystyle [0,1]^{n}}$ (або будь яка інша компактна підмножина ${\displaystyle R^{n}}$) і ${\displaystyle \varepsilon >0}$, тоді існують вектори ${\displaystyle \mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha } ,\mathbf {\theta } }$ та параметризована функція ${\displaystyle G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )\colon [0,1]^{n}\rightarrow R,}$ така, що

${\displaystyle |G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(\mathbf {x} )|<\varepsilon }$ для всіх ${\displaystyle \mathbf {x} \in [0,1]^{n},}$

де

${\displaystyle G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{i}\varphi (\mathbf {w} _{i}^{T}\mathbf {x} +\theta _{i}),}$

та ${\displaystyle \mathbf {w} _{i}\in R^{n},\ \alpha _{i},\theta _{i}\in R,\ \mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots \mathbf {w} _{N}),\ \mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),}$ та ${\displaystyle \mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N})}$.

Посилання

• Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function, Mathematics of Control, Signals and Systems, vol. 2 no. 4 pp. 303-314.
• Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48

Див. також

• Теорема збіжності перцептрону
• Перцептрон
• Winner-take-all