Теорема Цыбенко

Материал из Материалы по машинному обучению
Перейти к: навигация, поиск

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко (George Cybenko) в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор <math>\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha},</math> и <math>\mathbf{\theta}</math>, где

  • <math>\mathbf{w}_i</math> — веса между входными нейронами и нейронами скрытого слоя
  • <math>\mathbf{\alpha}</math> — веса между связями от нейронов скрытого слоя и выходным нейроном
  • <math>\mathbf{\theta}</math> — коэффициент «предвзятости» для нейронов скрытого слоя.

Формальное изложение

Пусть <math>\varphi</math> любая непрерывная сигмоидная функция, например, <math>\varphi(\xi) = 1/(1+e^{-\xi})</math>. Тогда, если дана любая непрерывная функция действительных переменных <math>f</math> на <math>[0,1]^n</math> (или любое другое компактное подмножество <math>R^n</math>) и <math>\epsilon > 0</math>, то существуют векторы <math>\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}</math> и <math>\mathbf{\theta}</math> и параметризованная функция <math>G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R</math> такая, что

<math>|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(\mathbf{x})| < |\epsilon|</math> для всех <math>\mathbf{x} \in [0,1]^n</math>

где

<math>G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_i\varphi(\mathbf{w}_i^T\mathbf{x} + \theta_i)</math>

и <math>\mathbf{w}_i \in R^n, \alpha_i, \theta_i \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),</math> и <math>\mathbf{\theta} = (\theta_1, \theta_2, \dots , \theta_N)</math>.

Ссылки