Теорема Цыбенко


Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор w 1 , w 2 , … , w N , α , {displaystyle mathbf {w} _{1},mathbf {w} _{2},dots ,mathbf {w} _{N},mathbf {alpha } ,} и θ {displaystyle mathbf { heta } } , где

w i {displaystyle mathbf {w} _{i}} — веса между входными нейронами и нейронами скрытого слоя, α {displaystyle mathbf {alpha } } — веса между связями от нейронов скрытого слоя и выходным нейроном, θ {displaystyle mathbf { heta } } — смещения для нейронов входного слоя.

Формальное изложение

Пусть φ {displaystyle varphi } любая непрерывная сигмоидная функция, например, φ ( ξ ) = 1 / ( 1 + e − ξ ) {displaystyle varphi (xi )=1/(1+e^{-xi })} . Тогда, если дана любая непрерывная функция действительных переменных f {displaystyle f} на [ 0 , 1 ] n {displaystyle [0,1]^{n}} (или любое другое компактное подмножество R n {displaystyle mathbb {R} ^{n}} ) и ε > 0 {displaystyle varepsilon >0} , то существуют векторы w 1 , w 2 , … , w N , α {displaystyle mathbf {w_{1}} ,mathbf {w_{2}} ,dots ,mathbf {w_{N}} ,mathbf {alpha } } и θ {displaystyle mathbf { heta } } и параметризованная функция G ( ⋅ , w , α , θ ) : [ 0 , 1 ] n → R {displaystyle G(mathbf {cdot } ,mathbf {w} ,mathbf {alpha } ,mathbf { heta } ):[0,1]^{n} o R} такая, что для всех x ∈ [ 0 , 1 ] n {displaystyle mathbf {x} in [0,1]^{n}} выполняется

| G ( x , w , α , θ ) − f ( x ) | < ε , {displaystyle {ig |}G(mathbf {x} ,mathbf {w} ,mathbf {alpha } ,mathbf { heta } )-f(mathbf {x} ){ig |}<varepsilon ,}

где

G ( x , w , α , θ ) = ∑ i = 1 N α i φ ( w i T x + θ i ) , {displaystyle G(mathbf {x} ,mathbf {w} ,mathbf {alpha } ,mathbf { heta } )=sum _{i=1}^{N}alpha _{i}varphi (mathbf {w} _{i}^{T}mathbf {x} + heta _{i}),}

и w i ∈ R n , {displaystyle mathbf {w} _{i}in mathbb {R} ^{n},} α i , θ i ∈ R , {displaystyle alpha _{i}, heta _{i}in mathbb {R} ,} w = ( w 1 , w 2 , … , w N ) , {displaystyle mathbf {w} =(mathbf {w} _{1},mathbf {w} _{2},dots ,mathbf {w} _{N}),} α = ( α 1 , α 2 , … , α N ) , {displaystyle mathbf {alpha } =(alpha _{1},alpha _{2},dots ,alpha _{N}),} и θ = ( θ 1 , θ 2 , … , θ N ) . {displaystyle mathbf { heta } =( heta _{1}, heta _{2},dots , heta _{N}).}

Ссылка

  • Cybenko, G. V. Approximation by Superpositions of a Sigmoidal function // Mathematics of Control Signals and Systems. — 1989. — Т. 2, № 4. — С. 303—314.
  • Hassoun, M. Fundamentals of Artificial Neural Networks. — MIT Press, 1995. — С. 20, 48.

  • Теорема Ландау
  • Теорема о трёх перпендикулярах
  • Теорема Майерса
  • Слабая двойственность
  • Смешанное произведение

  •  

    • Яндекс.Метрика
    • Индекс цитирования