Расстояние Итакуры-Сайто
Расстояние Итакуры-Сайто (известное также как дивергенция Итакуры-Сайто) является мерой разности между оригинальным спектром P ( ω ) {displaystyle P(omega )} и его приближением P ^ ( ω ) {displaystyle {hat {P}}(omega )} . Была предложена 1960-х годах Фимитака Итокарой и Сюдзо Сайто, во время их работы в NTT.
Определяется как
D I S ( P ( ω ) , P ^ ( ω ) ) = 1 2 π ∫ − π π [ P ( ω ) P ^ ( ω ) − log P ( ω ) P ^ ( ω ) − 1 ] d ω {displaystyle D_{IS}(P(omega ),{hat {P}}(omega ))={frac {1}{2pi }}int _{-pi }^{pi }left[{frac {P(omega )}{{hat {P}}(omega )}}-log {frac {P(omega )}{{hat {P}}(omega )}}-1 ight],domega }Эта метрика не является истинной, т.к является несимметричной, и в ней не выполняется неравенство треугольника.
Иногда применяется как функционал качества в машинном обучении и неотрицательном матричном разложении т.е при необходимости представление матрицы X {displaystyle X} , как:
X ⏟ l × d = W ⏟ l × r ⋅ H ⏟ r × d {displaystyle underbrace {X} _{l imes d}=underbrace {W} _{l imes r}cdot underbrace {H} _{r imes d}}В этом случае метрику можно записать в виде:
∑ i = 1 l ∑ j = 1 d ( X i j [ W H ] i j − l o g X i j [ W H ] i j − 1 ) {displaystyle sum _{i=1}^{l}{sum _{j=1}^{d}{left({frac {X_{ij}}{[WH]_{ij}}}-log{frac {X_{ij}}{[WH]_{ij}}}-1 ight)}}}