Płynne maksimum

W matematyce gładkie maksimum indeksowanej rodziny x 1 _, ..., x _n liczb jest gładkim przybliżeniem maksymalnej funkcji max $\ Displaystyle \ max (x_ {1} ,\ldots ,x_{n}),}$ oznacza parametryczną rodzinę funkcji ${\ Displaystyle m_ {\ alfa} (x_ {1}, \ ldots, x_ {n})}$ takie, że dla każdego $α$ funkcja jest gładka, a ${\ Displaystyle m_ {\ alfa}}$ rodzina zbiega się do maksymalnej funkcji ${\ Displaystyle m _ {\ alfa} \ do \ max}$ jak ${\ Displaystyle \ alpha \ do \ infty}$ . Koncepcja płynnego minimum jest podobnie zdefiniowany. W wielu przypadkach pojedyncza rodzina zbliża się do obu: maksimum, gdy parametr dąży do dodatniej nieskończoności, minimum, gdy parametr dąży do ujemnej nieskończoności; w symbolach ${\ Displaystyle m_ {\ alfa} \ do \ max}$ jak ${\ Displaystyle \ alfa \ do \ infty}$ i ${\ Displaystyle m_ {\ alfa} \ do \ min.}$ jak ${\ Displaystyle \ alfa \ do - \ infty}$ . Termin ten może być również używany luźno dla określonej gładkiej funkcji, która zachowuje się podobnie do maksimum, niekoniecznie będąc częścią sparametryzowanej rodziny.

Przykłady

Operator Boltzmanna

Smoothmax z (-x, x) w porównaniu z x dla różnych wartości parametrów. Bardzo gładki dla

0,5

i bardziej ostry dla

8

.

Dla dużych dodatnich wartości parametru $jest$ gładkim, różniczkowalnym przybliżeniem maksymalnej. Dla ujemnych wartości parametru, które są duże w wartości bezwzględnej, zbliża się do minimum.

{\ Displaystyle {\ mathcal {S}} _ {\ alfa} (x_ { 1},\ldots,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i= 1}^{n}e^{\alpha x_{i}}}}}

${\ Displaystyle {\ mathcal {S}} _ {\ alfa}}$ ma następujące właściwości:

${\ Displaystyle {\ mathcal {S}} _ {\ alfa} \ do \ max}$ jak ${\ Displaystyle \ alfa \ do \ infty}$
${\ Displaystyle {\ mathcal {S}} _ {0}}$ to średnia arytmetyczna jego danych wejściowych
${\ Displaystyle {\ mathcal {S}} _ {\ alfa} \ do \ min}$ jak ${\ Displaystyle \ alfa \ do - \ infty}$

Gradient jest ściśle związany z softmax i jest określony przez ${\ displaystyle {\ mathcal {S}} _ {\ alfa}}$

{\ Displaystyle \ nabla _ {x_ {i}} {\ mathcal {S}} _ {\ alfa} (x_ {1}, \ ldots, x_ {n}) = {\ Frac {e ^ {\ alfa x_ { i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\ alfa }(x_{1},\ldkropki,x_{n}))].}

To sprawia, że funkcja softmax jest przydatna w technikach optymalizacji wykorzystujących opadanie gradientu .

Ten operator jest czasami nazywany operatorem Boltzmanna, po rozkładzie Boltzmanna .

LogSumExp

Kolejnym płynnym maksimum jest LogSumExp :

{\ Displaystyle \ operatorname {LSE} _ {\ alfa} (x_ {1}, \ ldots, x_{n})={\frac {1}{\alpha}}\log \sum _{i=1}^{n}\exp \alpha x_{i}}

Można to również znormalizować, jeśli $∞$ są nieujemne, dając funkcję o domenie ${\ Displaystyle [0, \ infty) ^ {n}$ zakresie ${\ Displaystyle [0, \ infty)}$ :

{\ Displaystyle g (x_ {1}, \ ldots, x_ {n}) = \ log \left(\suma _{i=1}^{n}\exp x_{i}-(n-1)\right)}

Termin koryguje fakt, że $1}$ $Displaystyle \ exp (0$ przez anulowanie wszystkich oprócz jednego ${\ Displaystyle \ log 1 = 0}$ $,$ jeśli wszystkie .

Mellowmax

Operator mellowmax jest zdefiniowany w następujący sposób:

{\ Displaystyle \ operatorname {mm} _ {\ alfa} (x) = {\ Frac {1} {\ alfa} }\log {\frac {1}{n}}\sum _{i=1}^{n}\exp \alpha x_{i}}

Jest operatorem nieekspansywnym. Jako $maksimum$ działa Jako $.$ działa jak średnia Jako $minimum$ działa Ten operator może być postrzegany jako szczególna instancja średniej quasi-arytmetycznej . Można to również wyprowadzić z zasad teorii informacji jako sposobu regulowania polityk z funkcją kosztu określoną przez dywergencję KL. Operator był wcześniej wykorzystywany w innych obszarach, np. w energetyce.

p-Norma

Kolejnym płynnym maksimum jest p-norma :

{\ Displaystyle \| (x_ {1}, \ ldots, x_ {n}) \|_ { p}=\left(\suma _{i=1}^{n}|x_{i}|^{p}\right)^{\frac {1}{p}}}

która jest zbieżna do ${\ Displaystyle \| (x_ {1}, \ ldots, x_ {n}) \| _ {\ infty} = \ max _ {1 \ równoważnik i \ równoważnik n} | x_ {i} |}$ jak ${\ displaystyle p \ do \ infty}$ .

Zaletą p-normy jest to, że jest normą . Jako taka jest niezmienna w skali ( jednorodna ): ${\ Displaystyle \|(\ lambda x_ {1}, \ ldots, \ lambda x_ {n}) \|_ {p} = |\ lambda |\ cdot \| (x_ {1}, \ ldots, x_ {n })\|_{p}}$ , i spełnia nierówność trójkąta .

Płynna jednostka maksymalna

Następujący operator binarny nosi nazwę Smooth Maximum Unit (SMU):

{\ Displaystyle {\ rozpocząć {wyrównane} \ textstyle \ max _ {\ varepsilon} (a, b) & = {\ Frac {a + b + | ab |_{\varepsilon }}{2}}\\&={\frac {a+b+{\sqrt {(ab)^{2}+\varepsilon }}}{2}}\end{wyrównane}}}

gdzie ${\ displaystyle \ varepsilon \ geq 0}$ jest parametrem. jak ${\ Displaystyle \ varepsilon \ do 0}$ , ${\ Displaystyle |\ cdot | _ {\ varepsilon} \ do |\ cdot |}$ i tak ${\ Displaystyle \ textstyle \ max _ {\ varepsilon} \ do \ max}$ .

Zobacz też

https://www.johndcook.com/soft_maximum.pdf

M. Lange, D. Zühlke, O. Holz i T. Villmann, „Zastosowania norm lp i ich gładkich przybliżeń do kwantyzacji wektorów uczenia opartej na gradiencie”, w Proc. ESANN , kwiecień 2014, s. 271-276. ( https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )