Infomaks

Infomax to zasada optymalizacji sztucznych sieci neuronowych i innych systemów przetwarzania informacji. Przewiduje, że funkcja, która odwzorowuje zbiór wartości wejściowych I na zbiór wartości wyjściowych O , powinna być wybrana lub nauczona tak, aby zmaksymalizować średnią wzajemnych informacji Shannona między I i O , z zastrzeżeniem zestawu określonych ograniczeń i/lub szumu procesy. Algorytmy Infomax to algorytmy uczące się które wykonują ten proces optymalizacji. Zasada została opisana przez Linskera w 1988 roku.

Infomax, w swoim limicie zerowego szumu, jest powiązany z zasadą redukcji redundancji zaproponowaną dla biologicznego przetwarzania sensorycznego przez Horace'a Barlowa w 1961 roku i zastosowaną ilościowo do przetwarzania siatkówki przez Aticka i Redlicha.

Jednym z zastosowań infomax był algorytm analizy składowych niezależnych , który znajduje niezależne sygnały poprzez maksymalizację entropii . ICA oparta na Infomax została opisana przez Bella i Sejnowskiego oraz Nadala i Pargę w 1995 roku.

Zobacz też

• FastICA

•    Bell AJ, Sejnowski TJ (grudzień 1997). „Niezależnymi składnikami” scen naturalnych są filtry krawędziowe . Wizja Rez . 37 (23): 3327–38. doi : 10.1016/S0042-6989(97)00121-1 . PMC 2882863 . PMID 9425547 .
•   Linskera R. (1997). „Lokalna reguła uczenia się, która umożliwia maksymalizację informacji dla dowolnych rozkładów danych wejściowych”. Obliczenia neuronowe . 9 (8): 1661–65. doi : 10.1162/neco.1997.9.8.1661 . S2CID 42857188 ​​.
•   Kamień, JV (2004). Analiza składowych niezależnych: wprowadzenie do samouczka . Cambridge MA: MIT Press. ISBN 978-0-262-69315-8 .