Neuronowa maszyna Turinga

Neuronowa maszyna Turinga ( NTM ) jest rekurencyjnym modelem sieci neuronowej maszyny Turinga . Podejście to zostało opublikowane przez Alexa Gravesa i in. w 2014 r. NTM łączą możliwości rozmytego dopasowywania wzorców sieci neuronowych z algorytmiczną mocą programowalnych komputerów .

NTM ma kontroler sieci neuronowej połączony z zewnętrznymi zasobami pamięci, z którymi współdziała poprzez mechanizmy uwagi. Interakcje pamięci są różniczkowalne od końca do końca, co umożliwia ich optymalizację za pomocą gradientu . NTM z o długiej pamięci krótkotrwałej (LSTM) może wywnioskować proste algorytmy, takie jak kopiowanie, sortowanie i przywoływanie asocjacyjne na podstawie samych przykładów.

Autorzy oryginalnego artykułu NTM nie opublikowali swojego kodu źródłowego . Pierwsza stabilna implementacja typu open source została opublikowana w 2018 roku na 27th International Conference on Artificial Neural Networks, otrzymując nagrodę za najlepszą pracę. Istnieją inne implementacje NTM typu open source, ale od 2018 r. Nie są one wystarczająco stabilne do użytku produkcyjnego. Deweloperzy albo zgłaszają, że gradienty ich implementacji czasami stają się NaN podczas szkolenia z nieznanych przyczyn i powodują niepowodzenie szkolenia; zgłosić powolną konwergencję; lub nie zgłaszają szybkości uczenia się ich wdrażania.

Różniczkowalne komputery neuronowe są następstwem neuronowych maszyn Turinga, z mechanizmami uwagi , które kontrolują, gdzie pamięć jest aktywna i poprawiają wydajność.