NTM

Une NTM (ou machine de Turing neuronale ou Neural Turing Machine) est un modèle de réseau neuronal récurrent. Le procédé a été publié par Alex Graves en 2014.

Une MNT combinent le correspondance de motifs flous des réseaux de neurones avec la puissance algorithmique des ordinateurs programmables. Une MNT possède un contrôleur de réseau neuronal couplé à des ressources de mémoire externes, avec lesquelles il interagit par le biais de mécanismes attentionnels. Les interactions mémoire sont différenciables de bout en bout, ce qui permet de les optimiser en descente de gradient.  Un MNT avec un contrôleur réseau à mémoire à court terme (LSTM) peut déduire des algorithmes simples tels que la copie, le tri et le rappel associatif à partir d’exemples uniquement.

Les auteurs du document fondateur NTM n'ont pas publié leur code source.  La première mise en œuvre stable open source a été publiée en 2018 lors de la 27e Conférence internationale sur les réseaux de neurones artificiels et a reçu le prix du meilleur article scientifique   D'autres implémentations open source de MNT existent mais ne sont pas suffisamment stables pour une utilisation en production.       

Les développeurs rapportent que les gradients de leur mise en œuvre deviennent parfois NaN pendant l'entraînement pour des raisons inconnues et font échouer l'entraînement.    signalent une convergence lente ;   ou ne signalent pas la rapidité d'apprentissage de leur mise en œuvre. 

Les ordinateurs neuronaux différenciables descendent des machines de Turing neuronales, avec des mécanismes d'attention qui contrôlent l'endroit où la mémoire est active et qui améliorent les performances.