Una máquina de Turing neuronal (MTNs) es un modelo de red neuronal recurrente publicado por Alex Graves en 2014. Las MTNs combinan la capacidad para búsqueda de patrones fuzzy, propia de las redes neuronales, con el poder algorítmico de los ordenadores programables. Una MTN tiene un controlador de red neuronal suplementado con otros recursos en memoria externa, los cuales interactúan con la red. Las interacciones de memoria son diferenciables end-to-end, haciendo posible optimizarlas utilizando descenso de gradiente.[1] Una MTN con un controlador de memoria a corto y largo plazo (por las siglas en inglés, LSTM) puede inferir algoritmos sencillos como copiar, ordenar, y recuerdos asociativos a través de ejemplos de entradas y salidas.[2]
Los ordenadores neuronales diferenciables son un tipo concreto de máquina neuronal de Turing, con mecanismos de atención que controlan dónde es activa la memoria, y mejoran el rendimiento.[3]
Funcionamiento
Una NTM está formada por dos componentes: un controlador de red neuronal típico y una matriz de memoria con la que interactúa. Como en la mayoría de redes neuronales, el controlador se comunica con el usuario mediante vectores de entrada y salida. Estos vectores de salida son los que sirven para parametrizar las operaciones de lectura y escritura sobre la memoria, y se les llama "cabezas".
Estas operaciones de lectura y escritra son de tipo borroso, de este modo se puede entrenar la red usando descenso de gradiente. Estas operaciones no actúan solo sobre un elemento en la memoria; en su lugar interactúan con todos los elementos que hay alojados, centrando la mayor parte de su atención en un número reducido de elemento e interactuando levemente con el resto. El grado en el que las operaciones actúan sobre elementos concretos de la memoria, mientras ignoran el resto, viene determinado por un mecanismo de enfoque de atención.
La localización de la memoria en la que se enfoca está determinada por un sistema de distribución de peso. Estos pesos vienen determinados por una salida de datos de las cabezas y definen el grado en el que se lee o escribe en cada posición.[2]
Referencias
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
