Modelos No Supervisados de Redes Neuronales

MODELOS NO SUPERVISADOS

La capacidad de clasificación de la red neuronal depende del valor de los pesos sinápticos, que pueden ser preestablecidos o entrenados adaptativamente mediante mecanismos de aprendizaje. Las NNs se pueden clasificar, atendiendo a como sean entrenados los pesos sinápticos, en dos grandes categorías: estas son los modelos supervisados y los no supervisados.

Una clase de modelos de entrenamiento no supervisado son las redes de pesos fijos Un ejemplo son las redes de Memoria Asociativa, que se usan para obtener patrones originales libres de ruido a partir de señales incompletas o distorsionadas. La principal característica de las redes asociativas de pesos fijos es que sus pesos son preestablecidos y precalculados. Aquí se encuentran los modelos de Redes de Memoria proasociativa y las Redes de Memoria Retroasociativa, tambien llamadas Modelos de Hopfield.

Los modelos de pesos fijos tienen aplicaciones limitadas ya que no se pueden adaptar a "ambientes cambiantes". Hay otra variedad de redes no supervisadas, llamadas Redes de Aprendizaje Competitivo , cuyos pesos se adaptan de acuerdo con reglas de aprendizaje no supervisadas. Estas redes pueden aprender en ausencia de un maestro. En otras palabras, el entrenamiento se basa únicamente en la información de los patrones de entrada. La clase de redes de aprendizaje competitivo se componen, por ejemplo, de la Red de Autoorganización.

Redes de Memoria Proasociativa

Como se muestra en la siguiente figura, una red de asociación básica tiene una capa de neuronas de entrada y una capa de neuronas de salida. Un patrón de entrada X se representa como un punto en el espacio vectorial real-continuo o binario, llamado o , respectivamente.

Memoria Asociativa Lineal (LAM)

Una red de memoria asociativa es matemáticamente un mapeado de un espacio de entrada sobre uno de salida. Las redes de memoria asociativa se pueden usar tanto para las aplicaciones autoasociativas como para las heteroasociativas. En las aplicaciones autoasociativas, la dimensión del espacio de entrada es igual al de salida. Por otro lado, en la aplicación heteroasociativa, la dimensión del espacio de entrada y del espacio de salida son en general diferentes. Los valores de entrada y de salida pueden ser reales o binarios.

Una LAM es una red de una capa de propagación. La LAM se deriva de un conjunto de pares de patrones de entrada/salida . Aquí la entrada es , y la salida es para m=1, 2,...., M, donde denota la traspuesta del vector o matríz. El objetivo de LAM es recuperar el patrón de salida basado en la información total o parcial del patrón de entrada. Revisaremos dos casos: Patrones de Entrada de valor Continuo y Patrones de entrada de valor binario.

Redes de Aprendizaje Competitivo

Una red básica de aprendizaje competitivo tiene una capa de neuronas de entrada y una capa de neuronas de salida. Un patrón de entrada x es un simple punto en el espacio real o binario de vectores n-dimensional. Los valores binarios (0 ó 1) de representación local son más usados en los nodos de salida. Esto es, hay tantas neuronas de salida como número de clases y cada nodo de salida representa una categoría de patrones.

Una red de aprendizaje competitivo está formada por una(s) red(es) excitadora hacia adelante y la(s) red(es) inhibidora(s) lateral(es). La red hacia adelante normalmente implementa una regla de excitación de aprendizaje de Hebb . Esta regla consiste en que cuando una neurona participa constantemente en activar una neurona de salida, la influencia de la neurona de entrada es aumentada. La red lateral es inhibidora por naturaleza. Esta red realiza la misión de selecionar el ganador, normalmente por medio de un método de aprendizaje competitivo, de entre los que podemos reseñar el esquema de "winner-take-all"(el ganador lo toma todo) . En un circuito "winner-take-all", la neurona de salida que da el valor más alto se le asigna el valor total (por ejemplo, 1), mientras que todas las demás se le da un valor de 0. El circuito de "winner-take-all" se implementa por una red (digital o analógica) MAXNET. Otro ejemplo de una red lateral son los Mapas de Kohonen en las cuales, se deja que las neuronas de salida interactúen por medio de la red lateral, con lo que el modelo se puede entrenar para guardar cierto orden topológico.

Los procedimientos de clasificación no supervisados se basan a menudo en algunas técnicas de clasificación, que forman grupos de patrones parecidos. Estaa técnica de clasificación es muy útil para la clasificación. Además, juega un papel muy importante en las redes de aprendizaje competitivo. Para un procedimiento de clasificación, es necesario definir una distancia o medida de similaridad, para evaluar el grado de semejanza de los patrones. Alguna de estas distancias están en la siguiente lista, y entre ellas la más común es la distancia euclídea.

1. Producto interno:



2. Distancia Euclídea con Pesos.

Redes de Aprendizaje Competitivo básicas

Sin la supervisión de ningún maestro, las redes no supervisadas adaptan los pesos y verifican los resultados únicamente a partir de los patrones de entrada. Un esquema que se usa mucho para la adaptación de los pesos es la regla de aprendizaje competitivo, que hace que las células compitan por el derecho a responder por ellas mismas por un determinado tipo de entrada. Esto se puede ver como un sitema muy sofisticado de clasificación, cuyo objetivo es dividir un conjunto de patrones de entrada en un número de clases tal que los patrones de la misma clase exhiben un cierto grado de similaridad. Las reglas de entrenamiento suelen ser la regla de Hebb para la red de propagación y la regla de "winner-take-all" (WTA) para la red lateral.

Modelo básico de Aprendizaje

Un sistema de este tipo consiste en redes laterales y de propagación hacia adelante con un número fijo de nodos de salida, esto es, un número fijo de clases. Los nodos de entrada y salida tienen valores binarios únicamente. Cuando y sólo cuando los dos, la entrada ith y la salida j th; de otra forma . Dado el valor de los pesos sinápticos i con la salida j, wij, y el estímulo k-th, una posible regla de aprendizaje es están activadas,

donde g es una pequeña constante, es el número de unidades de entradas activas del patrón k, si la señal de entrada i es alta para el patrón kth y en otro caso .

Reglas de entrenamiento basadas en pesos normalizados

Con el fin de asegurar un ambiente de competición equitativo, las suma de todos los pesos que van a dar las neuronas de salida deben estar normalizados. Si los pesos conectados a un nodo de salida j son , entonces .

Entonces, si una unidad gana la competición, cada una de sus líneas de entrada cede una proportción g de su peso, y la l distribuye igualmente entre las líneas de entrada activas.

Una característica importante de esta regla de entrenamiento es que la normalización es incorporada en el momento de la actualización, de forma que la suma de los pesos sinápticos a cualquier salida es 1.

Reglas de aprendizaje para "Leaky Learning" (aprendizaje débil)

Con el fin de preveer la existencia de neuronas que no aprenden en totalidad, se usa el aprendizaje débil. Puesto que una neurona solo aprende si gana en algún momento, es posible que una célula nunca gane, y por lo tanto nunca aprenda. Una forma de solucionar este problema es que todos los pesos de la red intervengan en el entrenamiento con distintos niveles de aprendizaje. Esto se practica en la siguiente regla de aprendizaje débil:

En esta regla el parámetro es unas ordenes de magnitud más pequeño que . Por lo tanto, las neuronas que pierden en la competición sufren un aprendizaje menor que las neuronas ganadoras. Este cambio tiene la propiedad de que las neuronas perdedoras se van desplazando hacia la región donde yace el estímulo actual, donde empiezan a capturar algunas unidades, superando a las técnicas dinámicas convencionales.