REDES NEURONALES CON APRENDIZAJE NO SUPERVISADO
También llamado aprendizaje de coincidencia. Y fue sugerida por Donald Hebb en 1949, a partir de estudios con neuronas reales.
Hebb observó que la sinapsis (Conexión Entre 2 Neuronas Reales) se reforzaba sí la neurona de entrada (O Presináptica) y la neurona de salida (O Postsináptica) eran activadas de manera continua. De esta forma, las conexiones que se usan son las que se refuerzan.
Así, según este método de aprendizaje aplicado a las redes neuronales artificiales, las conexiones entre las neuronas de entrada activas y las neuronas de salida activas se refuerzan durante el entrenamiento: coincidencias entre actividad de entrada y actividad de salida se intensifican. Mientras que las conexiones entre neuronas de entrada inactivas y neuronas de salida (Activas o Inactivas) no se refuerzan.
Este método de aprendizaje puede ser tanto supervisado como no supervisado. Cuando es supervisado, la respuesta correcta para el dato de entrada es introducida para cada neurona de salida, y los pesos sinápticos entre las neuronas activas se incrementan, mientras que los pesos entre neuronas que no estén activas simultáneamente permanecen igual que estaban.
El problema de este método es que no tiene en cuenta la eficacia de la red. Así, aunque la red ya este entrenada y los valores de entrada generen valores de salida correctos, la regla de aprendizaje continua incrementando los pesos sinápticos entre neuronas activas.
Esta regla puede interpretarse matemáticamente teniendo en cuenta que si dos neuronas en cualquier lado de la sinápsis son activadas simultáneamente, la longitud de la sinápsis se incrementará. Si se revisa la Figura 4.1 correspondiente a un asociado lineal, se ve como la salida a, es determinada por el vector de entrada p.
Figura 4.1: Asociado Lineal
|
Puede notarse como la conexión (Sinápsis) entre la entrada 
y la salida 
es el peso 
. De esta forma el postulado de Hebb implica que si un valor positivo 
produce un valor positivo 
, el valor de 
debe incrementarse:
|
Donde:
: j-ésimo elemento del q-ésimo vector de entrada pq.
: i-ésimo elemento de salida de la red, cuando el q-ésimo vector de entrada es
presentado.
: es la taza de aprendizaje, la cual es un valor positivo constante.
La regla de Hebb dice que el cambio en el peso 
es proporcional al producto de las funciones de activación en cualquier lado de la sinápsis. Así, los pesos serán incrementados cuando 
y 
sean positivos, pero también lo harán cuando ambos parámetros sean negativos, en contraposición los pesos se decrementarán cuando 
y 
tengan signos contrarios.
Si se retorna a la discusión de los estímulos en animales y seres humanos, debe decirse que ambos tienden a asociar eventos que ocurren simultáneamente. Parafraseando el postulado de Hebb: "Si el estímulo del olor de la fruta, ocurre simultáneamente con la respuesta del concepto de esa fruta, (Activada por Algún Otro Estímulo como la Forma de la Fruta), la red debe alargar la conexión entre ellos para que después, la red active el concepto de esa fruta en respuesta a su olor solamente”.
La regla de aprendizaje de Hebb determina que el incremento del peso 
entre la entrada 
de una neurona y su salida ai en la q-ésima iteración es:
|
La rata de aprendizaje determina cuantas veces un estímulo y su respuesta deben ocurrir juntos antes de que la asociación sea hecha. En la red de la figura anterior, una asociación será hecha cuando 
, entonces para una entrada 
se producirá una salida 
, sin importar el valor de 
.
Para comprender el funcionamiento de la regla de Hebb, ésta se aplicará a la solución del asociado de la fruta resuelto en el numeral anterior. El asociado será inicializado con los valores determinados anteriormente.
|
El asociado será repetidamente expuesto a la fruta; sin embargo mientras el sensor de olor trabajará en forma siempre confiable (Estímulo Condicionado), el sensor de la forma operará intermitentemente (Estímulo no Condicionado). Así la secuencia de entrenamiento consiste en la repetición de la siguiente secuencia de valores de entrada:
|
Usando una taza de aprendizaje, y empleando la regla de Hebb, serán actualizados los pesos W correspondientes al estímulo condicionado, ya que como se dijo anteriormente, los pesos correspondientes al estímulo no condicionado se mantendrán constantes.
La salida para la primera iteración (q=1) es:
El olor solamente no ha generado una respuesta esto es, no hubo una asociación entre el olor de la fruta y el concepto de la fruta como tal, sin una respuesta la regla de Hebb, no altera el valor de W.
En la segunda iteración, son detectados tanto la forma como el olor de la fruta y la red responderá correctamente identificando la fruta.
Como el estímulo del olor y la respuesta de la red ocurrieron simultáneamente la regla de Hebb, incrementa los pesos entre ellos.
En la tercera iteración a pesar de que el sensor de la forma falla nuevamente, la red responde correctamente. La red ha realizado una asociación útil entre el olor de la fruta y su respuesta.
Ahora la red es capaz de identificar la fruta por medio de su olor o de su forma; incluso si los dos sensores tienen fallas intermitentes, la red responderá correctamente la mayoría de las veces.
Una forma de mejorar la regla de Hebb, es adicionar un término que controle el crecimiento de la matriz de peso, a esta modificación se le da el nombre de regla de Hebb con rata de olvido.
|
|
Donde es la taza de olvido, la cual es una constante positiva menor que 1; cuando se aproxima a cero la ley de aprendizaje se convierte en la ley de Hebb estándar; cuando se aproxima a 1, la rata de aprendizaje olvida rápidamente las entradas anteriores y recuerda solamente los patrones más recientes. El efecto de esta nueva constante, es controlar que el crecimiento de la matriz de pesos no se realice sin límites y así darle un mejor aprovechamiento a la capacidad de memoria de la red.
Para comprender el funcionamiento de la regla de Hebb, ésta se aplicará a la solución del asociado de la fruta resuelto en el numeral anterior. El asociado será inicializado con los valores determinados anteriormente.
|
El asociado será repetidamente expuesto a la fruta; sin embargo mientras el sensor de olor trabajará en forma siempre confiable (Estímulo Condicionado), el sensor de la forma operará intermitentemente (Estímulo no Condicionado). Así la secuencia de entrenamiento consiste en la repetición de la siguiente secuencia de valores de entrada:
|
Usando una taza de aprendizaje, y empleando la regla de Hebb, serán actualizados los pesos W correspondientes al estímulo condicionado, ya que como se dijo anteriormente, los pesos correspondientes al estímulo no condicionado se mantendrán constantes.
La salida para la primera iteración (q=1) es:
El olor solamente no ha generado una respuesta esto es, no hubo una asociación entre el olor de la fruta y el concepto de la fruta como tal, sin una respuesta la regla de Hebb, no altera el valor de W.
En la segunda iteración, son detectados tanto la forma como el olor de la fruta y la red responderá correctamente identificando la fruta.
Como el estímulo del olor y la respuesta de la red ocurrieron simultáneamente la regla de Hebb, incrementa los pesos entre ellos.
En la tercera iteración a pesar de que el sensor de la forma falla nuevamente, la red responde correctamente. La red ha realizado una asociación útil entre el olor de la fruta y su respuesta.
Ahora la red es capaz de identificar la fruta por medio de su olor o de su forma; incluso si los dos sensores tienen fallas intermitentes, la red responderá correctamente la mayoría de las veces.
Una forma de mejorar la regla de Hebb, es adicionar un término que controle el crecimiento de la matriz de peso, a esta modificación se le da el nombre de regla de Hebb con rata de olvido.
|
|
Donde es la taza de olvido, la cual es una constante positiva menor que 1; cuando se aproxima a cero la ley de aprendizaje se convierte en la ley de Hebb estándar; cuando se aproxima a 1, la rata de aprendizaje olvida rápidamente las entradas anteriores y recuerda solamente los patrones más recientes. El efecto de esta nueva constante, es controlar que el crecimiento de la matriz de pesos no se realice sin límites y así darle un mejor aprovechamiento a la capacidad de memoria de la red.
