La regla delta
Datos de inicio y cálculo progresivo
Para aplicar el algoritmo de retro propagación se requiere de la configuración de la red neural y de un conjunto de datos de inicio (entradas, salidas, pesos, funciones de transferencia, umbrales).
Comenzando de izquierda a derecha según el diagrama, en cada nudo se suman los productos de entradas por pesos respectivos, y se les resta el umbral correspondiente (según sea establecido). Este argumento se utiliza en la función de transferencia, obteniéndose así la salida en cada nodo. La salida del nodo final, se contrasta con la salida deseada, obteniéndose un delta final o delta de salida, cuyo significado es propiamente el error de salida.
Propagación de los delta
El algoritmo de backpropagation requiere expandir el delta de salida en delta para cada nodo.
Ello se hace en forma regresiva a partir de los pesos correspondientes a cada nodo y el delta ya calculado.
Los nuevos pesos
Junto con los valores delta se requiere calcular la derivada de cada función de transferencia respecto a su argumento. También se requiere introducir un coeficiente de aprendizaje, denominado eta (o n en la figura adjunta). Junto con los pesos previos y el valor de salida del nodo, se calculan los nuevos pesos.
Como se aprecia, el algoritmo de retro propagación es un proceso iterativo que busca modificar progresivamente los pesos hasta obtener un error mínimo aceptable de salida.
Sobre el coeficiente de aprendizaje hay dos metodologías. Una, comenzar con un valor alto, y disminuirlo progresivamente en las siguientes iteraciones. La otra, es al revés; esto es, empezar por un coeficiente bajo y aumentarlo en las sucesivas iteraciones.
Respecto a la función de transferencia, esta puede ser diferente para
cada nodo. Sin embargo, si se utiliza la función sigma o
sigmoideo del tipo
se
encontrará la ventaja de tener de una derivada fácil como xj(1-xj).
Ejemplos. Productividad en la construcción.