Benutzer:Jonzbonz/Problem des verschwindenden Gradienten

Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia.

Solltest du über eine Suchmaschine darauf gestoVorlage:SSen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit dem Autor Jonzbonz auf.

Das Problem des verschwindenden Gradienten (engl.

vanishing gradient problem

) tritt beim Trainieren von künstlichen Neuronalen Netzen, insbesondere bei rekurrenten neuronalen Netzen, mithilfe des Backpropagation-Verfahrens auf.

Beschreibung

Im Folgenden wird von einem Netz mit $n$ Schichten ausgegangen. In jeder Schicht befindet sich nur $1$ Neuron, das jeweils über ein Gewicht mit dem Neuron aus der nächsten Schicht verbunden ist. Diese Neuronen werden aufsteigend numeriert, $w_{i}$ beschreibt dabei die Verbindung von Neuron $i$ zu Neuron $i+1$. Die benötigte Änderungen dieser Gewichte in einem Lernschritt berechnen sich über die Kettenregel wie folgt:

$\Delta w_{i}=-\eta \,{\dfrac {\partial E}{\partial w_{i}}}=-\eta \,h_{i}\,\sigma '(h_{i+1}){\frac {\partial E}{\partial h_{i+1}}}=-\eta \,h_{i}\,\sigma '(h_{i+1})\,w_{i+1}\,\sigma '(h_{i+2})\,{\frac {\partial E}{\partial h_{i+2}}}=-\eta \,h_{i}\,\sigma '(h_{i+1})\,\prod _{j\,=\,i+1}^{n-1}\,w_{j}\,\sigma '(h_{j+1})\,(h_{n}-o)\,\sigma '(h_{n}-o)$

Dabei ist

$\eta$ die beliebig wählbare Lernrate im Intervall $(0,\infty )$,

$E$ die Funktion des Fehlers, den das Netz für eine bestimmte Eingabe gemacht hat,

$h_{i}$ die beim Feedforward-Schritt ausgerechnete Aktivität des Neurons $i$,

$o$ der gewünschte Output des Netzes.

Die Kettenregel muss so lange rekursiv angewendet werden, bis man beim Gewicht eines Output-Neurons ankommt, für das sich der Term ${\frac {\partial E}{\partial w_{n}}}$ berechnen lässt. Die Formel für das Gewichtsupdate enthält dann $n-i$ Faktoren der Art $f_{j}={\frac {\partial w_{j+1}}{\partial w_{j}}}$.
Diese $f_{j}$ sind für gängige Aktivierungsfunktionen (Sigmoide) im Intervall $(0,1)$, daher gilt:

$\lim _{n->\infty }\Delta w_{i}=-\eta {\frac {\partial E}{\partial w_{n}}}\prod _{j=i}^{\infty }f_{j}=0$

Wie man sieht verschwindet der Gradient des Gewichts mit steigender Netztiefe $n$, man spricht vom Problem des verschwindenden Gradienten. Daher kann ein solches tiefes Netz nicht mehr effektiv trainiert werden.
Bei rekurrenten neuronalen Netzen tritt das Problem deshalb besonders stark auf, da diese mit einem leicht abgewandelten Algorithmus der Backpropagation through time trainiert werden. Hierbei wird das Netz "ausgerollt", was selbst für das einfachste rekurrente Netz bereits eine Repräsentation als unendlich tiefes Feedforward-Netz bedeutet.

Lösung des Problems

globale Lernverfahren

Globale Lernverfahren umgehen das Problem des verschwindenden Gradienten komplett, indem sie kein Gebrauch von Backpropagation machen und damit auch gar keine Gradienten ausrechnen.

Evolutionäre Algorithmen

→ Hauptartikel: Evolutionäre Algorithmen

Die Gewichte der Verbindungen zwischen den Neuronen können einfach zusammengenommen als Genom für einen evolutionären Algorithmus dienen. Dieser kann dann beliebige Netze trainieren, ohne dass das Problem des verschwindenden Gradienten auftritt (denn er betreibt keine Backpropagation). Diese Methode ist allerdings im Allgemeinen viel langsamer als das Lernen mit Backpropagation.

Verwendung anderer Transferfunktionen

Für Transferfunktionen, bei denen das Problem und auch das verwandte Problem des Explodierenden Gradienten nicht auftreten soll, muss gelten, dass deren Ableitung den Wert $1$ annimmt. Für die Rectified Linear Unit (ReLU) gilt:

$\sigma (x)={\begin{cases}x,x\geq 0\\0,x<0\end{cases}},\sigma '(x)={\begin{cases}1,x\geq 0\\0,x<0\end{cases}}$

Die Ableitung dieser Transferfunktion ist also in einem bestimmten Wertebereich genau $1$. Allerdings sind ReLUs nicht universell einsetzbar, da sie nur lineare Zusammenhänge abbilden können.

Backpropagation mit Cuttoff

Hierbei überlegt man sich einen Parameter $\Delta w_{min}\in (0,1)$ und bricht die Backpropagation ab, sobald dieser Wert erreicht wird:

Für Rekurrente Neuronale Netze

LSTMs

→ Hauptartikel: Long short-term memory

Kategorie:Neuroinformatik Kategorie:Maschinelles Lernen