Boltzmann-Maschine

Eine graphische Repräsentation einer Boltzmann Maschine mit 3 Hidden Units und 4 Visible Units

Eine Boltzmann-Maschine ist in der Art ein rekurrentes neuronales Netz, das nach dem österreichischen Wissenschaftler Ludwig Boltzmann benannt wurde. Entwickelt wurde diese von Geoffrey Hinton und Terrence J. Sejnowski im Jahre 1985. Diese Maschinen können zu komplexeren Systemen aneinandergereiht werden wie zum Beispiel tiefe Glaubensnetzwerke. Die Boltzmann-Maschine wird auch stochastischens Hopfield-Netzwerk mit versteckten Einheiten genannt. Beschränkt man die Verbindungen zwischen den Neuronen jedoch, lässt sich der Lernvorgang stark vereinfachen, wodurch Beschränkte Boltzmann-Maschinen sich zur Lösung praktischer Probleme einsetzen lassen.

Aufbau

Eine Boltzmann-Maschine ist wie ein Hopfield-Netz ein Netzwerk von Neuronen, in dem ein Energieniveau definiert ist. Wie bei Hopfield-Netzen nehmen die Neuronen nur binäre Werte (0 oder 1) an, verhalten sich im Gegensatz jedoch stochastisch. Das Energieniveau $E$ einer Boltzmann-Maschine ist so definiert wie bei einem Hopfield-Netz:

$E=-\left(\sum _{i<j}w_{ij}\,s_{i}\,s_{j}+\sum _{i}\theta _{i}\,s_{i}\right)$

wobei gilt:

• $w_{ij}$ ist das Gewicht der Verbindung zwischen Neuron $i$ und $j$.
• $s_{i}$ ist der Zustand $s_{i}\in \{0,1\}$ des Neurons $i$.
• $\theta _{i}$ ist der Schwellwert eines Neurons $i$. ($-\theta _{i}$ ist der Wert ab dem ein Neuron aktiviert wird.)

Die Verbindungen einer Boltzmann-Maschine haben zwei Beschränkungen:

• $w_{ii}=0\qquad \forall i$. (Kein Neuron hat eine Verbindung mit sich selbst.)
• $w_{ij}=w_{ji}\qquad \forall i,j$. (Alle Verbindungen sind symmetrisch.)

Die Gewichtungen lassen sich in Form einer symmetrischen Matrix $W$ darstellen, deren Hauptdiagonale aus Nullen besteht.

Genau wie beim Hopfield-Netz tendiert die Boltzmann-Maschine dazu, den Wert der so definierten Energie bei aufeinanderfolgenden Aktualisierungen zu verringern, letztendlich also zu minimieren, bis ein stabiler Zustand erreicht ist.

Restricted Boltzmann Maschine

Eine sog. Restricted Boltzmann Maschine (RBM) besteht aus sichtbaren Einheiten (engl. visible units) und versteckten Einheiten (hidden units). An die sichtbaren Einheiten wird der Feature-Vektor angelegt.

Das "restricted" (englisch für "beschränkt") kommt durch die Tatsache, dass die sichtbaren Einheiten nicht untereinander und die versteckten Einheiten auch nicht untereinander verbunden sind. Allerdings sind die sichtbaren Einheiten mit den versteckten Einheiten vollständig verbunden. Sie bilden also einen bipartiten, ungerichteten Graphen. Dies ist im Folgenden dargestellt:

Die zu lernenden Parameter sind die Gewichte der Kanten zwischen sichtbaren und versteckten Einheiten sowie die Bias-Vektoren $b_{h},b_{v}$ der versteckten und der sichtbaren Einheiten. Diese werden über den Contrastive Divergence Algorithmus gelernt.

Restricted Boltzmann Machines wurden zum kollaborativen Filtern auf Netflix eingesetzt.

Weblinks

• Scholarpedia Artikel von Geoffrey Hinton über Boltzmann machines (englisch)
• Vortrag von Geoffrey Hinton (englisch)