Isotonische Regression

Ein Beispiel einer isotonischen Regression (durchgezogene rote Linie) verglichen mit einer linearen Regression (gestrichelte grüne Linie) auf denselben Daten. Beide wurden so optimiert, dass die mittlere quadratische Abweichung minimal wird. Bei der isotonischen Regression ist es möglich, dass die Kurve stärker steigt, wo die Daten größere Steigungen aufweisen. Durch die Isotonizitätsbeschränkung wird verhindert, dass die Kurve absinkt.

Die isotonische Regression ist ein Regressionsverfahren, mit dem eine isotone (ordnungserhaltende) Abbildung zwischen einer abhängigen und einer unabhängigen Variable gefunden wird. Werden monotone Abbildungen, also isotone sowie antitone Abbildungen, betrachtet, bezeichnet man das Verfahren als monotone Regression. Die von der Abbildung beschriebene Kurve hat anders als beispielsweise die lineare Regression keine feste Form, sondern nur die Beschränkung, monoton steigend (oder fallend) zu sein, während die Entfernung zu den Datenpunkten so gering wie möglich ist.

Anwendung

Wird zwischen einem Parameter und Messwerten eines Experiments eine monotone Beziehung erwartet, kann diese durch monotone Regression bestimmt werden, auch wenn die Messwerte durch Rauschen verfälscht sind. Eine Modellannahme wie Linearität muss dabei nicht getätigt werden.

Im Bereich des maschinellen Lernens finden sich oft Modelle, die eine Wahrscheinlichkeit für eine Klassifikation von Datenpunkten ausgeben. Je nach Modellart können die vorhergesagten Wahrscheinlichkeiten im Vergleich zur Häufigkeit der Klassen in den Daten verzerrt sein. Zur Korrektur können die Vorhersagen kalibriert werden. Eine dafür geeignete Methode basiert auf isotonischer Regression.

Algorithmus

Bei der isotonischen Regression erfolgt eine Anpassung von Werten $x\in \mathbb {R} ^{n}$ an Beobachtungen $a\in \mathbb {R} ^{n}$ mit zugehörigen Gewichten $w\in \mathbb {R} ^{n}$ mithilfe der Methode der kleinsten Quadrate, wobei Nebenbedingungen der Form $x_{i}\leq x_{j}$ (meist $x_{i}\leq x_{i+1}$) eingehalten werden müssen. Das heißt, jeder Punkt muss einen mindestens so hohen Wert wie der vorherige Punkt haben.

Die Bedingungen beschreiben eine partielle oder totale Ordnung, die als gerichteter Graph $G=(N,E)$ definiert werden kann, wobei $N$ die Menge der Beobachtungen und $E$ die Menge der Paare $(i,j)$ bezeichnet, für die $x_{i}\leq x_{j}$ gilt. Damit kann die isotonische Regression als folgendes quadratisches Programm formuliert werden:

$\min _{x}\sum _{i=1}^{n}w_{i}(x_{i}-a_{i})^{2}$ ${\text{unter den Nebenbedingungen }}x_{i}\leq x_{j}{\text{ für alle }}(i,j)\in E.$

Wenn $G=(N,E)$ eine totale Ordnung ist, kann das Problem in $O(n)$ gelöst werden.