Ausgleichungsrechnung

Anpassung einer rauschenden Kurve durch ein asymmetrisches Peak-Modell mithilfe des iterativen Gauß-Newton-Verfahrens. Oben: Roh-Daten und Modell; Unten: Entwicklung der normalisierten Residuenquadratsumme

Die Ausgleichungsrechnung (auch Ausgleichsrechnung, Ausgleichung, Parameterschätzung oder Anpassung genannt) ist eine mathematische Optimierungsmethode, mit deren Hilfe für eine Reihe von Messdaten die unbekannten Parameter ihres geometrisch-physikalischen Modells oder die Parameter einer vorgegebenen Funktion bestimmt oder geschätzt werden sollen. In der Regel werden mit ihr überbestimmte Probleme gelöst. Regression und Fit(ting) sind häufig verwendete Verfahren der Ausgleichsrechnung.

Ziel der Ausgleichung ist, dass sich das endgültige Modell bzw. die Funktion den Daten und ihren unvermeidlichen kleinen Widersprüchen bestmöglich anpasst. Im Allgemeinen wird die Berechnung mit der Methode der kleinsten Quadrate durchgeführt. Diese Methodik minimiert die Residuenquadratsumme, d. h. die Summe aus der quadrierten Differenz zwischen Messwerten und Schätzwerten. Die Differenzen zwischen den Mess- und Schätzwerten werden Residuen genannt und machen Aussagen über die Genauigkeit und Zuverlässigkeit des Mess- und Datenmodells.

Ausgleichung und Approximationstheorie

Da kleine Widersprüche in allen redundanten, auf Zuverlässigkeit geprüften Daten auftreten (siehe auch Überbestimmung), ist der Umgang mit diesen meist statistisch verteilten Restabweichungen zur wichtigen Aufgabe in verschiedenen Wissenschaften und der Technik geworden. Neben der glättenden Wirkung auf streuende Daten wird die Ausgleichungsrechnung auch zur Milderung von Diskrepanzen etwa in den Sozialwissenschaften verwendet.

Diese Suche nach den naturnahen, wahrscheinlichsten Werten von Systemen oder Messreihen ist in der Sprache der Approximationstheorie die Schätzung von unbekannten Parametern eines mathematischen Modells. Die mittels der Kleinste-Quadrate-Schätzung gewonnenen Schätzer sind die „besten“ im Sinne des Satzes von Gauß-Markow. Im einfachsten Fall hat eine Ausgleichung zum Ziel, eine größere Anzahl empirischer Mess- oder Erhebungsdaten durch eine Kurve zu beschreiben und die Restabweichungen (Residualkategorie) zu minimieren. Eine solche Kurvenanpassung kann auch erstaunlich genau freiäugig-grafisch durch Betrachten der Datenreihe durchgeführt werden, was die naturnahe Charakteristik der Quadratabweichungsminimierung unterstreicht.

Die Ausgleichungsrechnung wurde um 1800 von Carl Friedrich Gauß für ein Vermessungsnetz der Geodäsie und für die Bahnbestimmung von Planetoiden entwickelt. Seither werden Ausgleichungen in allen Natur- und Ingenieurwissenschaften durchgeführt, bisweilen auch in den Wirtschafts- und Sozialwissenschaften. Die Ausgleichung nach dem Gauß-Markow-Modell liefert das bestmögliche Ergebnis, wenn die Residuen zufällig sind und einer Normalverteilung folgen. Unterschiedlich genaue Messwerte werden durch Gewichtung abgeglichen.

Enthalten die Messungen oder Daten allerdings auch systematische Einflüsse oder grobe Fehler, dann ist das ausgeglichene Ergebnis verfälscht und die Residuen weisen einen Trend hinsichtlich der Störeinflüsse auf. In solchen Fällen sind weitere Analysen erforderlich wie etwa eine Varianzanalyse oder die Wahl eines robusten Schätzverfahrens.

Einführung

Im einfachsten Fall handelt es sich um die Ausgleichung der Messabweichungen (Fehlerterme) nach der Methode der kleinsten Quadrate. Hierbei werden die Unbekannten (die Parameter) des Modells so bestimmt, dass die Quadratsumme der Messabweichungen aller Beobachtungen minimal wird. Die geschätzten Parameter stimmen dann erwartungstreu mit dem theoretischen Modell überein. Alternativ kann die Ausgleichung auch nach einer anderen Residuenbewertungsfunktion erfolgen, z. B. durch Minimierung der Summe oder des Maximums der Beträge der Messabweichungen (Methode der kleinsten absoluten Abweichungen).

Damit handelt es sich um ein Optimierungsproblem. Die Rechenschritte einer Ausgleichung vereinfachen sich wesentlich, wenn die Fehlerterme als normalverteilt und unkorreliert angesehen werden können. Falls ungleiche Genauigkeiten der Messgrößen vorliegen, kann dies durch Gewichtung berücksichtigt werden.

Funktionales und stochastisches Modell

Jeder Ausgleichung geht eine Modellbildung voraus. Hierbei wird im Allgemeinen zwischen funktionalem Modell und stochastischem Modell unterschieden.

• Ein funktionales Modell beschreibt hierbei die mathematischen Relationen zwischen den bekannten (konstanten), unbekannten und den beobachteten Parametern. Die Beobachtungen stellen dabei stochastische Größen (Zufallsvariable) dar, z. B. mit zufälligen Störungen überlagerte Messungen.
  • Als einfaches Beispiel sei ein Dreieck genannt, in dem überzählige Messungen zu geometrischen Widersprüchen führen (z. B. Winkelsumme ungleich 180°). Das funktionale Modell dazu sind die Formeln der Trigonometrie; die Störungen können z. B. kleine Zielabweichungen bei jeder Winkelmessung sein.
• Das stochastische Modell beschreibt die Varianzen und Kovarianzen der beobachteten Parameter.

Das Ziel der Ausgleichung ist eine optimale Ableitung der unbekannten Werte (Parameter, z. B. die Koordinaten der Messpunkte) und der Maße für ihre Genauigkeit und Zuverlässigkeit im Sinne einer Zielfunktion. Für letztere wählt man meistens die minimale Summe der Abweichungsquadrate, doch können es für Sonderfälle beispielsweise auch minimale Absolutwerte oder andere Zielfunktionen sein.

Lösungsverfahren

Je nach funktionalem und stochastischem Modell werden verschiedene Ausgleichungsmodelle benutzt.

Das Hauptunterscheidungsmerkmal dabei ist,

• ob sich alle Beobachtungen als Funktionen von Unbekannten und Konstanten darstellen lassen,
• ob die Beobachtungen voneinander stochastisch unabhängig oder korreliert sind,
• ob die Relationen nur Beobachtungen und Konstanten aufweisen, jedoch keinerlei Unbekannte enthalten,
• ob es unter der Menge der Relationen auch solche gibt, die ausschließlich Beziehungen unter Konstanten und Unbekannten beschreiben und damit Restriktionen zwischen Unbekannten beschreiben.
• Bei gemischtem Auftreten von sehr verschiedenen Messgrößen – etwa bei geometrischen und physikalischen Messungen – wurden die Methoden der Ausgleichsrechnung von einigen Mathematikern und Geodäten um 1970 zur sogenannten Kollokation erweitert. Sie wird unter anderem für die Geoidbestimmung verwendet, siehe H. Moritz, H. Sünkel und C.C. Tscherning.

Die Ausgleichungsmodelle heißen:

• Ausgleichung nach vermittelnden Beobachtungen: Die einzelnen Beobachtungen sind Funktionen der unbekannten Parameter.
• Ausgleichung nach vermittelnden Beobachtungen mit Bedingungen zwischen den Unbekannten: Es bestehen zusätzliche Bedingungen zwischen den unbekannten Parametern.
• Ausgleichung nach bedingten Beobachtungen (bedingte Ausgleichung): Es werden Bedingungsgleichungen für die Beobachtungen aufgestellt, in denen die unbekannten Parameter nicht vorkommen. Die unbekannten Parameter können dann aus den ausgeglichenen Beobachtungen berechnet werden.
• Allgemeinfall der Ausgleichung: Es werden funktionale Beziehungen zwischen Beobachtungen und Parametern aufgestellt, in denen die Beobachtungen nicht explizit als Funktion der Parameter vorkommen.

Grafisches Verfahren

Die gleichen Messpunkte mit zwei verschiedenen Ausgleichslinien

Während dem mathematischen Lösungsverfahren ein Modell zugrunde gelegt werden muss, ist das grafische Verfahren ohne solche Annahme möglich. Hier wird eine stetig gekrümmte ausgleichende Linie den Messpunkten angenähert. Je nach Hintergrundwissen (Erwartung an den Verlauf) oder persönlicher Bewertung (einzelne Messpunkte als „Ausreißer“) kann die Linie allerdings durchaus unterschiedlich ausfallen. Die Methode ist grundsätzlich weniger analytisch, bietet aber die Möglichkeit, schwer zu interpretierende Sachverhalte und Randbedingungen auszugleichen, was sich mathematisch oft schlecht formulieren lässt. Zum Zeichnen solcher Linien gibt es Schablonen(sätze), speziell die sog. Burmester-Schablonen sind gängig.

Definition

Allgemeine Ausgleichsrechnung

Gegeben seien die Messpunkte $(t_{i},b_{i})\in \mathbb {R} ^{2},\;i=1,\dotsc ,m$. Die Modellfunktion $\phi$ habe Parameter $x_{i}\in \mathbb {R} ,\;i=1,\dotsc ,n$, wobei $m\geq n$ gelten soll. Die Modellfunktion $\phi$ hängt dabei von den Messpunkten $t_{i}$ und den Parametern $x_{i}$ ab und soll die Messpunkte $b_{i}$ annähern. Kurz geschrieben als:

$\phi (t_{i};x_{1},\dotsc ,x_{n})\sim b_{i},\quad i=1,\dotsc ,m.$

Es werden nun Parameter $x\in \mathbb {R} ^{n}$ gesucht, welche die Messpunkte „gut“ annähern:

$\|b-\phi (x)\|=\min _{y\in \mathbb {R} ^{n}}\|b-\phi (y)\|$,

wobei die folgenden Definitionen getroffen wurden:

${\begin{aligned}b&:=(b_{i})_{i=1,\dotsc ,m}\\\phi (x)&:=\phi (t_{i};x_{1},\dotsc ,x_{n}).\end{aligned}}$

Wie „gut“ die Modellfunktion mit den gewählten Parametern die Messpunkte annähert, hängt von der gewählten Norm $\|\cdot \|$ ab. Die folgenden Normen sind gebräuchlich:

• $\|\cdot \|_{2}$ – nach Gauß, kleinste Fehlerquadrate
• $\|\cdot \|_{1}$ – $L^{1}$-Ausgleichsrechnung
• $\|\cdot \|_{\infty }$ – Tschebyscheff-Ausgleichsrechnung

Lineare Ausgleichsrechnung

Die Abhängigkeit der Modellfunktion von den Parametern $x$ kann im Spezialfall als linear angenommen werden:

$\phi (x)=Ax\quad {\text{mit}}\;A\in \mathbb {R} ^{m\times n}.$

Das lineare Ausgleichsproblem lautet nun: Für $b\in \mathbb {R} ^{m},A\in \mathbb {R} ^{m\times n}$ suche $x\in \mathbb {R} ^{n}$, sodass

$\|b-Ax\|_{2}=\min _{y\in \mathbb {R} ^{n}}\|b-Ay\|_{2}$

gilt.

Diese Definition ist äquivalent dazu, dass $x\in \mathbb {R} ^{n}$ die Normalengleichungen erfüllt:

$A^{T}Ax=A^{T}b.$

Die Existenz einer Lösung $x\in \mathbb {R} ^{n}$ ist stets gegeben und die Eindeutigkeit, falls $A$ vollen Rang hat: $\mathrm {rang} (A)=n$.

Die Beweise zur Äquivalenz der Normalengleichung und Eindeutigkeit können in (Reusken, 2006) nachgelesen werden.

Konditionierung der linearen Ausgleichsrechnung

Die Kondition des linearen Ausgleichsproblem hängt von der Konditionszahl der Matrix $A$ ab, wie aber auch von einer geometrischen Eigenschaft des Problems.

Sei im Folgenden $A\in \mathbb {R} ^{m\times n},m\geq n$ mit vollem Rang und $x^{*}\in \mathbb {R} ^{n}$ die Lösung des Ausgleichsproblems. Aufgrund der Orthogonalität der Anpassung:

$b-Ax^{*}\perp Ax^{*}$

gibt es ein eindeutiges $\Theta \in [0,{\frac {\pi }{2}}]$ mit (nach Pythagoras):

$\cos \Theta ={\frac {\|Ax^{*}\|}{\|b\|}}\quad {\text{und}}\quad \sin \Theta ={\frac {\|b-Ax^{*}\|}{\|b\|}}.$

Dies soll die geometrische Eigenschaft des Problems sein.

Gestörte rechte Seite

Seien $x^{*}$ und ${\tilde {x}}^{*}$ die Lösungen des linearen Ausgleichsproblems mit rechter Seite $b$ bzw. gestörter rechter Seite ${\tilde {b}}$, also:

$A^{T}Ax^{*}=A^{T}b\quad {\text{und}}\quad A^{T}A{\tilde {x}}^{*}=A^{T}{\tilde {b}}.$

Die Konditionierung dieses Problems lautet nun:

${\frac {\|x^{*}-{\tilde {x}}^{*}\|_{2}}{\|x^{*}\|_{2}}}\leq {\frac {\kappa _{2}(A)}{\cos \Theta }}{\frac {\|b-{\tilde {b}}\|_{2}}{\|b\|_{2}}}.$

Der Beweis kann in (Reusken, 2006) nachgelesen werden.

Für $\Theta =0$ erhält man somit die Konditionierung des linearen Gleichungssystems $Ax=b$ und für $\Theta ={\frac {\pi }{2}}$ beliebig große Störempfindlichkeit.

Gestörte Matrix

Seien $x^{*}$ bzw. ${\tilde {x}}^{*}$ die Lösung des linearen Ausgleichsproblems zur Matrix $A$ bzw. ${\tilde {A}}$, also:

$A^{T}Ax^{*}=A^{T}b\quad {\text{und}}\quad {\tilde {A}}^{T}{\tilde {A}}{\tilde {x}}^{*}={\tilde {A}}^{T}b.$

Die Konditionierung dieses Problems lautet nun:

${\frac {\|x^{*}-{\tilde {x}}^{*}\|_{2}}{\|x^{*}\|_{2}}}\leq \left(\kappa _{2}(A)+\kappa _{2}(A)^{2}\tan \Theta \right){\frac {\|A-{\tilde {A}}\|_{2}}{\|A\|_{2}}}.$

Der Beweis kann in (Deuflhard, 2002) nachgelesen werden.

Beispiel: Ebene bester Anpassung

Anfang des 20. Jahrhunderts berechnete Harlow Shapley die Ausdehnung der Milchstraße und die Lage der Galaktischen Ebene im Raum. Dazu benötigte er die (euklidischen) Koordinaten x¹, x², x³ einer repräsentativen Auswahl von N Körpern in Bezug auf ein fest gewähltes Koordinatensystem.

Ist $ax^{1}+bx^{2}+cx^{3}-d=0$ mit $a^{2}+b^{2}+c^{2}=1$ die Hessesche Normalform der gesuchten Galaktischen Ebene, so lässt sich von jedem "Objekt" der Abstand von dieser Ebene berechnen. Im Sinne der Methode der kleinsten Quadrate sind dann die Koeffizienten a,b,c und d so zu bestimmen, dass der Mittelwert der quadratischen Abstände der $N$ Beobachtungen minimal wird:

${\frac {1}{N}}\sum _{k=1}^{N}{(ax_{k}^{1}+bx_{k}^{2}+cx_{k}^{3}-d)^{2}}$ (mit der Nebenbedingung $a^{2}+b^{2}+c^{2}=1$), wobei $k$ eine Beobachtung ist.

Der Mittelpunkt der "Objektwolke" P($x_{\text{p}}^{1}/x_{\text{p}}^{2}/x_{\text{p}}^{3}$) mit $x_{\text{p}}^{i}={\frac {1}{N}}\sum _{k=1}^{N}{x_{k}^{i}}$ (Mittelwerte) soll von der gesuchten Ebene den Abstand $0=ax_{\text{p}}^{1}+bx_{\text{p}}^{2}+cx_{\text{p}}^{3}-d$ haben.

Damit lässt sich der Koeffizient d eliminieren und man erhält

${\frac {1}{N}}\sum _{k=1}^{N}{(ax_{k}^{1}+bx_{k}^{2}+cx_{k}^{3}-(ax_{\text{p}}^{1}+bx_{\text{p}}^{2}+cx_{\text{p}}^{3}))^{2}}$ soll minimal werden (mit der Nebenbedingung $a^{2}+b^{2}+c^{2}=1$ )

Übergang auf Vektornotation

Die weitere Rechnung wird erleichtert, wenn man zur Vektor- und Matrizenschreibweise übergeht. Die Rechnung ist dann ohne weiteres auch auf höhere Dimensionen erweiterbar.

$x_{k}^{\text{T}}=(x_{k}^{1},x_{k}^{2},x_{k}^{3})$ sowie $x_{\text{p}}^{\text{T}}=(x_{\text{p}}^{1},x_{\text{p}}^{2},x_{\text{p}}^{3})$. Die Vektorpfeile sind in der Notation unterdrückt; Vektoren werden als 3x1-Matrix (in der Transponierten als 1x3-Matrix) behandelt.

Die Koeffizienten der Ebene werden zu einem Ebenennormalenvektor $e^{T}=(a,b,c)$ zusammengefasst.

Damit:

${\frac {1}{N}}\sum _{k=1}^{N}(e^{T}(x_{k}-x_{p}))^{2}$ soll minimal werden (mit der Nebenbedingung $|e|={\sqrt {a^{2}+b^{2}+c^{2}}}=1$ )

Mit den Rechenregeln für Matrizen, insbesondere $(AB)C=A(BC)$ und $(AB)^{T}=B^{T}A^{T}$, erhält man

${\frac {1}{N}}\sum _{k=1}^{N}(e^{T}(x_{k}-x_{p}))^{2}={\frac {1}{N}}\sum _{k=1}^{N}[e^{T}(x_{k}-x_{p})][e^{T}(x_{k}-x_{p})]={\frac {1}{N}}\sum _{k=1}^{N}[e^{T}(x_{k}-x_{p})][(x_{k}-x_{p})^{T}e]^{T}$. In der letzten eckigen Klammer ($[(x_{k}-x_{p})^{T}e]$) steht eine 1x1-Matrix, so dass das Transponieren weggelassen werden kann. Wir erhalten somit:

${\frac {1}{N}}\sum _{k=1}^{N}[e^{T}(x_{k}-x_{p})][(x_{k}-x_{p})^{T}e]={\frac {1}{N}}\sum _{k=1}^{N}e^{T}[(x_{k}-x_{p})(x_{k}-x_{p})^{T}]e=e^{T}[{\frac {1}{N}}\sum _{k=1}^{N}(x_{k}-x_{p})(x_{k}-x_{p})^{T}]e$

In der letzten eckigen Klammer steht die Schätzfunktion der Kovarianzmatrix C :

${\hat {C}}={\frac {1}{N}}\sum _{k=1}^{N}(x_{k}-x_{p})(x_{k}-x_{p})^{T}={\frac {1}{N}}\sum _{k=1}^{N}{\begin{pmatrix}x_{k}^{1}-x_{\text{p}}^{1}\\x_{k}^{2}-x_{\text{p}}^{2}\\x_{k}^{3}-x_{\text{p}}^{3}\end{pmatrix}}$ ($x_{k}^{1}-x_{\text{p}}^{1},x_{k}^{2}-x_{\text{p}}^{2},x_{k}^{3}-x_{\text{p}}^{3}$) = ${\frac {1}{N}}\sum _{k=1}^{N}{\begin{pmatrix}(x_{k}^{1}-x_{\text{p}}^{1})^{2}&(x_{k}^{1}-x_{\text{p}}^{1})(x_{k}^{2}-x_{\text{p}}^{2})&(x_{k}^{1}-x_{\text{p}}^{1})(x_{k}^{3}-x_{\text{p}}^{3})\\(x_{k}^{2}-x_{\text{p}}^{2})(x_{k}^{1}-x_{\text{p}}^{1})&(x_{k}^{2}-x_{\text{p}}^{2})^{2}&(x_{k}^{2}-x_{\text{p}}^{2})(x_{k}^{3}-x_{\text{p}}^{3})\\(x_{k}^{3}-x_{\text{p}}^{3})(x_{k}^{1}-x_{\text{p}}^{1})&(x_{k}^{3}-x_{\text{p}}^{3})(x_{k}^{2}-x_{\text{p}}^{2})&(x_{k}^{3}-x_{\text{p}}^{3})^{2}\end{pmatrix}}$

Also:

$(a,b,c){\hat {C}}{\begin{pmatrix}a\\b\\c\end{pmatrix}}$ soll minimal werden (mit der Nebenbedingung $a^{2}+b^{2}+c^{2}=1$ )

Man hat es jetzt mit einer Quadratischen Form zu tun und deren Minimum über der Einheitssphäre.

Das Minimum ist der normierte Eigenvektor zum kleinsten Eigenwert der Kovarianzmatrix. Daher ist der Eigenvektor der Kovarianzmatrix zum kleinsten Eigenwert der Normalenvektor der gesuchten Ebene.

Literatur

• Wolfgang Niemeier: Ausgleichungsrechnung – Statistische Auswertemethoden. 2. Auflage. de Gruyter, Berlin / New York 2008, ISBN 978-3-11-019055-7.
• Helmut Wolf: Ausgleichungsrechnung I und II: Formeln zur praktischen Anwendung. Bonn 1994 (2. Auflage)
• Mathematische Exkurse: Ausgleichung nach vermittelnden Beobachtungen
• R. Jäger, T. Müller, H. Saler, R. Schwäble: Klassische und robuste Ausgleichungsverfahren – Ein Leitfaden für Ausbildung und Praxis von Geodäten und Geoinformatikern. Wichmann, Heidelberg 2005, ISBN 3-87907-370-8.
• T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). 2nd edition, Springer Vieweg, 2016, ISBN 978-3-658-11455-8.

Weblinks

• LP – Lineare Ausgleichsprobleme
• Ausgleichungsrechnung oder die Anwendung statistischer Methoden in Vermessungswesen und GIS (PDF; 2,2 MB)
• Einfach anwendbares Scilab Script zur Ausgleichsrechnung von eindimensionalen Messwerten und Oberflächen mit beliebigen Polynomen
• Onlineberechnung von linearen Ausgleichungsproblemen
• Rekursive Parameterschätzung am Beispiel der Kreisausgleichung