Quelltext der Seite Kernel-Methode

'''Kernel-Methoden''' sind im Bereich des [[Maschinelles Lernen|Maschinellen Lernens]] eine Klasse von [[Algorithmus|Algorithmen]], die sich eines [[Kernel]]s (dt. Kern) bedienen, um ihre Berechnungen implizit in einem höherdimensionalen Raum auszuführen.
Bekannte Kernel-Methoden sind [[Support Vector Machine]]s, [[Gaußprozess]]e und die [[Kernel-PCA]].

== Formale Definition Kernel ==
{{Überarbeiten}}
Sei <math>X</math> ein Eingaberaum. Eine Abbildung <math> K\colon X \times X \to \R</math> heißt Kernel, wenn es einen [[Skalarproduktraum ]] <math>(F,\langle \cdot, \cdot \rangle)</math> und eine  Abbildung <math>\phi\colon X \to F</math> in diesen Raum gibt mit: <math>K(x,y) = \langle \phi(x), \phi(y) \rangle \;\;\;\; \forall x,y \in X </math>. <math>F</math> heißt Featurespace oder Merkmalsraum, <math>\phi</math> Featuremapping oder Merkmalsabbildung.
In der Praxis muss der Featurespace nicht explizit bekannt sein, da Kernel durch den [[Satz von Mercer]] eine einfache Charakterisierung besitzen.

== Verschiedene Klassen von Kernel-Funktionen ==

Es gibt verschiedene Arten von Kerneln, die sich zum Teil über [[Parameter (Informatik)|Parameter]] an die gegebene Problemstellung anpassen lassen:

* [[Linearer Kernel|lineare Kernel]] <math> k(x,y) = \langle x,y \rangle </math>
* [[polynomiale Kernel]] <math> k(x,y) = \langle x,y \rangle^{d} </math>, mit einem freien Parameter <math>d</math>
* [[Radiale Basisfunktion|Radiale-Basisfunktion]]-Kernel (RBF) <math> k(x,y) = \exp\left(-\tfrac{||x-y||^{2}}{2\sigma^{2}}\right) </math>, wobei die Bandbreite <math>\sigma</math> ein freier Parameter ist
* [[Fisher Kernel]]
* [[Graph Kernel]]
* [[Kernel smoother]]
* [[String Kernel]]
* [[Neural tangent Kernel]]
* [[Neural network Gaussian process]] (NNGP) Kernel

== Kernel-Trick ==
Bei Kernel-Methoden gibt es den '''Kernel-Trick''', mit dem z.&nbsp;B. ein linearer Klassifikator erfolgreich auf nicht linear klassifizierbare Daten angewendet werden kann.
Dies wird erreicht, indem man die Daten in einen höherdimensionalen Raum transformiert, in welchem man sich eine bessere lineare Separierbarkeit erhofft (siehe Bild). Dieser Vorgang kann als eine Art [[Feature-Engineering]] aufgefasst werden.
[[Bild:Kernel trick idea.svg|mini|500px|Gegeben sei die Abbildung <math>\phi((x_1, x_2)) = (x_1, x_2, x_1^2 + x_2^2)</math> und ein Kernel <math>K(\mathbf{x}, \mathbf{y}) = \phi(\mathbf{x}) \cdot \phi(\mathbf{y}) = \mathbf{x}\cdot\mathbf{y}
 + \parallel\mathbf{x}\parallel^2 \parallel\mathbf{y}\parallel^2.</math>
Dann kann eine SVM mit diesem Kernel ''K''('''x''' , '''y''') die roten und lila Datenpunkte durch eine Hyperebene trennen. Die 2d Trainingspunkte <math>(x_1,x_2)</math> werden durch <math>\phi</math> in den 3d-Raum abgebildet <math>(x_1,x_2,\phi((x_1, x_2)) )</math>, wo eine trennende Hyperebene leicht gefunden werden kann.]]

== Literatur ==
* Christopher M. Bishop: ''Pattern Recognition and Machine Learning''. Information Science and Statistics, Springer-Verlag, 2008, ISBN 978-0387310732
* Nello Cristianini, John Shawe-Taylor: ''Kernel Methods for Pattern Classification''. Cambridge, 2004.
* [[Bernhard Schölkopf]], Alex Smola: ''Learning with Kernels''. [[Massachusetts Institute of Technology|MIT]] Press, Cambridge, MA, 2002.
* Thomas Hofmann, Bernhard Schölkopf, Alexander J Smola: ''Kernel methods in machine learning.'' In: ''Annals Statistics'' 36 (3) 2008: 1171–1220. [https://arxiv.org/PS_cache/math/pdf/0701/0701907v3.pdf PDF.]

== Weblinks ==

* http://www.kernel-machines.org/
* http://www.kernel-methods.net

[[Kategorie:Maschinelles Lernen]]
[[Kategorie:Multivariate Statistik]]