Diskussion:Nächste-Nachbarn-Klassifikation

euklidischer abstand

Warum wurdw denn im 2. Absatz der euklidischen Abstand festgelegt, wenn doch auch andere Abstandmaße möglich wären?

Erster Versuch für ein Abschnitt über die statistische Betrachtung

Ich habe mich einmal an einer statistischen Betrachtung für die Nächste-Nachbarn-Klassifikation versucht. Da der Abschnitt nicht fertig ist, will ich ihn erstmal hier einstellen. Vielleicht findet sich jemand um ihn zu ergänzen und einzubauen. --chrislb 问题 19:14, 11. Apr. 2007 (CEST)

---

Statistische Betrachtung

Als parameterfreies Verfahren eignet sich die Nächste-Nachbarn-Klassifikation für die Schätzung unbekannter Wahrscheinlichkeitsdichten oder Dichten, die sich nicht mit einfachen parametrischen Dichtefunktionen darstellen lassen.

Schätzung der Dichte

Bei dieser Schätzung handelt es sich um Überwachtes Lernen für eine Dichte $p(\mathbf {m} |\omega _{i})$ der Klasse $\omega _{i}$ für $i=1,...,c$.

Die Wahrscheinlichkeit, dass $\mathbf {m}$ in die Region $A$ fällt, bestimmt sich wie folgt:

$P(A)=\int _{A}p(\mathbf {m'} )d\mathbf {m'}$.

Da $P(A)$ einer Glättung der Dichtefunktion $p(\mathbf {b} )$ entspricht, kann diese geglättete Version aus $P(A)$ geschätzt werden.

Für die Wahrscheinlichkeit, dass $k$ von $N$ in die Region $A$ fallen gilt nun durch die Binomialverteilung:

$\operatorname {P} (k)={N \choose k}{\operatorname {P} ^{k}(N-\operatorname {P} )^{N-k}}$

und damit der Erwartungswert

$\operatorname {E} \{k\}=NP$.

Unter der Annahme, dass $p(\mathbf {m} )$ innerhalb $A$ stetig ist und A klein genug gewählt und damit $p(\mathbf {m} )$ näherungsweise konstant ist, lassen sich die folgenden Approximationen vornehmen:

$\operatorname {P} (A)=\int _{A}p(\mathbf {m'} )d\mathbf {m'} \approx p(\mathbf {m} )V$ für das Volumen $V$ von $A$ und

$\operatorname {P} (A)={\frac {\operatorname {E} \{k\}}{N}}\approx {\frac {k}{N}}$, da die Binomialverteilung ein ausgeprägtes Maximum am Erwartungswert annimmt.

Daraus resultiert:

$p(\mathbf {m} )\approx {\frac {k/N}{V}}$ für die jeweiligen $\omega _{i}$.

Klassifikation durch Schätzung

Durch die Schätzung

${\hat {p}}(\mathbf {m} ,\omega _{i})={\frac {k_{i}/N}{V}}$

lässt sich nun eine Klassifikation vornehmen: ${\hat {p}}(\omega _{i}|\mathbf {m} )={\frac {{\hat {p}}(\mathbf {m} ,\omega _{i})}{\sum _{j}{\hat {p}}(\mathbf {m} ,\omega _{j})}}={\frac {k_{i}}{k}}$.

---