Diskussion:Künstliches neuronales Netz

aus Wikipedia, der freien Enzyklopädie
Zum Archiv
Wie wird ein Archiv angelegt?

Schwer verständlicher Satz

Durch Anwendung statistischer Testverfahren lassen sich jedoch 'Überanpassungseffekte' im Regelfall vermeiden. Hierdurch ist die in der Praxis oft noch anzutreffende Strategie des 'Ausprobierens' verschiedener Netzwerkstrukturen nicht mehr nötig und entsprechend als ineffizient einzustufen.

Diese beiden Saetze (bei "Schwierigkeiten") finde ich schwer verstaendlich: Welche Tests sind genau gemeint und wie helfen die Tests, das Ausprobieren zu umgehen? Vielleicht kann der Autor noch 1-2 erklaerende Saetze ergaenzen. Gruesse, Matthias

Ich hab' die beiden Saetze herausgenommen. Wenn jemand ein etabliertes, statistisch fundiertes Verfahren (Fachzeitschrift, Fachbuch) nennen kann, mit dem man die Netzwerkarchitektur ohne Ausprobieren findet, die Saetze mit den notwendigen Referenzen bitte wieder einstellen. Gruss, MH 09:19, 1. Okt 2004 (CEST)

Hi Leute. Also wenn ich das richtig sehe, geht es um die Frage "Wieviele Neuronen bzw. welche Netztopologie" braucht man für ein bestimmtes Problem? Das ist so nämlich gar nicht richtig gefragt. Erstmal muss man sich für EIN Netz entscheiden (RBF-Netz, Perzeptron, ...). Teilweise geht das schon anhand von "Totschlagskriterien" (bei einer hohen Eingabedimension die voll abgedeckt werden soll fällt das RBF-netz komplett weg, bei einer hohen ausgabedimension ist das lernen mit dem Perceptron sehr langsam, usw, wer hierfür ein Beispiel will schaue sich im "kleinen Überblick über NN" das RBFkapitel an. Das mal als erstes. Dann stellt sich die Frage: Wieviele Ebenen (bei RBF egal) und dann wieviele Neuronen. So und jetz ist es so dass man das recht ungenau abschätzen kann (die zahl der inneren Neurone sollte korrespondieren mit der Anzahl der Freiheitsgrade der Funktion die man Approximieren will). Aber das ist immerhin schon etwas. Da man seine Funktion aber in aller regel nicht genau kennt (Sonst brauch man kein NN) bestehen mehr fehler beim Grundwissen dass man für die Abschätzung braucht als in der Abschätzung selbst. Also ist der Minimalwert für die Neuronenanzahl meistens "Erfahrungsbauchgefühl" und von da robbt man sich höher. Die oben angesprochenen "Überanpassungseffekte lassen sich GANZ einfahc ausschließen: Man beobachtet den Fehler den das Netz durch die Lernzyklen macht (der natürlich sinken sollte). Man trainiert das Netz aber nur auf einem TEIL der Trainingsdaten, während man den Rest der Trainingsdaten aber mit zum Prüfen verwendet. Man Prüft also auch datenpunkte ab, die nicht explizit trainiert wurden. So sieht man, ob das Netz nur auswändig lernt (dann ist es nämlich auf den gelernten punkten gut und auf dem rest schlecht). Eigentlich unterteilt man sogar sinnvollerweise die Trainingsdaten in drei teile, siehe hierzu auch den "Überblick", oder bei vorhanden sein das Buch von Andreas Zell (ich glaube der schreibt auch was darüber) aber der Nachteil ist natürlich dass man seinem Netz Informationen vorenthält. Trotzdem klappt es meistens sehr gut. RICHTIGES Training dass auch die Struktur optimiert gibt es z.B. durch Evolutionäre Algorihmen, die "Netzoptimierung mit Evolution" ist hierbei aber ein Thema für sich. Es gibt aber funktionierende Verfahren die das können, soviel ist sicher. Bitte um viele Meinungen :-) --Südstern

Eine sehr einfache und schnelle Variante ist der Vergleich der Menge der Trainingsmuster mit der Anzahl von Freiheitsgraden im Netz. Anschaulich ist das noch bei Netzen mit nur einem Ausgang und zwei Eingängen, bei denen kann man sich die Menge der Trainingsmuster noch als Anzahl von Punkten vorstellen, durch die eine Kurve gelegt wird. Hat die Kurve mehr Parameter als es Punkte gibt, so gibt es unendlich viele Lösungen. Hat also das Netz mehr Freiheitsgrade (trainierbare Gewichte) als es Trainingsmuster gibt, so gibt es unendlich viele Lösungen, die aber alle die Generalisierungseigenschaft (ähnlicher Output bei ähnlichem Input) NICHT besitzen. Solange das Verhältnis von Trainingsmuster zu Freiheitsgeraden deutlich größer als eins ist (am besten um Größenordnungen größer also 10 oder 100) ist man auf jeden fall auf der sicheren Seite. Eine weitere Möglichkeit um festzustellen ob eine Erhöhung der Freiheitsgrade eine Verbesserung bringen kann ist die Bestimmung der Streuung in den Trainingsmustern. Haben zwei Muster bei gleichem oder sehr ähnlichem Eingang einen deutlich anderen Ausgang, so haben die Trainingsmuster eine Streuung. Diese Streuung kann man berechnen, z.b. indem man von Trainingsmsutern mit gleichem Eingang den Mittelwert der Ausgänge bestimmt und über die Summe der Fehlerquadrate geht. der Fehler ist dabei die Abweichungen der Muster vom Mittelwert. Da das Netze für eine Kombination von Eingängen nur einen Ausgang ausgeben kann und dieser im besten Falle im Mittelwert der Muster liegt, kann das Netz nie besser als die Streuung der Trainingsdaten sein. Somit hat man einen absolut besten Wert, der einem sagt wann man mit dem Training aufhören kann. Trainiert man mit so vielen Mustern daß es Streuung gibt, so ist das Training quasi überbestimmt und das vergleichen mit vorher abgeteilten Daten kann entfallen, da von der anderen Testmenge keine statistisch anderen eigenschaften zu erwarten sind, d.h. es sollte dieselbe streuung auftreten. Deedl 12:15, 4. Okt. 2007 (CEST)

Anwendungen

Den Teil, in dem Bereiche genannt werden, die für KNN'S zu komplex sind, finde ich irreführend. Es wird suggeriert, dass z.B. das Problem des Bestimmens sehr großer Primzahlen oder das Faktorisieren nicht durch KNN's gelöst werden kann (laut Text aufgrund ihrer Natur) aber es andere effiziente Lösungsverfahren gibt. Ver- und Entschlüsselung wird in diesem Zusammenhang auch genannt, lässt sich aber im Grunde auch auf die vorherigen beiden zurückführen. Diese Probleme können überhaupt nicht effizient gelöst werden, da sie zu den NP-vollständigen Problemen gehören. D.h. es gibt kein bekanntes Lösungsverfahren, dass diese Probleme in polynomineller Zeit lösen kann. Dazu zählen eben auch KNN's. Im Text klingt das so, als gäbe es Lösungsverfahren, aber KNN's sind nicht geeignet ("aufgrund ihrer Natur"). In der angegebenen Quelle heißt es lediglich: "There are also many other important problems that are so difficult that a neural network will be unable to learn them without memorizing the entire training set, such as: [...]". (nicht signierter Beitrag von 141.56.66.71 (Diskussion) 14:06, 2. Dez. 2015 (CET))

Linkdiskussion

Wie von Chrislb angeregt möchte ich gerne die Linkdiskussion anstoßen über das PDF Ein kleiner überblick über N.N.". Ich versuche das mal auf formale art und weise (hab grad nich zuviel zeit). Also drei punkte:

  • Ich (persönlich) kenne kein Skript mit ähnlichem Illustrationsgrad und es hat mir bei einer seminarausarbeitung mehr als teure bücher geholfen. Dazu objektiv: Das script wird auch von einigen institutsseiten zum Thema mittlerweile verlinkt und ist auch grad wieder geupdated worden (ich hab mich also informiert bevor ich den link wieder reingetan habe).
  • Ich habe das linklöschen mit begründung "Script ist total schlecht" gesehen, aber nichts auf der diskussionsseite. So etwas ist meiner meinung nach irgendeine persönliche Abneigung, aber nicht für Wikipedia geeignet. Ich lösche auch nicht jedes Buch mit dem ich nicht zurecht komme.
  • Begründung zur Linkkürzung: Drastisch gesagt, der Autor ist egal solange das skript gut ist. Daher habe ich den aus dem link rausgenommen und auch den rest etwas gestrafft.

Mich würde freuen wenn diese Änderungen angenommen würden :-)

Hi Wikiler. Ich geb hierzu jetzt auch mal meinen senf, da ich wochen mit dem teil gearbeitet hab. Das script zielt laut vorwort auf Einsteiger und trifft damit exakt die Wikipediazielgruppe. Es hat in vieler hinsicht Bilderbuchcharakter (viele Abbildungen / Randhinweise) und geht nicht in alle themen tief rein (ausser u.U. Backpropagation und Perzeptrone, hier ist es recht ausführlich). Aber grad das ist gut und kann gut daran verstehen wie die einzelnen Arten Netze funktionieren, auch durch viel umgangssprachliche formulierungen.
Fazit: Studis, die Seminararbeiten schreiben oder einer Vorlesung zum Thema folgen müssen, sind mit dem Script aber gut und gratis bedient (wie ich und andere in einer Lehrveranstaltung zum Thema Soft-Computing Uni Rostock, Dozent hatte das Script auf seiner Homepage gelinkt).
@Vorredner: "Schlecht" ist es definitiv nicht. Dass die Abbildungen und der text mühe gekostet haben sieht man und wenn es stimmt dass das auf englisch übersetzt wird (steht auf der HP) find ich das auch gut. Solang es gratis bleibt. Wenns nach mir geht: Rein damit.
-- Südstern
weil hier jetzt lange keiner mehr mitdiskutiert hat aber einige gute Argumente gefallen sind poste ich jetzt einfach mal nen Linkvorschlag den ich in bald in den Artikel an sich setze wenn keiner akademische gegenargumente bringt.
Ein kleiner Überblick über Neuronale Netze - Grundlagenskript zu zahlreichen Arten / Lernprinzipien Neuronaler Netze, viele Abbildungen, einfach geschrieben, ca. 200 Seiten (PDF).
-- Südstern
Link in leicht veränderter form ist jetzt gepostet. Ganz oben auf der Diskussionsseite ist jetzt schon seit Ewigkeiten der Absatz über Statistische tests. Das ist gar nicht so schwer zu erklären, ich werde mich dem mal annehmen.
-- Südstern

Biologische Motivation

In dem abschnitt wird gar nicht klar worum es geht. Ich denke der Autor wollte betonen, das die Informationsverarbeitung im Hirn hochgradig parallel ist und ein KNN auf einem Rechner nur sequentiell simuliert wird. Das ist zwar völlig richtig, aber deplatziert, da es keine biologische Motivation beschreibt. Vielleicht wäre hier ein Abschnitt "Implementierung und Simulation von KNNs" angebracht. gruesse, Johannes (nicht signierter Beitrag von 83.216.234.177 (Diskussion) 10:58, 28. Aug. 2007)

Bestärkendes Lernen - Reinformcement lernen?

Beim bestärkenden Lernen wird dem neuronalen Netz ein Eingangsmuster gegeben, und das Netz gibt dafür ein Ausgangsmuster aus. Dieses wird dann als richtig oder falsch bewertet. Entsprechend ändert das Netz seine Konfiguration.

Dieser Text scheint mir sowas wie ein autoassoziatives Netz zu beschreiben. Es kann natürlich sein das bestärkendes Lernen durch sowas implementiert wird, es beschreibt aber auf keinen Fall den Kern der Sache.

Literatur

Zur Literatur eines Artikels sollte sämtliches aufgelistet werden, was zur Erweiterung und/oder näheren Erläuterung des Artikels dient, vor allem neuere Literatur.
Außerdem sehe ich das wiederholte Löschen meiner Ergänzung durch Chrislb, unter immer neuen Vorwänden, als ziemlich anmaßend an. Erst hieß es, die Literatur ist nicht erhältlich und als Sie merkten, dass sie dies sehr wohl ist (amazon.de, lob.de, buchhandel.de usw.), musste sie nun auch in einer Universitätsbibliotheken zu finden sein. Wozu? Hier wahlweise Literatur zu löschen, nur weil Sie sie nicht kostenlos an ihrer Uni verschlingen können ist peinlich!
Selbstverständlich ist diese Ergänzung der Diskussion nur von temporärer Natur und kann gerne von Chrislb entfernt werden, sofern er in Zukunft die Dreistigkeit unterlässt die Ergänzungen im Unterpunkt Literatur zu löschen.
Mit dem erneuten Eingeben der Literatur warte ich noch bis morgen Abend, falls (wieder Erwarten) tatsächlich eine berechtigte Kritik gegen die Literaturergänzung kommt. -- 19:39, 13.04.2007

Hallo, nett, dass du dich auf der Diskussionsseite meldest. Vielleicht können wir so zu einer Lösung kommen.
Der Grund, warum ich die Literaturnennung entferne ist, dass sie zurzeit weder einfach überprüfbar ist, noch dargelegt wurde, warum sie für die Erweiterung des Artikels wichtig ist. Ich habe mich bereits darum gekümmert die Monographie in meiner Bibliothek über Fernleihe zu bestellen, doch wurde mir gesagt, dass das Buch nirgendwo erhältlich ist. Da wir durch eine Nennung hier aber dem Leser empfehlen das Buch zu lesen, finde ich diesen Zustand ungünstig.
Mein Vorschlag wäre also, ein paar Wochen zu warten, bis das Buch erhältlich ist, und dann die Angabe einzustellen, wenn auch von andrer Seite (auch von meiner) das Werk überprüfbar ist. Sollte das Werk den Inhalt des Artikels gut begleiten, so würde ich mich freuen die Angabe hier zu sehen. --chrislb 问题 20:26, 13. Apr. 2007 (CEST)
Ja das hört sich doch schon ganz anders an, vor allem weil das der eigentliche Grund für mich war, die Literatur zu ergänzen. Ich habe viele Bücher zu dem Thema gelesen und dieses gefällt mir besonders. Endlich mal alles auf den Punkt gebracht, ohne lang herum zu reden. Da ist es ja logisch, dass ich dieses Buch, gerade weil es neu ist, gerne anderen Leuten empfehlen würde, wozu sich Wikipedia doch sehr anbietet. Wenn es den Artikel nicht sinnvoll ergänzen würde, hätte ich es auch nicht reingestellt. Jedoch bin ich zugegeben niemand der sich in Biobliotheken rumtreibt, ich durchstöber lieber das Netz. Woher soll ich denn nun wissen ab wann das Buch in einer Bibliothek erhältlich ist? Kann man das irgendwo (im Netz) nachlesen?
PS: Entschuldige bitte meinen vorherigen Ton, ich habe deine ziemlich kurzen Angaben zur löschung wohl etwas missinterpretiert, tut mir leid.
Ich werde einfach nochmal versuchen an das Buch heranzukommen (~ 2 Wochen). Vielleicht ist diese Überprüfung überflüssig, aber ich interessiere mich nun auch für das Thema und so ist das schnell gemacht. Versteh bitte diesen Vorbehalt, wir erleben hier mittlerweile viele Literatureintragungen, die vom Autor selbst vorgenommen werden und nur den Zweck verfolgen, den Verkauf anzukurbeln. --chrislb 问题 18:04, 14. Apr. 2007 (CEST)
Ja ich kann mir vorstellen, dass sowas sehr nervig ist; verstehe jetzt auch deine Reaktion besser. Bin gespannt was bei deiner Überprüfung rauskommt. Bis bald. -- 20.04.2007

Kein Linkspam! Notwendiger Link von Wikisearcher entfernt

Der hier gesetzte Link zum Skriptum von D. Kriesel ist ungültig. Der Neue Link ist

  • Ein kleiner Überblick über Neuronale Netze (D. Kriesel) - Grösstes kostenloses Skriptum (knapp 200 Seiten, PDF, 4.6MB) in Deutsch zu Neuronalen Netzen. Sehr reich Illustriert und anschaulich. Kapitel über Perceptrons, Backpropagation, Radiale Basisfunktionen, Rückgekoppelte Netze, Self Organizing Maps, Hopfield Netze u.v.m.

Würde Wikisearcher BITTE aufhören hier Leute als Linkspammer zu bezeichnen die Tote links in lebende umwandeln, oder bitte wenigstens das Ziel des Links kurz Lesen. Danke. (nicht signierter Beitrag von 212.201.72.253 (Diskussion) )

Lies Dir bitte den Artikel WP:WEB durch. Danke. --Wikisearcher 01:49, 9. Mär. 2007 (CET)

Zum Abschnitt "Ausblick"

Die gängige Softwareimplemtierung der künstliche neuronale Netze beschränkt die Anzahl der Neuronen auf einige hundert Neuronen, weil das Traininieren des KNNs viel Zeit in Anspruch nimmt. Hardwarebasierte Lösungen besitzen derzeit eine Neuronenanzahl von 30.000 (Zum Vergleich eine Schnecke besitzt 20.000). Bis KNNe die Dimension des menschlichen Gehirns, das über 20 Milliarden Neuronen besitzt, erreicht, werden noch Jahrzehnte vergehen.

Dieser Abschnitt ist Quatsch, da er voraussetzt, dass künstliche neuronale Netze und neuronale Netze in Organismen qualitativ gleichzusetzen sind. Dies ist aber keineswegs der Fall - die gängigen künstlichen Netzwerkmodelle lehnen sich lediglich an die Biologie an, funktionieren jedoch nicht analog dazu. So ist bspw. das Zeitverhalten höchst unterschiedlich. --zeno 19:06, 3. Jan 2005 (CET)

Letztlich ist das Zeitverhalten bei langsamen Prozessen (wie die Simulation einer Cyberschnecke) uninteressant.

Da wir "nur" um den Faktor 10^6 vom menschlichen Gehirn bei einem HW-ANN entfernt sind und nach Moores-Law die HW um 2^n wächst, dürften wir in weniger als einer Humangeneration fähig sein, ein HW-ANN zu bauen, das dem menschlichen Gehirn auch bei langsamen Prozessen (wie z.B. Forschung und Entwicklung) ebenbürtig ist. Bei schnellen Prozessen (Gesichtserkennung in Menschenmassen und Abgleich mit Fahndungsfotos) dürfte schon in 10 Jahren mit Erfolgen zu rechnen sein. Doch gerade diese ersten Anwendungen (Gesichtserkennung in Menschenmassen) kann zu totalitären Regimen (Totalüberwachung erstmals technisch möglich) führen. Drohnen mit ANN-Backbone können schon jetzt Menschengruppen >5 Personen minutenschnell detektieren. Und dies geschah nicht nur im Labor, sondern im praktischen Einsatz in vielen Staaten Südeuropas (Lockdown). --2A02:3037:409:2BC1:2:2:E4C3:A1CF 09:07, 23. Mai 2021 (CEST)

Neuroinformatik

Benutzer:Zenogantner hat meine Änderungen an dem Artikel revertiert, ich habe mir erlaubt diese wieder zu revertieren, möchte hierüber hier aber eine Diskussion beginnen:

Im wesentilichen geht es um den Satz: Künstliche neuronale Netze sind die Grundlage der Neuroinformatik

Zenogantner schreibt dazu der begriff Neuroinformatik sei nicht etabliert:

An mindestens den folgenden deutschen Universitäten gibt es Abteilungen, Institute oder Arbeitsgruppen die sich neuroinformatik nennen:

Es gibt X Bücher und minestens eine zeitschrift die das Wort Neuroinformatik im Titel verwenden - ich denke das Wort ist also durchaus etabliert und stellt einen Forschungsbereich der Informatik dar, das rechtfertigt in meiner Meinung hier darauf hinzuweisen und eine entsprechende Kategorie zu führen. --Ixitixel

Trotzdem ist es falsch, zu behaupten, KNNs seien die Grundlage der Neuroinformatik. Lebewesen sind nicht die Grundlage der Biologie, und Himmelskörper sind nicht die Grundlage der Astronomie. und Sie sind ihr prinzipieller Forschungsgegenstand.
Was aber nicht heißt, dass KNNs in anderen Gebieten nicht auch relevant wären.
Die Bezeichnung "Neuroinformatik" existiert und wird verwendet, daran besteht kein Zweifel, es gibt aber trotzdem viele Forscher, die sich mit konnektionistischen Modellen beschäftigen und ihr Feld nicht als Neuroinformatik bezeichnen. Insofern ist die Bezeichnung nicht etabliert, v.a. im Unterschied zu Bezeichnungen wie "Maschinelles Lernen", "Künstliche Intelligenz", "Kognitionswissenschaft", "Regelungstechnik", "Robotik", "Psycholinguistik", "Mustererkennung" (in allen bisher genannten Feldern kommen auch KNNs zur Anwendung, sie sollten dann auch nicht verschwiegen werden), "Bioinformatik", "Wirtschaftsinformatik", ...
Deswegen finde ich es unpassend, die Neuroinformatik im Einleitungssatz so herauszustellen.
Mit freundlichen Grüßen, --zeno 22:25, 5. Jan 2005 (CET)
Wikipedia Artikel zu Grundlage:
Grundlage ist das, was eine Sache, eine Beziehung als unveräußerliches Fundament trägt
Nun ja, ob künstliche neuronale Netze die Neuroinformatik als unveräußerliches Fundament tragen, darüber läßt sich sicher streiten, ich würde diese Frage bejaen, kann deine Zweifel aber verstehen. Ich habe die Formulierung hin zu prinzipieller Forschungsgegenstand analog zu Deinem Vorschlag geändert, auch habe ich die Bedeutung der KNNs für die KI noch weiter herausgehoben.
Ich weiß sehrwohl, daß KNNs mittlerweile in vielen Forschungsbereichen eine Rolle spielen, aber in keinem der von Dir genanten Bereiche sind sie meines Wissens nach prinzipieller Forschungsgegenstand oder gar Grundlage, deswegen empfinde ich es als legitim die Neuroinformatik herauszustellen, es ist nunmal die Wissenschaft der KNNs.
Ich hoffe, der Artikel ist so für Dich akzeptabler
Mit freundlichen Grüßen --Ixitixel 02:53, 6. Jan 2005 (CET)
Hallo, Danke erst einmal für die Veränderungen.
Trotzdem bleibe einige Zweifel bei mir.
Das Konzept der KNNs existiert schon wesentlich länger als das Feld der Neuroinformatik, eine 1:1-Zuordnung "Neuroinformatik" - "KNNs" analog zu "Biologie" - "Lebewesen" halte ich für sehr bedenklich, weil meiner Meinung nach die (prinzipielle, Grundlagen-) Forschung über KNNs nicht nur von Wissenschaftlern getragen wird/wurde, die sich selbst als "Neuroinformatiker" bezeichnen/bezeichneten.
--zeno 11:32, 6. Jan 2005 (CET)
Hallo,
Ich sehe Deine Zweifel so nicht: Natürlich sind zum Beispiel die meisten Einzeller, und damit auch Ihr Konzept, wesentlich älter als die Biologie die sich mit Ihnen befaßt. Und wenn jetzt einige berühmte Physiker beschlössen über diese Einzeller zu forschen und etwas über eben diese Einzeller herausfänden, würden sie dennoch zur Biologie gehören, auch wenn die Forschung über diesen Einzeller ja nun nicht "nur von Wissenschaftlern getragen wird/wurde, die sich selbst als Biologen bezeichnen/bezeichneten."
Die Neuroinformatik ist nunmal die Wissenschaft der Künstlichen Neuronalen Netzte und deswegen finde ich es richtig, dies auch im KNN Artikel zu erwähnen.
--Ixitixel 17:07, 7. Jan 2005 (CET)
Der Vergleich hinkt. "Biologie" als Bezeichnung ist wesentlich etablierter als "Neuroinformatik". --zeno 14:25, 8. Jan 2005 (CET)
Das mit dem etabliert ist IMO kein Argument - z.B. die Uni Ulm bietet Neuroinformatik als Vertiefungsgebiet im Informatikstudium an. Dann steht auf dem Diplomzeugnis "Vertiefungsgebiet Neuroinformatik". Wie das an den anderen Unis ist weiß ich nicht, aber scheinbar gibt es eine ganze Reihe Unis an denen ähnliches geht. Die NI ist natürlich eine junge Wissenschaft. Aber jede Wissenschaft war einmal jung - und das sollte doch kein Hindernis sein sich mit ihr zu befassen oder auf sie zu verweisen.
Ich habe Neuroinformatik studiert. Es gibt in Ulm auch eine KI Abteilung - da gab es aber noch nie Streit oder ähnliches, an den Stellen wo sich unsere Forschungsbereiche treffen, arbeiten wie zusammen, und im Großteil unserer Aufgaben treffen sich die beiden Abteilungen nicht. Du scheinst auch KI zu amchen und zwar an einer Uni die keine NI hat. Da ist es klar, das Aufgaben die in Ulm ven der NI erledigt werden, von der KI miterledigt werden, das bedeutet aber nicht das die NI
a) nicht etabliert ist
b) keine Existenzberechtigung hat
oder man c) nicht auf sie verwiesen werden braucht.
--Ixitixel 19:08, 10. Jan 2005 (CET)

Resilient, nicht Resilent

Die Bezeichnung des Lernferfahrens RProp lautet korrekterweise Resilient, nicht Resilent. Vergl.: Riedmiller "RProp - a fast adaptive lerning algorithm". Ich habe versucht den Artikel zu verschieben, aber leider scheine ich noch nicht die benötigten Rechte dafür zu haben. Bitte korrigiert das.

Aktueller Stand (Stand Sommer 2006)

Ich finde dieser Teil des Artikels KNN gehört icht in eine Enzyklopädie, außerdem ist er unpräzise formuliert. Es giebt ebenso moderne Reports des Technology Rewiews, in denen vermerkt wird, dass wir heute in der Lage sind ein bis zwei Neurone mit all ihren Elektrochemischen Vorgängen zu simulieren. Es handelt sich also bei den Soft- und Hardware Simulierten Neuronen offensichtlich um triviale McCullochPitts Neuronen. Diese werden dann aber direkt den Neuronen einer Schnecke gegenübergestellt.

Diese und andere Spekulationen sollten besser der Tagespresse überlassen werden. Darum lösche ich den Teil Stand Sommer 2006.--Sanches 12:23, 16. Okt. 2006 (CEST)

Ich glaube bei diesem Artikel hast du freie Hand. Er ist noch meilenweit von einem passablen Zustand entfernt. --chrislb 问题 15:42, 16. Okt. 2006 (CEST)

Lernen?

Da ich ein newbi auf dem Gebiet bin habe ich eine Sache nicht so ganz verstanden. Der Satz:

"Nach der Konstruktion eines Netzes folgt die Trainingsphase, in der das Netz "lernt"."

Besteht dieses lernen aus purem "try and error" wo beliebige Werte ausgetauscht werden,oder werden bei einer "Verschlechterung" des Resultats auf die alten Werte zurueckgegriffen, also eine Art evolutionaeres lernen oder gibt es bestimmte Algorithmen oder was versteht man unter dem Begriff lernen in diesem Zusammenhang ueberhaupt???

mfg -- Florian K.

Da ist die Wikipedia zur Zeit etwas mangelhaft. Ich denke ein gutes Buch wird einiges mehr dazu sagen können. Künstliches Neuron beinhaltet ein "einfaches" Beispiel, wo ein Lernen stattfindet. Dort wird aber nur ein Verfahren aus vielen verwendet. Grüße --chrislb 问题 15:02, 24. Mär. 2007 (CET)
Das Netz aus den Neuronen "lernt", indem Eingangs- und dazugehöriges Ausgangsmuster in einen "Lernalgorithmus", z.B. den im Artikel erwähnten Backpropagation-Algorithmus gesteckt werden. Dieser bestimmt daraus neue Gewichtungen für die Verbindungen zwischen den Neuronen. Diese werden für die nachfolgenden Lernschritte benutzt. Mit der Zeit ergibt sich dann die gewünschte Abbildung von einem Eingangs- in ein bestimmtes Ausgangsmuster.
Interessant wird es, wenn man mehrere Eingangsmuster mit zugehörigen Ausgangsmustern gleichzeitig trainiert, und das neuronale Netz nach dieser Trainingsphase dann leicht abweichende Eingangsmuster trotzdem den richtigen Ausgangsmustern zuordnen soll.
Trotzdem: Mehr als einen Überblick kann ein Lexikon wie Wikipedia nicht geben. Wenn man den richtigen Dreh erst noch finden muss, braucht man ein Lehrbuch. -- Janka 21:14, 24. Mär. 2007 (CET)

Hebbsche Lernregel (un)überwachtes Lernen

In der alten Version stand die Hebbsche Lernregel in der Gruppe des überwachten Lernens. Dies widerspricht jedoch dem gesund Menschenverstand(und nach dem was ich im Studium gelernt habe). Die Hebbsche Lerneregel besagt doch, daß das Gewicht zwischen zwei Neuronen dann verstärkt wird, wenn beide gleichzeitig aktiv sind. Da hier kein Vergleich zwischen tätsächlicher und gewollter Ausgabe vorkommt, kann von überwachtem Lernen doch keine Rede sein. Ich denke diese Argumentation ist auch Problemlos nachzuvollziehen und ziemlich logisch. Vergleiche dazu den Wiki-Artikel über Hopfield-Netze. Ich werde daher den Link zur Hebbschen Lernregel vom überwachtem zum unüberwachten lernen verschieben.Deedl 14:34, 13. Mai 2007 (CEST)

Allgemeines

Also ich bezeichne mich mal als sehr technikaffinen Menschen, der sich nur mal informieren wollte, was KNN so sind und so machen. Ich finde den Artikel echt schlimm und habe kaum ein Wort verstanden. Es sollte in einer Enzyklopädie darum gehen, dass man rasch (anhand einfacher Beispiele) einen Eindruck und Einblick gewinnt. Was hier geschieht ist aber ein einziges Um-Sich-Schlagen mit nicht erklärten Fachbegriffen. Könnte mal jemand versuchen, KNN so zu erklären, wie man es einem Kind erklärt? Danke! --159.149.155.89 21:47, 19. Jul. 2007 (CEST)

Hinweis auf industriell verfügbares KNN

Warum wurde der Hinweis auf dieses KNN gelöscht? Der Hinweis auf diesen Hersteller und sein Produkt ist nicht aus Werbegründen hier angebracht, sondern um zu zeigen, dass es nicht nur im Labor Modelle gibt, sondern auch industriell verfügbare Lösungen. Da ich nur diesen Hersteller kenne, habe ich auch nur ihn genannt. Wer noch andere kennt, soll sie dazustellen. Aber es gibt m. W. keine - umso interessanter und wichtiger darauf hinzuweisen. (nicht signierter Beitrag von 83.99.62.4 (Diskussion) )

Der Schreibstil war aus meiner Sicht eindeutig werbend. Es wurden Alleinstellungsmerkmale behauptet, die nicht beleget waren und als einzige Quelle die Herstellerseite genannt. Wenn ein Produkt so einzigartig ist, muss dies belegt werden, daher auch meine Entfernungsbegründung: bitte nachprüfbare neutrale Quelle angeben (siehe Versionsgeschichte).
Also Absatz entweder abschwächen oder belegen.
Bitte auf Diskussionsseiten WP:SIG beachten.
Gruß --Baumfreund-FFM 06:44, 20. Mär. 2008 (CET)

Ich weiss nicht, ob mein Schreibstil werbend ist- ich bin auch kein Schriftsteller, sondern Ingenieur. Du darfst das ruhig in einen nicht werbenden Stil umschreiben. Der Beleg dafür, dass das Produkt einzigartig ist, ist einfach: nimm dir eine Stunde Zeit und google durch die ganze Welt- du wirst nichts finden. Das sollte doch in der Hinsicht ausreichen. Bez. der nachprüfbaren Quelle: da das Produkt ein Nischenprodukt einer hochspezialisierten Industriebranche ist -Qualitätskontrolle mittels (neuronaler) digitaler Bildverarbeitung -wirst du auch hier kaum einen Bericht finden. Ich bin aber sicher, dass der Hersteller dir Kundenreferenzen geben kann. Es ist doch nur normal, in einem Artikel über KNN auch einen Hinweis und Link auf ein real existierendes KNN zu geben... Das ist doch in jedem Wikipedia Artikel so (darum geht es doch letztendlich- relevante Information zur Verfügung zu stellen. Und m.E. ist diese Information relevant - vor allem wenn man sich in KNN auskennt und WEISS dass es so gut wie keines ausserhalb von Forschungslaboren gibt). (nicht signierter Beitrag von 83.99.60.168 (Diskussion) )

Das WP-Prinzip ist nicht, dass sich die Wikipedianer die Belege suchen, sondern der Autor hat die Belege zu erbringen.
Gruß --Baumfreund-FFM 12:41, 21. Mär. 2008 (CET)

Aha! Dann kuck mal unter "Astrologie" auf Wikipedia. Da wird auf Astrologie-Bücher verlinkt. Kein Kommentar... Nochmal: Ich habe keinen Bezug zu der Firma und es ist mir auch egal ob das jetzt werbend beschrieben wird oder was weiss ich. Schade finde ich nur, dass in einem so interessanten Feld wie der KNN ein solcher Hinweis nicht akzeptiert werden soll. In jedem anderen Artikel sind Hinweise auf Hersteller integriert (Autos, Flugzeuge, Handys)- und hier soll das nicht erlaubt sein? Wo es (so weit ich weiss) erwiesenermassen nur einen Hersteller gibt!? Das soll WP ja auch leisten: jeder der das liest und einen anderen kennt, soll sein Wissen dazuschreiben- es geht ja darum Wissen zu vermehren.

Hier noch ein gutes Beispiel: http://de.wikipedia.org/wiki/Druckluftauto (Kapitel2): Hier dürfen die Daten einer -mit an Sicherheit grenzenden Wahrscheinlichkeit- betrügerischen Firma jahrelang in WP stehen. Dass in nachfolgenden Kapiteln Kritik geübt wird, ist ja ok- darf man hier ja auch gern machen. Wieso also darf für MCI "Werbung" gemacht werden, und ein seriöser Beitrag hier wird nicht geduldet? (nicht signierter Beitrag von 83.99.60.168 (Diskussion) )

Hallo, mangelnde Qualtiätssicherung in anderen Artikeln kann doch kein Argument dafuer sein, hier wahllos Produkte aufzulisten. Du wirst sicherlich einsehen, dass es Regeln geben muss, wann ein Produkt gelistet werden soll und wann nicht. Alles was Baumfreund erwartet, ist eine ueberpruefbare Begruendung, was das eine gegenüber den vielen anderen auszeichnet.-- sparti 23:48, 21. Mär. 2008 (CET)

Sprachsynthese

Im Artikel existiert ein Wiki-Link der "Sprachgenerierung" heißt. Es gibt aber schon ein Artikel, der Sprachsynthese heißt, womit wohl das gleiche gemeint sein soll. Da der Artikel gesperrt ist kann vielleicht jemand autorisiertes diese Kleinigkeit überprüfen.--Sanches 19:00, 17. Aug. 2008 (CEST)

bild neuron

müsste es nicht eher so lauten:

--Micha81 10:35, 29. Dez. 2008 (CET)

Terminologie: Netz/Netzwerk

Wie sieht es denn aus mit den Begrifflichkeiten? Bei uns an der Uni wurde Wert darauf gelegt, dass es neuronales Netz heißt, nicht Netzwerk. Hier im Artikel wird einleitend nur neuronales Netz verwendet, im Arikelverlauf aber Netz und Netzwerk kunterbund gemischt. Sollte der Begriff neuronales Netzwerk gängig sein, würde es sich wahrscheinlich anbieten, das in der Einleitung mit anzugeben (auch: künstliches neuronales Netzwerk). Selbst wenn Netzwerk gängig ist, würde es sich vieleicht trotzdem anbieten, sich aus Kohärenzgründen für einen Begriff im Artikel zu entscheiden. Meinungen? --GlaMax 12:09, 20. Okt. 2009 (CEST)

Ich würde davon ausgehen, dass die Begriffe bislang im Text nicht bewusst unterschieden werden. Ich würde demnach sagen, erstmal alles auf künstliches neuronales Netz zu ändern, da a) es im Titel steht und b) Dein Professer formuliert, dass Netzwerk hier der falsche Begriff ist. Sollte jemand den Begriff Netzwerk als alternativen und richtigen Begriff kennen, sollte das dann explizit als Alternativbegriff erwähnt werden. Eine konsistente Bezeichnung im Artikel finde ich unabhängig von der Richtigkeit vernünftig und da bietet sich ja das Lemma künstliches neuronales Netz an. Machst Du das? Gruß, norro wdw 12:34, 20. Okt. 2009 (CEST)
Gibt es zu "Netz ist richtiger als Netzwerk" noch belastbareres Material als "an der Uni wurde Wert darauf gelegt"? Momentan findet Google "künstliche neuronale netze" doppelt so oft auf DE-Seiten wie "künstliche neuronale netzwerke". Was generell kein großer Unterschied ist, und erst recht nicht, wenn man bedenkt, wie viele sich an Wikipedia orientieren.--Biologos 16:55, 30. Okt. 2009 (CET)
Wie dir jedes gute Wörterbuch bestätigen wird, ist die Übersetzung von “network” „Netz“. Für einen Präskriptivisten ist an dieser Stelle die Diskussion beendet. Für einen Empiriker ist es natürlich interessant zu ergründen, ob im Deutschen das Wort „Netzwerk“ möglicherweise immer häufiger verwendet wird. Ein Deskriptivist könnte das dann damit zu erklären versuchen, dass der Einfluss des Englischen damit zu tun hat, dass Deutsche beim Übersetzen den falschen Freund „Netzwerk“ bevorzugen – besonders im technischen Bereich, wo „Netz“ und „Netzwerk“ wohl (aus deskriptiver Sicht) inzwischen als Synonyme anzusehen sind. --Thüringer ☼ 17:22, 30. Okt. 2009 (CET)
Das heißt das Argument ist ein rein sprachliches, das darauf fußt, dass sich 1. der Begriff im Englischen gebildet hat und 2. die korrekte Übersetzung von network "Netz" und nicht "Netzwerk" ist? Was wäre dann die englische Übersetzung des deutschen Wortes "Netzwerk"? Was ist der Unterschied zwischen einem Netz und einem Netzwerk? In der Technik, schreibst du, besteht keiner (mehr). Sollte die Wikipedia nicht den aktuellen Sprachgebrauch abbilden, sofern dieser korrekt ist? Ist die von dir verwendete Argumentation auch die, die an den Unis vorgebracht wird? Falls ja: Sollten Informatiker Aussagen über korrekte Übersetzungen nicht eher den Sprachwissenschaftlern überlassen? (Mein Wörterbuch übersetzt network übrigens mit "Empfängernetz, Netz, Netzwerk". (Lechners Englisch-Wörterbuch, Lechner Verlag 1995)) Viele Grüße,--Biologos 17:40, 30. Okt. 2009 (CET)
Nachtrag: Darüber wurde natürlich schon längst an anderer Stelle diskutiert, z. B. hier: http://de.wikipedia.org/wiki/Diskussion:Netzwerk . Zitat von dort: der entsprechende Artikel in Zwiebelfisch, den hier alle nachbeten ist nicht unangreifbar. Die wesentliche deutsche Bedeutung von "Netzwerk" im übertragenen Sinne, laut Wahrig 1968: "Netzartiges Gefüge". Und das ist für Vieles, das Netzwerk genannt wird, eindeutig der Fall. Eben kein zweidimensionales Netz und keine dreidimensionale Reuse, sondern ein mehrdimensionales, sich veränderndes netz a-r-t-i-g-e-s Gefüge. Und der Vollständigkeit halber noch der Link auf den Zwiebelfisch-Artikel, den ich auch für schwach halte (inzwischen ist der Stern von Herrn Sick als Deutsch-Oberexperte ja auch insgesamt gesunken): http://www.spiegel.de/kultur/zwiebelfisch/0,1518,315833,00.html --Biologos 18:22, 30. Okt. 2009 (CET)
Nach Durchsicht der Literaturliste wurde mir klar, dass der Begriff "Neuronales Netzwerk" zumindest in zitierfähigen Quellen vorkommt, wenn nicht sogar neben "Netz" gängig ist. Nachdem ich mir Deine Links zu den Diskussionen und zum Zwibelfisch angeschaut habe, habe ich den Eindruck, dass beide Begriffe im allgemeinen Sprachgebrauch verwendet werden, die herrschende Lehre aber wohl eher zu "Netz" tendiert. Deshalb mein Vorschlag: -Angabe "(auch: neuronales Netzwerk)" oder "(im allg. Sprachgebrauch auch: NNW)" hinzufügen. -Aus Koheränzgründen Vereinheiltichung im Text zu "Netz" oder "Netzwerk", ich bevorzuge wegen der Lehre "Netz". Natürlich nicht bei Zitaten und Quellenangaben. Widersprüche? --GlaMax 15:44, 21. Nov. 2009 (CET)
Ja, Widerspruch. Die Beobachtung, dass Netzwerk mitunter synonym zu Netz gebraucht wird, gehört nicht in diesen Artikel und gehört überhaupt nicht in eine Enzyklopädie, sonder in ein Wörterbuch, z.B. Wiktionary. Als Terminus technicus ist im Deutschen Neuronales Netz etabliert, und ich sehe keinen Grund, das hier im Artikel zu verwässern. --Thüringer ☼ 17:30, 21. Nov. 2009 (CET)
Ich liefere mal Fakten: In der aktuellen Version des Artikels findet sich bei den Einzelnachweisen, den Literaturangaben und den Weblinks jeweils ein Eintrag, der "Netzwerk" verwendet (jeweils etwa 10 %). Bei amazon.de findet man etwa 30 Fachbücher mit "neuronale Netzwerke" und über 500 mit "neuronale Netze". Das ist für mich Beleg genug, dass der gebräuchliche Fachbegriff "neuronale Netze" ist. Ich wäre dann, ähnlich wie GlaMax, für den Zusatz im Einleitungssatz "(selten auch künstliche neuronale Netzwerke, kurz: KNN, engl. artificial neural network – ANN)", ohne eine Bewertung, was korrekt ist und was nicht.--Biologos 18:00, 21. Nov. 2009 (CET)
Ich würde das mal jetzt so umsetzen. Ob man jetzt anstelle "selten" etwa "manchmal", "fälschlich" etwas anderes oder garnichts schreibt, kann ja noch diskutiert werden. Mir geht es ieL um die Einheitlichkeit im Text, und eine Verbesserung dürfte es allemal sein.--GlaMax 19:46, 21. Nov. 2009 (CET)

"Forschungsgelder"

Es gibt da die Aussage "Die Folge war ein vorläufiges Ende der Forschungen auf dem Gebiet der Neuronalen Netze, da die meisten Forschungsgelder gestrichen wurden."

Das ist meiner Meinung nach unpräzise. Bitte hinterlegen! Ohne über die Details Bescheid zu wissen: Meist werden Forschungsgelder nur in einer Gesellschaft (z.B. Helmholtz, oder Max-Planck), einem Staat (z.B. USA) oder Wirtschaftbereich (z.B. EU) heruntergefahren. Weltweit meist nicht gleichzeitig. Sollte das hier wirklich der Fall gewesen sein, wäre es gut, das zu belegen. --Frank Herbrand 19:49, 9. Nov. 2009 (CET)

Das war hier, nach der Entdeckung des XOR Problemes, wohl in der Tat so. Findet sich in jedem Buch zum Thema in dem die Historie erwähnt wird.--143.93.55.239 12:35, 4. Jan. 2010 (CET)

"Allgemeine Probleme"

Ich weiss nicht, welchem KNN-Kurs diese Auflistung von Allgemeinen Problemen von künstlichen Neuronalen Netzen entsprungen ist, aber ich halte diese in dieser Form für ein wenig unglücklich.

Beispielsweise: "Das Trainieren von KNN (im Terminus der Statistik: Das Schätzen der im Modell enthaltenen Parameter) führt in der Regel zu hochdimensionalen, nichtlinearen Optimierungsproblemen." -> Was ist denn, wenn ich schon von Anfang an ein hochdimensionales, nichtlineares Optimierungsproblem habe? Dann probiere ich natuerlich auch KNNs aus, weil diese für den Zweck im Jahr 2011 state of the art sind.

Oder: "Es müssen Trainingsdaten gesammelt oder manuell erzeugt werden." Bei jedem Supervised Learning Algorithmus müssen Trainingsdaten gesammelt werden. Selbst für eine einfache lineare Regression brauche ich ja irgendwelche Daten, in die ich meine Hypothese reinpressen kann. Das ist keine den KNNs innewohnende Eigenschaft, es gibt auch aus dem Umfeld der konnektionistischen neuronalen Netze unsupervised learning Methoden.

Oder: "Bei Anwendung einer ‚heuristischen‘ – nicht statistischen – Vorgehensweise bei der Netzspezifikation, neigen KNN dazu, die Trainingsdaten einfach auswendig zu lernen" Das Overfitting ist ebenso kein Problem, das alleine die KNNs haben. Das Problem besteht bei (fast) jedem machine learning Algorithmus.

Jedenfalls erscheint für mich durch diesen "aufgebauschten" Problemteil bei KNNs ein Bias gegen diese Technologie aufgebaut zu werden, obwohl die meisten Probleme eigentlich nicht spezifisch sind für Neuronale Netze.

Daher schlage ich vor, dass ich diesen Problemteil demnächst ein wenig straffe und dergestalt umformuliere, dass ersichtlich wird, dass die Probleme eher übergeordneter Natur sind und nicht spezifisch sind für KNNs.

schöne Grüße Danny Busch]] [[Benutzer Diskussion:DannyBusch|:-) 08:55, 3. Nov. 2011 (CET)

Artikel überholt

Dieser Artikel fällt weit hinter den gegenwärtigen Stand der Kunst im Bereich neuronaler Netze zurück. Er enthàlt keinen Hinweis darauf, dass tiefe (und rekurrente) neuronale Netze seit 2009 in vielen Wettbewerben alle anderen Methoden schlagen (Stichwort Deep Learning). Da bleibt viel zu tun. Wohlgetango (Diskussion) 19:24, 26. Dez. 2013 (CET)

Hier mal ein paar Textbausteine - ich habe mich bei der englischen Wikipedia und Professor Schmidhubers Seite http://www.idsia.ch/~juergen/firstdeeplearner.html bedient:

In jüngster Zeit erlebten neuronale Netzwerke eine Wiedergeburt, da sie bei herausfordernden Anwendungen oft bessere Ergebnisse als konkurrierende Lernverfahren liefern. Zwischen 2009 and 2012 gewannen die rekurrenten bzw. tiefen vorwärtsgerichteten neuronalen Netzwerke der Forschungsgruppe von Jürgen Schmidhuber am Schweizer KI Labor IDSIA eine Serie von acht internationalen Wettbewerben in den Bereichen Mustererkennung und maschinelles Lernen[1]. Insbesondere gewannen ihre rekurrenten LSTM Netzwerke[2][3] drei Wettbewerbe zur verbundenen Handschrifterkennung bei der "2009 Intl. Conf. on Document Analysis and Recognition (ICDAR)", ohne eingebautes a priori-Wissen über die drei verschiedenen zu lernenden Sprachen. Die LSTM-Netze erlernten gleichzeitige Segmentierung und Erkennung. Dies waren die ersten internationalen Wettbewerbe, die durch Deep Learning[4][5] oder durch rekurrente Netze gewonnen wurden.

Tiefe vorwärtsgerichtete Netzwerke wie Kunihiko Fukushimas Konvolutionsnetz[6] verfügen über alternierende Konvolutionslagen und Lagen von Neuronen, die miteinander im Wettbewerb stehen. Yann LeCuns Team von der New York University wendete den seinerzeit schon gut bekannten backpropagation Algorithmus auf solche Netze an[7]. Moderne Varianten verwenden sogenanntes "max-pooling" für die Wettbewerbslagen[8]. Zum Abschluss krönt man das tiefe Netz durch mehrere normale Neuronenlagen. Schnelle GPU-Implementierungen dieser Kombination wurden durch Ciresan und Kollegen in Schmidhubers Gruppe eingeführt[9]. Sie gewannen seither zahlreiche Wettbewerbe, u.a. die "ISBI 2012 Segmentation of Neuronal Structures in Electron Microscopy Stacks Challenge"[10] und den "ICPR 2012 Contest on Mitosis Detection in Breast Cancer Histological Images"[11]. Derartige Modelle erzielten auch die bisher besten Ergebnisse auf der ImageNet Datenbank[12][13]. GPU-basierte "max-pooling" Konvolutionsnetze waren auch die ersten künstlichen Mustererkenner mit übermenschlicher Performanz[14] in Wettbewerben wie der "IJCNN 2011 Traffic Sign Recognition Competition"[15].

  1. http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions 2012 Kurzweil AI Interview mit Jürgen Schmidhuber zu den acht Wettbewerben, die sein Deep Learning Team zwischen 2009–2012 gewann
  2. Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552
  3. A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009.
  4. Bengio, Y. (2009). Learning Deep Architectures for AI.. Now Publishers. http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf
  5. Schmidhuber, Jürgen; My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013, http://www.idsia.ch/~juergen/firstdeeplearner.html
  6. Fukushima, K.: Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. In: Biological Cybernetics. 36, Nr. 4, 1980, S. 93–202. doi:10.1007/BF00344251.
  7. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel. Backpropagation Applied to Handwritten Zip Code Recognition. Neural Computation, 1(4):541-551, 1989. http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf
  8. M. Riesenhuber, T. Poggio. Hierarchical models of object recognition in cortex. Nature neuroscience, 1999. http://riesenhuberlab.neuro.georgetown.edu/docs/publications/nn99.pdf
  9. D. C. Ciresan, U. Meier, J. Masci, L. M. Gambardella, J. Schmidhuber. Flexible, High Performance Convolutional Neural Networks for Image Classification. International Joint Conference on Artificial Intelligence (IJCAI-2011, Barcelona), 2011. http://www.idsia.ch/~juergen/ijcai2011.pdf
  10. D. Ciresan, A. Giusti, L. Gambardella, J. Schmidhuber. Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images. In Advances in Neural Information Processing Systems (NIPS 2012), Lake Tahoe, 2012. http://www.idsia.ch/~juergen/nips2012.pdf
  11. D. Ciresan, A. Giusti, L. Gambardella, J. Schmidhuber. Mitosis Detection in Breast Cancer Histology Images using Deep Neural Networks. MICCAI 2013. http://www.idsia.ch/~juergen/miccai2013.pdf
  12. A. Krizhevsky, I. Sutskever, G. E. Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NIPS 25, MIT Press, 2012. http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf
  13. M. D. Zeiler, R. Fergus. Visualizing and Understanding Convolutional Networks. TR arXiv:1311.2901 [cs.CV], 2013. http://arxiv-web3.library.cornell.edu/abs/1311.2901
  14. D. C. Ciresan, U. Meier, J. Schmidhuber. Multi-column Deep Neural Networks for Image Classification. IEEE Conf. on Computer Vision and Pattern Recognition CVPR 2012. http://www.idsia.ch/~juergen/cvpr2012.pdf
  15. D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. Multi-Column Deep Neural Network for Traffic Sign Classification. Neural Networks, 2012. http://www.idsia.ch/~juergen/nn2012traffic.pdf

Wohlgetango (Diskussion) 22:41, 26. Dez. 2013 (CET)

Abschnitt "Typische Strukturen"

Der Bezug zwischen evolutionären Algorithmen und Moore-Automaten hinsichtlich neuronaler Netze wird nicht ersichtlich und ist auch nicht belegt. Zudem führt der Link hinter "Moore-Automat" hier auf den Artikel des Zellulären Automaten. (nicht signierter Beitrag von Neutronstar2 (Diskussion | Beiträge) 19:53, 12. Apr. 2016 (CEST))

nicht immer will man neuronale Netze trainieren

Mir kommt es so vor, als ginge es in dem Artikel immer nur um trainierbare Netze. Dabei sind meiner Meinung nach nicht trainierbare Netze viel wichter bei praktischen Anwendungen. Hierbei werden fertige Gewichtungen aus einer Datei geladen und damit kann das (vortrainierte) Netz dann z.B. Buchstaben und Zahlen erkennen, die ein Scanner liefert. D.h. es wurde einmal ein Training gemacht und die damit erhaltenen Gewichte werden dann zusammen mit einem nicht-trainierbaren Netz in ein Produkt eingebaut. --2.246.115.192 23:41, 8. Jun. 2017 (CEST)

Es ist das gleiche Netz und es musste einmal trainiert werden. Dass man die gewonnenen Daten dann auf n Stück replizieren kann liegt in der Natur der darunterliegenden Sache. -- Janka (Diskussion) 10:58, 9. Jun. 2017 (CEST)
Es kann nur dann dasselbe Netz sein, wenn es nicht mehr trainiert wird. Die Aufforderung, bitte zwischen Trainingsphase und Einsatzphase bei praktischen Anwendungen zu unterscheiden, ist somit völlig berechtigt. Man kann kritische Anmerkungen auch ernst nehmen. --nanu *diskuss 12:44, 12. Jun. 2017 (CEST)

Vermutlich Fehler bzgl Minski und XOR

In dem Abschnitt der sich mit dem Effekt von Minski's Buch "Perceptrons" beschäftigt werden alte Fehleinschätzungen wiederholt. Hier wäre es wichtig die wesentliche Essenz des englischen Artikels über dieses Buch https://en.wikipedia.org/wiki/Perceptrons_(book)#The_XOR_affair einzufangen und sauber wiederzugeben. Aktuell gibt die deutsche Wikipedia hier nach meinem Verständnis primär Mythen weiter...

Wellenformgleichung?

Hallo,

ich dachte, mal entweder gelesen oder davon gehört zu haben, dass neuronale Netze (mit fest definierten Verbindungen) eigentlich komplexe Wellenformgleichungen inklusive Rückkopplung darstellen bzw. lösen (mit zwei möglichen Ausgängszuständen: Netz bzw. Wellenform schwingt sich ein -> definierter Ausgangswert; Netz bzw. Wellenform bleibt in Schwingung -> undefinierter Ausgangswert).

Leider finde ich auf die schnelle keine belastbare Quelle. Nur würde mich interessieren: Täuscht meine Erinnerung, oder ist da was dran?

Danke,

 Stefan. (nicht signierter Beitrag von 2001:A62:1542:AD01:6D9:F5FF:FEF5:72D5 (Diskussion) 21:09, 2. Jul. 2020 (CEST))

Aktivierungsfunktion von Schichten?

Im Artikel steht, dass jede Schicht über eine Aktivierungsfunktion verfügt. Müsste es nicht richtigerweise heißen, dass die Neuronen (der jeweiligen Schicht) über Aktivierungsfunktionen verfügen? Noch genauer vielleicht: Ihr Verhalten kann mathematisch durch Aktivierungsfunktionen beschrieben werden. Könnte das jemand korrigieren? Danke! --Perennis (Diskussion) 11:27, 4. Jul. 2020 (CEST)

Habe die Stelle mal ein wenig angepasst. Darf gerne noch "nachjustiert" werden. --Perennis (Diskussion) 15:55, 11. Jul. 2020 (CEST)

Die logistische Sigmoide und die Tanh-Funktion sind äquivalent.

hier heißt es: Die Aktivierungsfunktion des Eingabeneurons sei die Identität. Die Aktivierungsfunktion der verdeckten Schicht sei die Tanh-Funktion. Die Aktivierungsfunktion der Ausgabeschicht sei die logistische Sigmoide. Die logistische Sigmoide und die Tanh-Funktion sind äquivalent, unter Sigmoidfunktion heißt es zu recht: Die Umkehrfunktion dieser Funktion ist .. artnh. Unter Diskussion:SIR-Modell#Ein_möglicher_Fehler habe ich auf diese Äquivalenz auch schon hingewiesen. --TumtraH-PumA (Diskussion) 09:10, 31. Jul. 2020 (CEST)

Sie sind aber nicht gleich... --TheRandomIP (Diskussion) 11:54, 31. Jul. 2020 (CEST)
Was immer man unter gleich verstehen mag. The logistic function is an offset and scaled hyperbolic tangent function heißt es zu recht in en:Logistic_function. Also sie unterscheiden sich in Scalierung und Lage des Nullpukts. Wenn ich von Parabel als Funktion spreche, abstrahiere ich auch von Scalierung und Lage des Nullpunkts, alle Parabeln sind zu einander äquivalent. Im Neuronalen Netz werden parametrisierbare Übergangs-Funktionen angegeben, Scalierung und NullpunktLage sind für mich Parameter. --TumtraH-PumA (Diskussion) (ohne (gültigen) Zeitstempel signierter Beitrag von TumtraH-PumA (Diskussion | Beiträge) 20:11, 31. Jul. 2020 (CEST))