Benutzer:Aka/Tippfehler entfernt

aus Wikipedia, der freien Enzyklopädie
  Jan. Feb. März April Mai Juni Juli Aug. Sept. Okt. Nov. Dez.
2003 0 0 3 0 0 0 0 0 0 0 0 1
2004 0 0 7 3 0 0 0 0 2 1 0 0
2005 2 1 1.540 1.326 75 11 17 10 24 12 389 1.638
2006 2.657 5.483 4.172 4.486 9.368 8.762 4.718 3.356 4.260 4.954 3.254 142
2007 2.331 53 1.035 64 278 4.976 60 227 2.729 947 2.942 1.476
2008 146 0 663 669 726 81 292 1 3.529 5.792 21.126 13.750
2009 7.440 1.763 2.787 5.795 2.105 1.193 366 679 3.204 12.420 5.432 1.851
2010 3.109 338 550 1.818 1.269 2.241 6.526 8.970 2.763 2.873 506 3.333
2011 3.004 4.192 5.291 4.713 2.101 3.557 4.253 1.129 1.147 5.975 8.570 8.264
2012 4.569 4.743 8.124 5.301 1.143 1.271 5.521 4.688 859 4.041 2.667 1.156
2013 3.107 1.224 3.755 2.471 765 2.518 2.787 85 229 5.491 6.624 7.258
2014 4.840 6.100 1.603 6.278 12.715 10.213 17.629 8.289 3.978 6.122 3.007 3.484
2015 2.903 4.819 4.976 2.100 7.280 1.318 1.292 3.824 1.591 1.885 2.038 2.179
2016 3.408 13.633 6.948 4.118 2.764 1.323 4.587 9.883 4.423 8.539 7.934 8.894
2017 10.417 6.204 5.901 4.733 3.506 5.269 4.993 5.938 4.719 4.264 4.947 3.926
2018 5.112 4.140 4.008 3.521 3.436 4.736 3.985 3.833 3.668 3.627 4.764 4.753
2019 5.191 4.160 3.625 3.800 4.000 3.379 4.039 4.301 3.542 3.794 3.776 3.735
2020 4.814 3.814 8.394 20.446 21.511 6.071 13.680 7.156 4.145 4.225 6.130 8.577
2021 5.730 5.975 4.942 8.486 8.869 5.117 6.726 6.415 7.281 4.952 6.265 6.143
2022 8.119 7.044 4.421 3.415 5.551 6.184
Summe 915.748
Anzahl entfernter Tippfehler pro Monat

<graph>{"legends":[],"scales":[{"type":"ordinal","name":"x","zero":false,"domain":{"data":"chart","field":"x"},"padding":0.2,"range":"width","nice":true},{"type":"linear","name":"y","domain":{"data":"chart","field":"y"},"zero":true,"range":"height","nice":true},{"domain":{"data":"chart","field":"series"},"type":"ordinal","name":"color","range":["#cccccc"]}],"version":2,"marks":[{"type":"rect","properties":{"hover":{"fill":{"value":"red"}},"update":{"fill":{"scale":"color","field":"series"}},"enter":{"y":{"scale":"y","field":"y"},"x":{"scale":"x","field":"x"},"y2":{"scale":"y","value":0},"width":{"scale":"x","offset":-1,"band":true},"fill":{"scale":"color","field":"series"}}},"from":{"data":"chart"}}],"height":200,"axes":[{"type":"x","title":"Jahr","scale":"x","format":"d","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"align":{"value":"left"},"angle":{"value":90},"fill":{"value":"#54595d"}}},"grid":false},{"type":"y","title":"Anzahl","scale":"y","format":"d","properties":{"title":{"fill":{"value":"#54595d"}},"grid":{"stroke":{"value":"#54595d"}},"ticks":{"stroke":{"value":"#54595d"}},"axis":{"strokeWidth":{"value":2},"stroke":{"value":"#54595d"}},"labels":{"fill":{"value":"#54595d"}}},"grid":false}],"data":[{"format":{"parse":{"y":"integer","x":"integer"},"type":"json"},"name":"chart","values":[{"y":4,"series":"y","x":2003},{"y":13,"series":"y","x":2004},{"y":5045,"series":"y","x":2005},{"y":55612,"series":"y","x":2006},{"y":17118,"series":"y","x":2007},{"y":46775,"series":"y","x":2008},{"y":45035,"series":"y","x":2009},{"y":34296,"series":"y","x":2010},{"y":52196,"series":"y","x":2011},{"y":44083,"series":"y","x":2012},{"y":36314,"series":"y","x":2013},{"y":84258,"series":"y","x":2014},{"y":36205,"series":"y","x":2015},{"y":76454,"series":"y","x":2016},{"y":64817,"series":"y","x":2017},{"y":49583,"series":"y","x":2018},{"y":47342,"series":"y","x":2019},{"y":108963,"series":"y","x":2020},{"y":76901,"series":"y","x":2021}]}],"width":440}</graph>

Da ich recht oft gefragt werde, wie ich Tippfehler suche und entferne, habe ich das Vorgehen, meine Beweggründe und Gedanken hier mal etwas ausführlicher abgelegt, um schnell darauf verweisen zu können.

Falsch geschriebene Wörter

Um auf mögliche Falschschreibungen zu kommen, habe ich mir viele tatsächlich in der Wikipedia existierende Tippfehler angesehen und versucht, diese zu kategorisieren und typische Fehler zu abstrahieren. Anhand einer Liste der 10.000 am meisten verwendeten Wörter der deutschen Sprache und mit einigen Zeilen Perl habe ich diese Fehler dann systematisch nachgestellt – also zum Beispiel in jedem Wort nebeneinander liegende Buchstaben vertauscht, um nur einmal eine der vielen Möglichkeiten zu nennen. Damit erhielt ich zwar viele potenzielle Tippfehler, aber auch sehr viele gültige Wörter, welche es galt, auszusortieren. Das Aussortieren ist dabei keine einmalige Aktion, sondern ein ständiger Prozess und passiert, wenn mir beim Suchen und Ersetzen Fälle unterkommen, die eben keine Fehler sind. Umgekehrt nehme ich aber auch Tippfehler von Hand auf, die so einzigartig sind, dass sie sich mit keinem Algorithmus sinnvoll automatisch erstellen lassen, und dennoch in der Praxis passieren. Man schreibt Universität, nicht Universtität, Universtät, Unversität, Univerität, Univeristät, Universiität, Universiät, Univrsität, Unviersität, Uiversität, Universittät, Unniversität, Univesität, Universtiät, Uniwersität, Universiätt, Universitätt, Univversität, Uinversität, Universsität, Unibersität, Universaität, Universitäät, Unuversität, Univetsität, Universitöt, Universitaet, Universitt, Universitäz, Uniersität, Unoversität, Iniversität, Universittä, Univerdität, Unuiversität, Universltät, Univerwität, Ubiversität, Uniiversität, Univärsität, Universdität, Univerisität, Universitiät, Unviversität, UNiversität, Univesitat, Universirät, Universitaät, Univerisät, Univsität, Univeersität, Üniversität, Universitäte, Universitä, Universit, Universitäts, Univerersität, Univertität, Univiversiät, Uniuversität, Univcersität, Univertiät, Univ ersität, Un iversität, universität, Universät, Universistät, Universotät, Universitsität, Umiversität, Universisität, niversität, Unsiversität, Universiotät, Unibversität, Uuniversität, Univertät, Univsersität, Univerrsität, Univesrität, Universoität, Universtätät, Universit#t, Unisversität, UUniversität, Universitäat, Univiversität, Universisät, Universiẗat, Universitãt, Universitåt, Universitât, Univerzität, Univeritöt, Universitä t, Universitätf, Universit‰t, Unifersität, Unkiversität, Universitätr, Universtitä, Universitäöt, Univiersität, Unveristät, UniversitÄt, Univ(ersität), Universitätä, Universitität oder Universit ̈at. Mittlerweile habe ich diese 109 verschiedenen (!) Arten gefunden, dieses Wort falsch zu schreiben. Die Liste gibt es jetzt auch als Video bei TikTok und YouTube.

Suchen

Das Suchen übernehmen einige extra dafür geschriebene und ständig weiterentwickelte Programme, welche mit verschiedenen Herangehensweisen und den oben erstellten Datenbasen arbeiten und an welchen ich stetig "herumschraube". Am Anfang haben diese in etwa 4 Prozent aller Artikel Fehler gefunden. Mittlerweile ist dies "nur" noch in etwa 0,5 Prozent der Fall.

Ersetzen

Das Ersetzen passiert schließlich per Hand – teilweise mit der Unterstützung einiger Zeilen Perl und AutoHotkey –, da es oft zu einem potenziell falschen Wort mehrere in Frage kommende gibt, die tatsächlich gemeint waren. Das ist die eigentliche Schwierigkeit hierbei.

Beispiele: wenn jemand "Geicht" tippte, meinte er dann "Gicht", "Gedicht", "Gericht", "Gesicht", "Gewicht", "Geeicht", einen Herrn Geicht oder doch ganz etwas anderes? Meinte jemand mit "Anzeihen" "Anziehen" oder "Anzeichen"? Wenn jemand "Rechung" schreibt, meinte er "Rechnung" (99% der Fälle) oder doch Rechung Dorje Dragpa? Ist mit "biter" "bitter" gemeint oder befindet sich dies gerade in einem althochdeutschen Satz und ist so richtig? Selbst "Gallerie", "Verson", "Wiederspruch", "alein", "enteckte" oder "Anwort" sind nicht immer falsch. Es gibt tausende solcher Fälle und die Wikipedia ist voll von anderssprachigen Zitaten, Eigennamen und anderen, dem Tippfehler Entfernenden Schwierigkeiten bereitenden Bestandteilen.

Eine vollautomatische Ersetzung geht bei in der deutschen Sprache geschriebenen Texten, die sich nur sehr schwer algorithmisch fassen lassen, deshalb leider nicht. Bots, wie der BWBot, stoßen aus diesem Grund schnell an ihre Grenzen und das Entfernen von Tippfehlern wird auf absehbare Zeit Handarbeit bleiben. Vermeiden lassen sie sich wohl kaum und auch auf dieser Seite ist sicher irgendwo einer versteckt, auch wenn ich den Text dreimal vor dem Absenden durchgelesen habe.

Kein Bot

Es ist also kein Bot, den ich einschalte und dann werkeln lasse, sondern sehr konzentrierte und auf Dauer auch recht anstrengende Fleißarbeit. Nebenbei versuche ich, auch gleich Komma- und Satzbaufehler mit zu entfernen. Und was mir sonst noch so auffällt. Bei aller Vorsicht bitte ich aber um Nachsicht und im Wiederholungsfall um einen Hinweis, wenn mir einmal ein Fehler passiert, welchen ich nicht selbst bemerke.

Ursprünglich war das einmal eine spontane Idee für einen Winternachmittag und sollte nie diese Ausmaße annehmen. Es war eher eine kleine programmiertechnische Herausforderung als der Plan, irgendwann einmal rudelweise Tippfehler zu entfernen. Mittlerweile beschäftigt mich dies und die Optimierung des ganzen Prozesses aber schon seit Weihnachten und etwa ein Drittel meiner Benutzerbeiträge haben ihre Ursache allein darin.

Vielleicht veröffentliche ich die ganzen Algorithmen und zugrunde liegenden Daten irgendwann einmal. Momentan ist das aber noch zu experimentell und unausgereift. Ich bleib' vorerst dran, auch wenn ich langsam "garnicht" gar nicht mehr ersehen kann.

-- aka 22:24, 30. Mai 2006 (CEST)