Diskussion:Support Vector Machine

Zum Archiv

Wie wird ein Archiv angelegt?

Automatische Archivierung

Auf dieser Seite werden Abschnitte monatlich automatisch archiviert, wenn sie mit {{Erledigt|1=--~~~~}} markiert sind. Um die Diskussionsseite nicht komplett zu leeren, verbleibt mindestens ein Abschnitt.

Kategorien

Ich hatte den Artikel Suppport-Vector Maschine der Kategorie Neuroinformatik zugeordnet, leider hat Benutzer:Zenogantner meine Kategorie wieder entfernt. Als Begründung gibst Du an, Du habest diese als unpassend empfunden. Suppoer-Vektor Maschinen spielen meiner Ansicht nach eine große Rolle in der Neuroinformatik. Dazu weisen z.B. auch die kommentierten Vorlesungsverzeichnisse der Unis Bielefeld und Bochum hin (Die beiden habe ich auf die schnelle gegoogelt), die beide SVM im Rahmen von Neuroinformatik Veranstaltungen behandeln.

KVV NI veranstatungen Uni Bielefeld KVV NI veranstatungen Uni Bochum

Vielelicht ist Neuroinformatik als einzige Kategorie nicht ganz korrekt, ich finde die Kategorie aber durchaus als passend und würde sie wenn Du nichts dagegenhast wieder eintragen.--Ixitixel

"Neuroinformatik" ist als Kategorie nicht korrekt, vgl. Definition im Artikel Neuroinformatik:

Sie ist die Wissenschaft, die sich mit der Informationsverarbeitung in neuronalen Systemen befaßt, dies schleißt sowohl biologische- wie auch Künstliche Neuronale Netze ein.

SVMs fallen da wohl sicher nicht rein. Noch stärker ersichtlich wird dies bei der dort vorgenommenen Abgrenzung "Neuroinformatik" vs. "Künstliche Intelligenz":

Im Gegensatz zur Künstliche Intelligenz, einer Fachrichtung der Informatik deren Ziel es ist Maschinen zu entwickeln, die sich verhalten, als verfügten sie über Intelligenz, der es aber egal ist, wie diese Intelligenz zustande kommt, arebiette die Neuroinformatik viel näher an der biologischen Gegebenheiten.

SVMs orientieren sich nicht an der Biologie.

Das tun viele der anderen unter Neuroinformatik aufgeführten Algorithmen ebenso wenig - bspw. der Backpropagationalgorithmus hat mit Neurobiologie auch nichts zu tun. phb

Abgesehen davon halte ich den Artikel für nicht so gelungen, ebensowenig halte ich die Definition eines eigenen Feldes der "Neuroinformatik" für problematisch, es gibt viele ähnliche Dinge, die unter anderem Namen laufen, so wurden bspw. im vergangenen Herbst an mehreren deutschen Unis (unter anderem in Freiburg und München) mehrere "Bernstein Center for Computational Neurosciences" eingerichtet (siehe http://www.bernstein-zentren.de/). Es fehlt im Artikel die Abgrenzung von den biologischen Neurowissenschaften, wenn diese erfolgt, bleibt irgendwie kein Platz mehr für das Feld der Neuroinformatik zwischen den Neurowissenschaften, konnektionistischen Ansätzen in der Kognitionswissenschaft und der anwendungsorientierten Informatik.

Doch: Die Neuroinformatik benutzt von der Neurobiologie inspirierte (und mehr ist es in den meisten Fällen wirklich nicht) Verfahren, um meist technischere Fragestellungen zu bearbeiten. Computational Neuroscience wird meistens für den theoretischen Zweig der Neurowissenschaften, die stark mit Simulationen arbeiten, benutzt. phb

Trage also die Kategorie nicht mehr ein. mfg --zeno 19:09, 3. Jan 2005 (CET)

Erstmal zum Artikel SVM - SVM sind für die Neuroinformatik relevant, deshalb finde ich die Kategorie angebracht. Zudem sollt jeder Artikel wenn möglich kategorisiert werden. Ich weiß auch das Neuroinformatik als einzige Kategorie nicht paßt - ich schlage deshalb die Kategorien "Künstliche Intelligenz", "Neuroinformatik" und evtl. "Statistik" vor. Ich habe zudem die Diskussion nach nach Diskussion:Support-Vector-Maschine kopiert.--Ixitixel

ich interprtieren Dein langes Schweigen jetzt mal als Zustimmung... --Ixitixel 02:06, 16. Jan 2005 (CET)

Falsch ;-). --zeno 12:18, 26. Feb 2005 (CET)

Ohne der Kategorien-Durchblicker zu sein, kann ich soviel sagen: SVM werden nicht nur in der Neuroinformatik verwendet. Aus meiner Erfahrung heraus würde ich sagen, dass sie im Bereich Künstliche Intelligenz verwendet werden, wovon Neuroinformatik evt. als Unterbereich gelten kann. Aber im Grunde ist das ein universeller Machine-Learning-Algorithmus, von dem man gar nicht alle Anwendungsbereiche vorher kennen kann. Also ist der Artikel in der Kategorie:Maschinelles Lernen bestens aufgehoben. Kann diese Diskussionsseite jetzt aus der Kategorie:Wikipedia:Offene Fragen rausgenommen werden, oder fehlt Euch noch eine verständliche Definition (s.u.)? --Thüringer ☼ 02:02, 28. Jul 2005 (CEST)

Ich habe mir erlaubt, die Kategorie Neuroinformatik wieder hinzuzufügen. Von allen Kategorien passt m.E. Kategorie:Maschinelles Lernen wohl am besten, aber ich denke, es ist hilfreich, wenn auch von Kategorie:Neuroinformatik eine Verbindung zu den "Support-Vector Networks" (Cortes & Vapnik) führt. --Christian 11:56, 21. Jun. 2007 (CEST)

---

Eine Anmerkung zum Artikel: Es ist irgendwie schade, dass im Artikel nicht einmal der Begriff Support-Vektor definiert wird, der ja bei SVMs durchaus eine Rolle spielt ... --zeno 12:18, 26. Feb 2005 (CET)

Wohl wahr... :) wird gemacht. phb, 3.3.05

---

11.11.2005:

Der international verwendete Begriff lautet "Support Vector Machine".

Wenn man nun das englische "Machine" durch das deutsche "Maschine" ersetzt, sollte man nicht auch das englische "Vector" durch deutsche "Vektor" ersetzen?

Oder gleich den ganzen Namen ins Deutsche übersetzen, also z.B. von der "Stützvektormaschine" oder besser "Stützvektormethode" sprechen?

Oder eben komplett beim englischen Begriff bleiben?

Die aktuell hier benutzte Mischform von englisch "Vector" und deutsch "Maschine" finde ich auf jeden Fall sehr unglücklich.

Mit freundlichem Gruß,

---

Um die Diskussion mal kurz zusammenzufassen:

• Der Artikel Support Vector Machine soll die Kategorie:Neuroinformatik behalten, weil SVMs in der Neuroinformatik eingesetzt werden
• Der Artikel Support Vector Machine soll die Kategorie:Neuroinformatik nicht behalten, weil SVMs nicht biologisch motiviert sind und die Neuroinformatik nur ein Feld von vielen sind, wo SVMs eingestzt werden.

@Ralf Klinkenberg:, @Christian Igel:, @Pberens: War es das was hier bisher argumentiert wurde? (Die Diskussionen um den Namen "Stützvektormaschine" vs. "Support Vector Machine" scheint erledigt zu sein. Falls das nicht so ist, bitte ich um eine getrennte Diskussion.).

Ich würde den Artikel gerne die Kategorie:Maschinelles_Lernen. Dort scheint es mir Thematisch rein zu passen. Das Argument, dass SVMs in der Neuroinformatik verwendet werden, finde ich zu schwach. Es wird z.B. auch im Maschinelles Sehen verwedent, dennoch hat der Artikel (korrekterweise) nicht diese Kategorie. Ich würde also die Kategorie:Neuroinformatik entfernen. Eventuell könnte man einen Abschnitt "Anwendungen" hinzufügen. Allerdings sollte das dann etwas sein, wo man nicht einfach jeden Algorithmus der Kategorie:Klassifikationsverfahren hinzufügen kann.

Viele Grüße, --Martin Thoma 13:14, 25. Dez. 2015 (CET)

Optimierungsproblem

Hallo alle miteinander,

ich habe eine Frage zum "Optimierungsproblem". Es heißt im Artikel: "minimiere bezüglich w, b: ${\frac {1}{2}}||w||_{2}^{2}$" mit der entsprechenden Bedinung. Die Minimierung von w kann ich noch halbwegs nachvollziehen ( meiner Ansicht nach wegen $margin={\frac {1}{||w||}}$). Wieso muss es nun aber die quadratische Norm sein und wieso nur die Hälfte davon?

Was das angeht, finde ich den Artikel lückenhaft. Die Behauptung steht im Raum und informationen dazu gibt es nicht. Der "Link" zur statistischen Lerntheorie bringt einen ja auch nicht weiter... Ich denke übrigens im Allgemeinen denke, wenn man SVMs nicht kennt und sich darüber informieren will, ist es sehr sehr schwer sich hier zurecht zu finden. --92.228.84.218 23:09, 22. Jun. 2008 (CEST)

Da kann ich meinem Vorredner nur Recht geben! Soweit ich weiß nimmt man ${\frac {1}{2}}||w||_{2}^{2}$ zum minimieren, da es zum rechnen (ableiten) einfach schöner ist. Es ist ja schließlich egal, ob man ${\frac {1}{2}}||w||_{2}^{2}$ oder $||w||_{2}$ minimiert. Im Endeffect minimiert man dabei das w. Und zum rechnen geht es dann einfach so besser. Allerdings wäre ein Satz dazu im Text schon gut.

unendlich

Im Artikel steht: "In einem Raum mit genügend hoher Dimensionsanzahl – im Zweifelsfall unendlich – wird auch die verschachteltste Vektormenge linear trennbar". Mich verwundert das "unendlich". Ist an der Stelle unendlich korrekt? Nitram 17:55, 1. Nov. 2009 (CET)

Ok, in http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf steht: Here training vectors xi are mapped into a higher (maybe infinite) dimensional space by the function φ. 89.196.47.68 20:10, 1. Nov. 2009 (CET)

Ist eine lineare Separierbarkeit in unendlichdimensionalen Prähilberträumen immer möglich? Wenn ja, gibt es da einen Satz dazu? --Nimruth (Diskussion) 11:14, 28. Aug. 2015 (CEST)

Review November 2009

Hallo. Ich habe den Artikel nicht verändert, finde ihn dennoch sehr Lesenswert, da er den Sachverhalt meines erachtens auch dem unerfahrenem Leser gut näher bringt. Ich möchte ihn zum Lesenswerte Artikel vorschlagen -- fabiand 16:02, 25. Okt. 2009 (CET)

Kann ich jetzt nicht so ganz nachvollziehen, obwohl mir Vektoren und Klassen nicht ganz fremd sind.

• Die Einleitung schreckt ab, in diesem Fall wäre es sinnvoll zuerst mit der Negativdefinition zu beginnen. Der Link zum Klassifikator sollte auf diesen zeigen (oder auf Klassifikationsverfahren) und nicht in einem siehe auch aufs Obergebiet.
• die Übersetzung aus dem Englischen, „Stützvektormaschine“ oder Stützvektormethode, ist nicht gebräuchlich) wenns nicht gebräuchlöich ist, brauchts nicht in die Einleitung, sondern kann in einem grammatikalisch schöneren Satzbau im Haupttext untergebracht werden.
• Der Abstand derjenigen Vektoren, die der Hyperebene am nächsten liegen, wird dabei maximiert (wie? bzw. was heißt das?)... Aha, erst bei Mathematische Gleichungen wird darauf eingegangen. Da werden zu früh unbeantwortete Fragen aufgeworfen.
• Reihenfolgen einhalten Vektoren, die weiter von der Hyperebene entfernt liegen und gewissermaßen hinter einer Front anderer Vektoren „versteckt“ sind, beeinflussen Lage und Position der Trennebene nicht. Die Hyperebene ist nur von den ihr am nächsten liegenden Vektoren abhängig – und auch nur diese werden benötigt, um die Ebene mathematisch exakt zu beschreiben. Erst wovon sie abhängig ist, Skizze für die versteckten Vektoren?
• Allgemein sind Anführungszeichenbegriffe eigentlich ein Zeichen dafür, daß man die Sache besser ausdrücken sollte, nur die rechten Worte nicht gefunden hat, im nächsten Satz folgte gleich „verbogen“
• Support Vector Machines verwenden im Fall nicht linear trennbarer Daten den Kernel-Trick - wieso ist das ein Trick? (eigenes Lemma?) War meine erste Frage beim Lesen. Dann habe ich erkannt, daß dieser Trick offensichtlich erläutert wird-hier bietet sich eher ein eigener Abschnitt an.
• Ist unwahrscheinlich komplex ein Fachbegriff und läßt der sich verlinken?
• Zu den mathematischen Modellen kann ich mich nicht äußern, das der Sinn jeweils im Vorwege allgemeiner erläutert wird, ist positiv. Allerdings fehlt zuvor eine Einleitung, warum diese Modelle als Unterabschnitte des mathematischen Modells notwendig sind.
• Die geschichtlich Entwicklung stand am Anfang der SVM, also sollte sie auch am Anfang des Artikels untergebracht sein.

Fazit, der Part, der für Oma verständlich sein könnte, ist noch davon entfernt, der Fachbereich kann ja gerne so bleiben, da kann sie dann drüber hinweglesen. --CeGe Diskussion 10:55, 28. Okt. 2009 (CET)

>Fazit, der Part, der für Oma verständlich sein könnte. Eben, eine für mich derart schwierige Materie, da könnte ich beim Review nie teilnehmen. Nur: Gibt es denn kein einziges Anwendungsbeispiel (ein einfacheres, interessanteres praxisbezogenes), wo man die Schritte gedanklich oder visualisiert durchspielen könnte? --FrancescoA 13:27, 28. Okt. 2009 (CET)

Die wichtigste Frage bei so einem Review ist erstmal: Möchtest Du am Artikel arbeiten, um ihn auf den Status lesenswert zu bringen? Wenn Nein, dann bringt das Review nicht viel. Viele Grüße --P. Birken 20:29, 2. Nov. 2009 (CET)

Zur wichtigsten Frage soviel: Seit Eintrag ins Review genau eine Bearbeitung durch Einrichtung einer Weiterleitung am 05.11-Schade. --CeGe Diskussion 10:48, 10. Nov. 2009 (CET)

Einzelnachweis

Ich kann folgenden Einzelnachweis nicht finden: [3] Vapnik und Chervonenkis, Theory of Pattern Recognition, 1974 Kann mir da jemand weiterhelfen? Ich frage mich, ob es diese Veröffentlichung überhaupt gibt. Schließlich schreibt Vladimir N. Vapnik in "An Overview of Statistical Learning Theory" (IEEE Transactions on Neural Networks 1999): "In the middle of the 1990’s new types of learning algorithms (called support vector machines) based on the developed theory were proposed".

Die erste Publikation bezüglich SVMs von Vladimir Vapnik, die mir bekannt ist, ist aus dem Jahr 1992:

Titel: "A Training Algorithm for Optimal Margin Classifiers"

Autoren: Bernhard E. Boser, Isabelle M. Guyon und Vladimir N. Vapnik

Buchtitel: "5th Annual ACM Workshop on Computational Learning Theory"

-- Nuke160 19:16, 16. Mär. 2011 (CET)

@Nuke160: zumindest kennt Google Scholar das. Und in der von dir erwähnten Veröffentlichung ist als [VC74] das auch zitiert. --Martin Thoma 19:08, 25. Dez. 2015 (CET)

Bias falsches Vorzeichen

In der englischen Wikipedia ist das Bias $-b$. Hier durchgehend mit $+b$. Da es sich hier um eine Hessesche Normalenform handelt macht $-b$ meiner Meinung mehr Sinn. --Berloen (Diskussion) 23:43, 19. Feb. 2014 (CET)

Einem Entscheidungsobjekt statt Trainingsbeispiel in Abschnitt "Mathematische Umsetzung"

Einem Trainingsbeispiel $\mathbf {x} _{i}$ wird dabei das Vorzeichen der Entscheidungsfunktion als Klasse zugeordnet.

Hier ist "Objekt" oder "Entscheidungsobjekt besser als Trainingsbeispiel, oder übersehe ich etwas? (nicht signierter Beitrag von 2001:DA8:8000:F280:0:0:0:2CBD (Diskussion | Beiträge) 05:54, 24. Okt. 2015 (CEST))

Erst mal finde ich "Trainingsbeispiel" passender. Im Machine Learning spricht man überlicherweise von der "Trainingsmenge" und entsprechend von "Trainingsdaten". Das sind im Prinzip einfach Beispiele. Also ist Trainingsbeispiel passend. Warum sollte "Objekt" besser sein? --Martin Thoma 13:00, 25. Dez. 2015 (CET)

"streng" linear separierbar

Was soll das "streng" in folgendem Abschnitt bedeuten?

In der Regel sind die Trainingsbeispiele nicht streng linear separierbar.

Ich glaube das "streng" ist überflüssig, bin mir aber nicht ganz sicher. --Martin Thoma 11:33, 25. Dez. 2015 (CET)