ACL05 (27.6.) Using Emoticons [...] for Sentinent Classification

Eine Automatische Erkennung der Stimmung, die ein Text beinhaltet, hat vielfaeltige Anwendungen, siehe z.B. Ellen Spertus' Arbeit über die automatische Erkennung von Flames, ist jedoch eine schwierige Aufgabe für einen Computer - Sarkasmus automatisch zu erkennen ist beinahe unvorstellbar.
Aber auch sonst gibt es zahlreiche Abhängigkeiten, die statistischen Lernverfahren das Leben schwer machen. Da wären zu erst unterschiedliche Domänen, ein Klassifizierer, der trainiert wurde, zu erkennen ob eine Filmkritik gut oder schlecht ausfällt, wird auf Testberichten über Autos eher schlechte Ergebnisse liefern. Insbesondere der bag-of-words-Ansatz (Statistiken über Wörter, ohne Beachtung der Reihenfolge) wird davon geplagt. Ausserdem entgehen diesem Ansatz Negationen, die die Bewertung umkehren.
Aber es gibt daneben auch Abhängigkeiten vom Sprachstil und sogar von der Zeit: Ein auf Filmkritiken in früheren Jahren trainierter Klassifizierer liefert auch auf aktuellen Filmkritiken schlechtere Ergebnisse.

Jonathon Reed vermutet, dass das Problem am geringen Umfang verfügbaren Trainingsmaterials für den Klassifizierer liegt, und schlägt vor, Usenet-Postings als ergiebige Quelle an Trainingsdaten zu nutzen. Dabei sollen die in den Postings vorhandenen Emoticons als Auszeichnung für positive bzw. negative Postings dienen. Diese Strategie stellte sich jedoch als nicht übermäßig erfolgreich heraus. Vielleicht verbessert noch mehr Trainingsmaterial die Ergebnisse, ein Problem ist aber, das Usenet-Postings eine stark verrauschte Datenquelle darstellen. In der anschliessenden Fragestunde argumentierte ein Zuhörer, dies sei ein systematisches Problem, denn Emoticons in Usenet-Postings stellten keine Bewertung des Inhalts des Postings dar, sondern würden die allgemeine Gefühlslage des Posters ausdrücken.