flawed concepts - studies

A Literature Survey on Domain Adaptation of Statistical Classifiers

nospam@example.com (florian) — Thu, 05 Jun 2008 22:36:54 +0200

Domain Adaptation (i.e.: you train a statistical classifier on one type of text but want to use it on a different type of text) is one of my research interests.

Recently I found a great survey of publications on domain adaptation:
A Literature Survey on Domain Adaptation of Statistical Classifiers,
by Jing Jiang, who is a PhD candidate at UIUC and has written some interesting papers on domain adaptation herself, such as
Instance weighting for domain adaptation in NLP.

Nachtrag zum Vortrag "Sprache und Verbrechen"

nospam@example.com (florian) — Thu, 24 May 2007 17:44:32 +0200

Ein Nachtrag zum Vortrag "Sprache und Verbrechen" von Sabine Ehrhardt, bei dem es darum ging, wie das BKA anhand der Sprache von z.B. Bekennerschreiben, Erpresserbriefen usw. versucht,. Informationen über den Täter abzuleiten.

Dabei kam auch die Frage nach statistischen Methoden auf, und dazu habe ich gerade einen Link gefunden:
Koppel, Schler & Zigdon Determining an author's native language by mining a text for errors (KDD2005)
(Link für Leute ohne ACM-Zugang)

(mehr davon bei Google Scholar)

Links (papers) of the day

nospam@example.com (florian) — Thu, 24 May 2007 11:58:12 +0200

Intelligent email clients:

Dredze et. al.: Feature Design for Transfer Learning
(learning to recognize mails that need a reply)

Neustaedter et.al.: The Social Network and Relationship Finder:
Social Sorting for Email Triage

Boone: Concept Features in Re:Agent, an Intelligent Email Agent

(there's a lot more, these are just the ones I stumbled upon.)

I wonder why machine learning features don't play any role in real-world email clients apart from spam classification.

Links of the day

nospam@example.com (florian) — Tue, 15 May 2007 22:40:07 +0200

Fernando Pereira: "Zellig Harris, natural language processing, and search"
(about the differences between general language and technical languages and their implications for NLP)

Bill Softky: "How Google translates without understanding"
(elReg article about Google's effort in Statistical Machine Translation)

The Theory of the Wall Street Journal

nospam@example.com (florian) — Thu, 15 Mar 2007 23:55:00 +0100

"Computational linguistics in the lat 20 years essentially has been the Theory of the Wall Street Journal"
Ron Kaplan (CTO Powerset), in a talk at IMS Stuttgart this afternoon.
"The Theory of the Wall Street Journal" vollständig lesen

Fernando Pereira bloggt

nospam@example.com (florian) — Tue, 13 Feb 2007 23:22:00 +0100

Gerade via Alias-I entdeckt:
Fernando Pereira, ein renommierter Forscher auf dem Gebiet von Computerlinguistik und Maschinellen Lernen an der University of Pennsylvania hat auch ein sehr lesenswertes Blog.

UIMA integration for the Stanford Named Entity Recognizer

nospam@example.com (florian) — Wed, 22 Nov 2006 16:11:00 +0100

The Stanford NLP Group released a Named Entity Recognition software, based on Conditional Random Fields and implemented in Java.

It is pretty fast and also acheives quite good performance with the included models.

For integration into IBM's UIMA text analysis frameword, I have written an Analysis Engine component that wraps the Stanford NE Regonizer.
You can download it here: stanford-ner-uima.zip
Just like the Recognizer itself it is licensed under the GPL.

Please let me know if it is useful for you.

Schneefräsen-Algorithmus

nospam@example.com (florian) — Tue, 07 Nov 2006 10:38:19 +0100

Noch schneit es nicht, aber man kann diesen Algorithmus auch auf Laubgebläse anwenden: Ein Algorithmus, wie man effizient eine Fläche mit einer Schneefräse vom Schnee befreit. Mit lustigen Folien.

(via the Geomblog)

Auch Sprachsynthese braucht professionelle Sprecher

nospam@example.com (florian) — Sat, 28 Oct 2006 18:44:57 +0200

Stephen Potter berichtet über einen Artikel, in dem über eine Firma berichtet wird, die professionelle Sprecher für Sprachcomputer vermittelt, so daß auch die eines Sprachcomputersystems das gewünschte Image vermittelt.

Das sind "klassische" Sprachcomputer-Systeme, in denen die Sprachausgaben als ganze Sätze vorliegen ("Canned Speech" Systeme), und in dem Artikel wird auch die Frage aufgeworfen, ob professionelle Sprecher bei einem Fortschreiten der Sprachsynthese-Technologie (Text-to-Speech, TTS) überflüssig werden.

Ich denke, das wird so schnell nicht passieren, da gängige Text-to-Speech-Systeme ihre Äusserungen aus kleinen Stückchen (von einzelnen Lauten bis ganzen Wörtern) von Sprachaufnahmen menschlicher Sprecher zusammengesetzen (Unit-Selection-Synthese). Die Stückchen werden natürlich angepasst und digital gefiltert und bearbeitet, dass man keine Knackser hört und auch die Intonation von Wörtern und Sätzen stimmt, aber das Grundmaterial ist Sprache von richtigen Menschen.

Deswegen brauchen auch die Entwickler von Text-to-Speech-Systemen professionelle Sprecher für ihre Bausteine. Ich denke auch, dass man die Stimme des Sprechers auch wiedererkennen kann, so dass die Eigenschaften einer Stimme, die für ein Image relevant sind, auch in einem TTS-Systemen durch die Auswahl des Sprechers kommen.

Vollsynthetische Sprache hört sich immer noch katastrophal an, und weil die Forschung sich auf die oben beschriebene konkatenative Synthese konzentriert, wird das auch noch sehr lange so bleiben.

Deshalb braucht man auch dann, wenn sich Sprachsynthese für Sprachanwendungen durchsetzt, immer noch professionelle Sprecher.

Information Food Chain

nospam@example.com (florian) — Tue, 26 Sep 2006 11:30:09 +0200

Etzioni (1996!): "I view the World Wide Web as an information food chain. The maze of pages and hyperlinks that comprise the Web are at the very bottom of the chain. The WebCrawlers and Alta Vistas of the world are information herbivores; they graze on Web pages and regurgitate them as searchable indices. Today, most Web users feed near the bottom of the information food chain, but the time is ripe to move up. Since 1991, we have been building information carnivores, which intelligently hunt and feast in Unix, on the Internet, and on the Web".

Nice metaphor.
(Save for the "bots" and "agents" rhethoric that follows.)

Etzioni is building "information omnivores" now.

So called "language-independent"

nospam@example.com (florian) — Tue, 15 Aug 2006 14:31:16 +0200

Is it just me or does the term "language-independent" (Named Entity Recognition, oder whatever) seem a bit pompus? When in fact all papers I've seen on the subject instead suggest ways to train multiple single-language classifiers - provided that you've got corpora for all languages and even genres.

Gestatten: Erkan

nospam@example.com (florian) — Wed, 28 Jun 2006 00:10:37 +0200

Die Firma ATIP baut das Sprachsynthesesystem Proser. Und dem hat sie auch eine deutsche Stimmt mit türkischem Akzent spendiert: "Erkan". Es gibt eine Web-Demo, und die Synthesequalität ist gar nicht mal schlecht.

(Gefunden über eine Seite mit einer Übersicht deutschprachiger Sprachsynthesesysteme)

Jetzt gehts loohoos!

nospam@example.com (florian) — Wed, 21 Jun 2006 16:49:22 +0200

Nicht nur mit Fußball, wo "wir" natürlich Weltmeister werden, aber das hat ja schon begonnen, sondern auch mit der letzten Phase meines Studiums.
Letzte Woche habe ich meine letzte Prüfung abgelegt, und gestern ist der Startschuss für meine Diplomarbeit gefallen. Es wird um Named Entity Recognition, also die Erkennung von Eigennamen in natürlichsprachigen Texten gehen, und das ganze soll in UIMA, einem Framework von IBM für Information Extraction implementiert werden.

Clustering Musings #2

nospam@example.com (florian) — Sun, 09 Apr 2006 14:23:16 +0200

"The matter of knowing when to stop in hierarchical agglomerativ clustering has been explored, but not resolved."[1]

That sums up my current problems pretty well.

[1] D. Beeferman , A. Berger: "Agglomerative clustering of a search engine query log". Proc. of the 6th ACM SIGKDD conference, 2000