Im letzten Meeting haben Sie eine Einführung in die Morphologie erhalten. Heute erfahren Sie, wie dieses Wissen in einfachen computerlinguistischen Verfahren der automatischen Inhaltserschließung angewendet wird.
Ein Problem der automatischen Indexierung ist die Wortformenvielfalt in Texten; viele Formen stehen für ein und denselben Begriff. Die intellektuelle Inhaltserschließung löst das Problem der Wortformenvielfalt durch Vereinbarungen: Z.B. einigt man sich auf den Nominativ Singular und verwendet als Vorzugsbenennung immer diese morphologische Form.
Die automatische Inhaltserschließung löst dieses Problem durch Stemming, bzw. Wortformenreduktion. Eine Software, die Stemming durchführt, erzeugt zum Beispiel aus den verschiedenen Wortformen "Spiel", "spielerisch", "Spieler", "gespielt" im Index oder in einer gestemmten Suchanfrage "spiel".
Stemmingverfahren, die auf linguistischem Wissen basieren, trennen Suffixe (Flexive evtl. auch Derivative) ab. Durch den Einsatz von Stemmern vermindert sich die Datenmenge in einem Index um bis zu 50 %.
Stemming kann Wörter aus dem Text entweder bis auf die Grundform (Weak Stemming) oder bis auf die Stammform (Strong Stemming) reduzieren.
Beispiel: Es war windiges Wetter. | |
Weak Stemming | Strong Stemming |
Durch |
Durch das Entfernen des Derivativs ig entsteht die Stammform wind. |
Beim Stemming kann es zu zwei unerwünschten Ergebnissen kommen:
Overstemming: Eine zu lange Zeichenkette wird abgeschnitten; Wörter mit unterschiedlichen Bedeutungen werden dadurch auf ein und dieselbe Form reduziert und somit unerwünschterweise gleichgesetzt. Unten: "Kommunismus" wird mit "Kommunikation" und "kommunizieren" gleichgesetzt.
kommunismus | kommun |
kommunikation | |
kommunizieren |
Understemming: Eine zu kurze Zeichenkette wird abgeschnitten; unterschiedliche Wortformen mit ein und derselben Grund- oder Stammform werden unerwünschterweise wie unterschiedliche Wörter behandelt. Unten: "Kommunikation" und "kommunizieren" werden als Wörter verarbeitet, die nichts miteinander zu tun haben.
kommunismus | kommun |
kommunikation | kommunika |
kommunizieren | kommuniz |
Stand: 1. März 2005