Übung 1: Berechnung von Termgewichten
Testen Sie nun, ob Sie Termgewichte berechnen können.
In einer Datenbank sind 10.000 Dokumente zum Thema 'Informationsmarkt' gespeichert. Der Schwellenwert, den die Stichwörter in diesen Dokumenten überschreiten müssen, um als Indexate für das Retrieval zur Verfügung gestellt zu werden, sei 1.
In Dokument 1 kommt E-Learning 7 x vor und Informationsmarkt kommt 10 x vor. Das Dokument hat 1.000 Wörter.
In Dokument 2 kommt E-Learning 20 x vor und Informationsmarkt kommt 5 x vor. Das Dokument hat nur 500 Wörter.
Insgesamt finden sich in der Datenbank 500 Dokumente, in denen E-Learning vorkommt und 5.000 Dokumente, in denen Informationsmarkt vor kommt.
Arbeitsschritte:
- Berechnen Sie zunächst nichts. Sondern schätzen Sie erst, welches Stichwort das höchste und welches Stichwort das niedrigste Gewicht erhält, wenn nur die Termfrequenz berücksichtigt wird. Machen Sie eine Rangliste von 1-4 für "E-Learning" in Dokument 1 und 2 und für "Informationsmarkt" in Dokument 1 und 2. Begründen Sie Ihre Vermutung.
- Nun schätzen Sie bitte: Welches Stichwort wird durch eine nachträgliche Berücksichtigung der inversen Dokumenthäufigkeit ein höheres Gewicht bekommen? Begründen Sie Ihre Vermutung.
- Errechnen Sie nun unter Berücksichtigung der Termfrequenz und der inversen Dokumenthäufigkeit für die beiden Dokumente 1 und 2 die Gewichte für die Stichwörter "E-Learning" und "Informationsmarkt". Verwenden Sie jeweils die logarithmischen Formeln. Werden alle Stichwörter in den Index aufgenommen?
Übung 2: Maschinelle Selektion von inhaltsrelevanten Indexaten
Bitte überlegen Sie sich alle Arbeitsschritte, die ein Programm bei der automatische Indexierung eines Textes durchläuft. Verwenden Sie einen der 2 unten verlinkten Beispieltexte. Das Programm soll inhaltsrelevante Indexate für den Beispieltext generieren, auf die der Anwender bei einer Recherche zugreifen kann. Berücksichtigen Sie Ihre Kenntnisse über
- Volltextinvertierung
- Linguistische Verfahren
- Statistische Verfahren
Klären Sie zunächst,
- welche Verfahren der automatischen Indexierung für 'Ihren' Text angemessen sind,
- wie die Verfahren aufeinander aufsetzen müssen, um inhaltsrelevante Indexate ausgeben zu können.
Klären Sie dann im Detail, welche Schritte das Programm unternehmen muss:
- Welche Daten liest es ein?
- Auf welche Dateien muss es zugreifen?
- Was wird es mit diesen Daten tun?
- Wohin werden sie nach der Verarbeitung geschrieben?
Für diese Aufgabe müssen Sie keine Programmierkenntnisse haben. Aber Sie müssen dem Programmierer verdeutlichen, was sein Programm leisten muss. Beschränken Sie sich auf die Abläufe, die Ihnen als Informationsexperten im Sinne einer guten Indexierungsqualität wichtig sind. Und denken Sie dran: "Ein Indexterm ist dann ein guter Indexterm, je häufiger er pro Dokument in seiner Grundform und seinen Synonymen auftritt und je seltener er in seiner Grundform und seinen Synonymen pro Dokumentkollektion vorkommt." (Quelle: Thomas Bunk: "Deskriptoren, Stoppwortlisten und kryptische Zeichen". In: IWP 59 (2008) 5, S. 285.)
Visualisieren Sie Ihre Vorstellung in Form eines Flussdiagramms und erläutern Sie dieses schriftlich. In der Informatik werden Flussdiagramme zur Kommunikation zwischen Auftraggebern von Softwareprodukten und Softwareentwicklern eingesetzt.
Verwenden Sie
- Pfeile für den Arbeitsablauf. Der Ablauf geht in der Regel von oben nach unten, bei Wiederholungsschleifen aber auch von unten nach oben.
- ein Oval für START oder STOPP des Algorithmus. Es
gibt nur einen START, kann aber mehrere STOPPs geben.
- eine Parallelogramm für die Ein- und Ausgabe von
Daten
- ein Rechteck für die 'Operation'. In das Rechteck
schreiben Sie, was in diesem Schritt geschieht.
- eine Raute für die Verzweigung bei
JA/NEIN-Bedingungen
- ein Datenbanksymbol, z.B. einen Zylinder, für
Dateien, die der
Algorithmus verwendet (z.B. für eine Stoppwortdatei oder ein
Wörterbuch).
(Quelle für die Symbolgrafiken: Wikipedia: Programmablaufplan)
PapDesigner ist ein kleines Programm zur Erstellung von Programmablaufplänen. Für Studierende öffentlicher Bildungseinrichtungen steht es zum kostenlosen Download zur Verfügung.
Stand: 17. November 2015
