Bewertungskriterien
 |
Katerstimmung in der Doku
Die Mitarbeiter der Doku konnten im letzten Meeting nicht überzeugen. Die Befürworter von Automatisierung verlangen allgemein anerkannte Bewertungskriterien. "Da hatten wir doch mal was in unserem Studium von gehört..." - erinnern sich vage Rainer Fuchs und Katja Rabe. Julia Wissmann kann aushelfen. Das hatte sie doch gerade vor ihrem Praktikum gelernt. Sie erklärt: |
Bewertungskriterien für Indexierungsergebnisse
Die DIN 31 623, Teil 1, Abschnitt 5 definiert Bewertungskriterien für Indexierungsergebnisse so (Zitate aus der Norm):
Indexierungsbreite
Die Indexierungsbreite gibt bezogen aus den fachlichen Inhalt eines Dokuments der Grad der Erschließung an; sie kommt in erster Annäherung in der Anzahl der vergebenen Deskriptoren oder Notationen zum Ausdruck | IndexierungsspezifitätDie Indexierungsspezifität gibt an, wie allgemein oder wie spezifisch die vergebenen Deskriptoren oder Notationen bezogen auf den Dokumenteninhalt sind; sie kommt in erster Annäherung durch das hierarchische Niveau der Indexierungsbezeichnungen zum Ausdruck. |
IndexierungstiefeIndexierungstiefe ist eine Kombination von Indexierungsbreite und -spezifität und gibt die Genauigkeit der Wiedergabe des Dokumenteninhalts durch das Indexierungsergebnis an. Sie kommt in erster Annäherung durch die Anzahl der vergebenen Deskriptoren oder Notationen unter Berücksichtigung ihres hierarchischen Niveaus zum Ausdruck. Dies bedeutet, dass im konkreten Fall von zwei Indexierungsergebnissen des gleichen Dokuments mit gleicher Anzahl von Deskriptoren oder Notationen dasjenige tiefer ist, das die spezifischeren Bezeichnungen enthält. | IndexierungskonsistenzIndexierungskonsistenz ist das Maß der Übereinstimmung verschiedener Indexierungsergebnisse des gleichen Dokuments in der selben Dokumentationssprache. Sie kommt in erster Annäherung zum Ausdruck durch das Verhältnis der gemeinsam vergebenen Deskriptoren oder Notationen zur Gesamtzahl aller vergebenen Indexierungsbezeichnungen. |
Ein weiteres Bewertungskriterium, das die Norm nicht erwähnt, ist Zielgruppenorientierung: Zielgruppenorientierung bedeutet Indexieren aus der Perspektive und für die Bedürfnisse einer bestimmten Nutzerschaft.
Berechnung von Recall und Präzision beim Information Retrieval
Die Qualität von Indexierungsergebnissen beeinflusst wesentlich die Qualität der Informationswiedergewinnung. Dabei werden zwei Größen unterschieden:
- Recall: Wieviele Dokumente werden durch die Recherche gefunden?
- Präzision: Sind die gefundenen Dokumente relevant für die Recherche?
Um eine absolute Vergleichsgröße zu gewinnen, wird ein Einheitsmaß berechnet. Es hängt von dem individuellen Anliegen des Informationssuchenden ab, welche der beiden Größen, Recall oder Präzision, ihm wichtiger ist. Entsprechend kann die eine bzw. die andere Größe bei der Berechnung des Einheitsmaßes mehr oder weniger betont werden.
Zur Vertiefung ihrer Ausführung hat Julia hat für ihre Kollegen eine Folie mit den nötigen Berechnungsformeln vorbereitet.
Stand: 17. Oktober 2003
