Liebe Kolleg*innen,
hier die ersten Ergebnisse des oben beschriebenen Pretest zum Vergleich verschiedener Suchmethoden: Danke an Alle, die eine Suche beigesteuert haben!
Wir haben ja eine eigene Testumgebung entwickelt, in der wir verschiedene Suchverfahren miteinander vergleichen: die klassische Solr-Indexsuche, wie sie in unserer Bibliothek bei unserer aktuellen Suche zum Einsatz kommt und zwei Varianten einer KI-gestützten Embedding-Suche. Falls Sie zu dem Versuchsaufbau Näheres wissen wollen, melden Sie sich gerne.
Nun liegen die ersten Ergebnisse vor – und die sind durchaus spannend!
Was hat der erste Test ergeben?
In einem Pretest mit 150 Suchanfragen wurde untersucht, wie viele der als relevant bewerteten Titel die verschiedenen Suchmethoden finden.
| Spalte 1 |
Spalte 2 |
Spalte 3 |
Spalte 4 |
Spalte 5 |
| Suchmethode |
SOLR-Index-Suche |
KI-Suche-Titel |
KI-Suche_Schlagwörter |
Hybrid-Suche |
| gefundene relevante Titel |
30% |
61% |
49% |
80% |
Besonders interessant ist die „hybride Suche“, also die Kombination aus klassischer Indexsuche und KI-gestützter Suche. Sie konnte 80% der als relevant eingestuften Titel finden.
Zum Vergleich: Die klassische Solr-Suche - also das heute genutzte Suchprinzip - erreichte 30%. Das legt den Schluss nahe, dass bei inhaltlichen Suchanfragen, die Kombination aus SOLR-Index-Suche und den beiden KI-Suchen die besten Suchergebnisse liefert.
Eine weitere Erkenntnis aus dem ersten Vergleich ist, dass die drei Suchverfahren häufig unterschiedliche Medien finden.
Vergleicht man jeweils die ersten zehn Treffer, gibt es im Durchschnitt nur wenige Überschneidungen:
Solr und Titel-Embedding: 1,6 gemeinsame Titel
Solr und Schlagwort-Embedding: 0,8 gemeinsame Titel
Titel- und Schlagwort-Embedding: 2 gemeinsame Titel
Alle drei Suchmethoden: nur 0,4 gemeinsame Titel
Auch das zeigt uns, dass die verschiedenen Suchmethoden sich nicht einfach gegenseitig ersetzen, sondern sinnvoll ergänzen können.
Was bedeutet das für den VÖBB?
Die ersten Ergebnisse legen nahe, dass wir mit einer Kombination verschiedener Suchverfahren künftig deutlich mehr relevante Medien sichtbar machen könnten.
Das wäre nicht nur ein Gewinn für unsere Nutzer\*innen, sondern würde auch dabei helfen, unsere umfangreichen Bestände, die mit viel Aufwand erworben und erschlossen werden, besser zugänglich zu machen.
Wichtig ist aber: Es handelt sich bisher um einen Pretest. Die Ergebnisse sind vielversprechend, müssen aber noch genauer betrachtet und mit weiteren Tests überprüft werden.
Wie geht es weiter?
Als Nächstes möchten wir die KI-Suche mit dem gesamten VÖBB-Bestand aufsetzen und dann testen lassen.
Vorher 200.000 Titel (Freihand aus der Zentral- und Landesbibliothek Berlin (ZLB))
Zukünftig 4.000.000 Titel aus dem ganzen Verbund.
Diese testumgebung bauen wir gerade auf. Wenn wir damit fertig sind würden wir Sie hier wieder hier in diesem Forum bitten mitzumachen und Beispielsuchen durchzuführen.
Wir sind gespannt, wie sich die Suche weiterentwickelt, und halten Sie natürlich auf dem Laufenden!
Von @peter.just und @irina.glowczewski
