da mir das Thema Fake citations/unkontrollierte LLM-Halluzinationen in Referenzen von wissenschaftlichen Publikationen/AI slop allgemein in der Fachliteratur, die ich so quer lese, immer wieder über den Weg läuft (z.B. kürzlich diese Untersuchung zur Prävalenz von (vermutlichen) LLM-Halluzinationen in Preprints)
und das Problem in Zukunft ja wohl nicht weniger wird, würde mich mal interessieren, in wie weit sich WBs mit dem Thema auseinandersetzen.
Denkbar wären da ja z.B. eine generelle Awareness bei Forschenden zu stärken und einfach zu informieren oder aber auch ganz konkret Unterstützung bei der Kontrolle, z.B. für Peer Reviewer an der eigenen Einrichtung, als Service anzubieten.
Evtl. gab es auch schon Fälle, wo nicht existente Literatur für eine Bestellung über die Fernleihe/Dokumentenlieferdienst angefragt wurde?
Oder vielleicht Fälle, wo Forschende entdeckt haben, dass ihr Name in einer Referenz aufgetaucht ist, die gar nicht existiert?
Gibt es Diskussionen an den Einrichtungen zum Thema KI-Einsatz, wo Bibliotheken aus dieser Perspektive mitreden (z.B. für eine Überarbeitung von Publikationsrichtlinien)?
Mich würde einfach generell mal interessieren, ob das in den Bibliotheken ein Thema ist, an dem aktiv gearbeitet wird, ich bin gespannt!
Ich mache Schulungen für Studierende und weise immer darauf hin, dass es nur LLMs sind. Ich erkläre, wie sie funktionieren und mahne an, dass etwaige Quellenangaben immer überprüft werden müssen.
Als KI aufkam gab es häufiger Anfragen von Studierenden nach Quellen, die die KI zusammenhalluziniert hatte. Das passiert inzwischen sehr, sehr selten. Bei uns wird das Thema KI eher direkt in den Studienmodulen/Fakultäten sowie im Schreibzentrum behandelt, zu uns in die UB schwappt es eher selten. Ich habe eher Lehrer*innen (z. B. von Berufskollegs, Abendschulen, aber teilweise auch aus den Oberstufen), die uns explizit bitten, bei Führungen/Schulungen ihrer Klassen auf das Thema KI einzugehen und quasi mit dem mahnenden Zeigefinger zu winken, dass „Chattie“ eben nicht für alles gleichermaßen geeignet ist.
In meiner Bibliothek gibt es ebenfalls Schulungen zum KI-Einsatz beim Verfassen wissenschaftlicher Arbeiten und konkret zu verschiedenen Tools (in Zusammenarbeit mit dem Schreibzentrum der Uni). Die Schulungsveranstaltungen sind sehr gefragt, was ich so mitbekomme.
Es gab vereinzelt Anfragen zu nicht existenter Literatur, aber das hält sich in Grenzen. Ich habe jedoch auch schon den Fall mitbekommen, dass ein Gutachter im Reviewprozess einer Publikation offenbar das Gutachten von einem KI-Tool hat verfassen lassen und dann Hinweise auf noch einzuarbeitende Quellen gegeben hat, die nicht existieren.
Eventuell ist die Fokusgruppe „Publikationsberatung“ des OA-Networks hier für einige interessant, die aus der Perspektive mit dem Thema zu tun haben. In der letzten Sitzung ging es genau um das Thema KI in der Beratung.
Wir haben offene Online-Kurse zu „Recherche & KI“, an denen alle Interessierten der Hochschule teilnehmen können.
Wir führen Literaturrecherchen in LLMs durch (z.B. in ChatGPT via Hochschulinterface) und prüfen dann auf Halluzinationen.
Diese Negativbeispiele (es sind IMMER halluzinierte Quellen dabei) sorgen für Aha-Momente bei den Teilnehmern und schaffen Awareness.
Im Bibliotheksalltag kommt es nur ab und zu mal vor, dass nach solchen Fakes gesucht wird (Katalog, Fernleihe). Aber Lehrende berichten häufig von halluzinierten Titeln in Literaturverzeichnissen studentischer Arbeiten.
Das ist ja auch noch eine Ebene schlimmer, dass Peer Review nicht nur oft die Fakes nicht erkennt (in der oben verlinkten Publikation waren es in einer Stichprobe von über 2000 Publikationen ca. 85%, wo die im Preprint identifizierten Halluzinationen auch in der publizierten Version nach dem PR-Verfahren noch immer auftauchten), sondern sogar das Problem noch verstärkt… Oh man!
Besorgniserregend finde ich auch die Erkenntnis der Untersuchung, dass die fake references später auch in anderen Publikationen nochmal wieder auftauchen, da hat die Kontrolle also auch versagt, und es wurde einfach so übernommen.
hallo @allall, ich hatte da mal was für unsere Studis zusammengestellt:
Künstliche Intelligenz für das wissenschaftliche Arbeiten
Kritische Berichterstattung zur Verwendung von künstlicher Intelligenz!
Fast die Hälfte aller KI-Antworten mit mindestens einem erheblichen Fehler
23. Oktober 2025
Redaktion Börsenblatt
„Millionen Menschen ziehen KI-Tools heran, um sich zu informieren. Doch in 45 Prozent der Fälle geben KI-Assistenten Nachrichteninhalte fehlerhaft wieder. Das zeigt die Studie „News Integrity in AI Assistants“ der Europäischen Rundfunkunion (EBU). Welche Forderungen leiten die beteiligten TV- und Rundfunkanstalten daraus ab?“
(Börsenblatt, 2025)
Die Studie: https://www.ebu.ch/Report/MIS-BBC/NI_AI_2025.pdf
KI-Studie zeigt Scheitern von LLM im logischen Denken
„Selbst die besten KI-Sprachmodelle („Language Learning Models“, LLM) versagen bei logischen Fragestellungen dramatisch. Zu dieser Erkenntnis gelangen Forschende des Jülich Supercomputing Centre (JSC), der School of Electrical and Electronic Engineering der Universität Bristol und dem KI-Labor LAION. In ihrem Paper, ‚Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models‘“ (Maiburg, 2024)
Die Studie: https://arxiv.org/pdf/2406.02061
Anteil falscher Antworten von KI-Chatbots hat sich in einem Jahr fast verdoppelt
„Eine NewsGuard-Analyse der zehn führenden generativen KI-Tools zeigt: Die Wahrscheinlichkeit, dass sie falsche Informationen zu aktuellen Nachrichten liefern, hat sich binnen eines Jahres nahezu verdoppelt. Inzwischen enthalten mehr als ein Drittel ihrer Antworten Falschbehauptungen.“ (Sadeghi, 2026)
(Sadeghi, 2026) Bahnbrechende BBC-Studie deckt Probleme mit über der Hälfte der Antworten von KI-Assistenten auf
Die BBC stellte bei etwas mehr als der Hälfte der von den Assistenten generierten Antworten „erhebliche Probleme“ fest. Die KI-Assistenten wiesen in rund einem Fünftel der Antworten, die ihrer Aussage nach aus BBC-Materialien stammten, eindeutige sachliche Fehler auf. Dort wo KI-Assistenten „Zitate“ aus BBC-Artikeln verwendeten, war mehr als jedes zehnte Zitat entweder verändert worden oder existierte gar nicht im Artikel. Ein Teil des Problems scheint darin zu liegen, dass KI-Assistenten in der Berichterstattung nicht zwischen Fakten und Meinungen unterscheiden; keinen Unterschied zwischen aktuellem und Archivmaterial machen; und dazu neigen, Meinungen in ihre Antworten einfließen zu lassen. (Turnes, 2025)
Die Studie der BBC: https://www.bbc.co.uk/aboutthebbc/documents/bbc-research-into-ai-assistants.pdf
