Generative KI-Werkzeuge

Die Technik hinter aktuellen textgenerierenden Systemen sind sog. große Sprachmodelle (engl. large language models, oder kurz LLMs). LLMs sind statistische Modelle sehr großer Textkorpora, die in der Lage sind, Texteingaben plausibel fortzusetzen. Diese Fähigkeiten erlangen LLMs durch mehrere Schritte: zunächst das „Training“ anhand Milliarden vorhandener von Menschen erstellter Texte (gescannte Bücher, Auszüge aus dem Internet usw.) und in einem weiteren Schritt durch die umfangreiche menschliche Beurteilung (nicht) wünschenswerter Ausgaben, deren entsprechend das Modell angepasst wird. Für die komfortable und vertraute Nutzung ist der Zugang zu solchen Sprachmodellen oft in Form von dialogartigen Chat-Interfaces gegeben.

Die zentrale Eigenschaft großer Sprachmodelle, von der sich sowohl deren erstaunliche Fähigkeiten als auch deren Grenzen und Probleme ableiten, ist, dass ihre Ausgaben statistisch ähnlich zu den Daten sind, mit denen sie trainiert wurden. Aussagen von LLMs sind daher meistens plausibel, aber nicht zwangsläufig korrekt. Ebenso können Ungleichgewichte in den Trainingsdaten wiedergegeben und damit verfestigt werden – wie etwa die Überrepräsentation bestimmter Sprach- und Kulturräume, im Akademischen, aber auch bestimmter Fächer, Methoden, Autor*innen usw. Umgekehrt führen potentielle Lücken und Auslassungen in den Trainingsdaten zu entsprechend unzuverlässigen Ausgaben des trainierten Modells.

Dieser Unterschied ist dabei nicht einfach zu erkennen: So ist GPT4 von OpenAI z.B. relativ zuverlässig im Berechnen von Werten der linearen Funktion 9/5x+32. Bei der Funktion 7/5x+31 versagt es dagegen regelmäßig. Warum? Die erste Funktion ist die Konversionsformel, um Grad Celsius in Grad Fahrenheit umzurechnen. Dementsprechend finden sich im Internet - und damit in den Trainingsdaten von GPT4 - viele Beispiele und Werte dieser Funktion; nicht aber der (beliebig gewählten) anderen.

Da Sprachmodelle keine Metakognition über die Inhalte dessen, was sie „wissen“ und ausgeben, betreiben können, sind sie auch nicht in der Lage, selbst zu erkennen, wenn sie zu einer Frage nichts wissen: Eine Antwort wird stets erfolgen und es bleibt den Nutzenden überlassen zu erkennen, ob sie sinnvoll ist oder nicht. Durch das oben erwähnte „Finetuning“ der Modelle durch menschliche Beurteilung und Anpassungsmaßnahmen versuchen die Hersteller von LLMs zudem die Wiedergabe toxischer (z.B. rassistischer, sexistischer oder anderweitig menschenverachtender) Inhalte, wie sie in den dem Internet entnommenen Trainingsdaten vorkommen, zu verhindern, was inzwischen besser, aber beileibe nicht immer gelingt.

Bei der Einschätzung der Fähigkeiten und Risiken von LLMs spielt also das Bewusstsein über die Daten, mit denen sie trainiert werden, eine große Rolle. Zwar halten die Hersteller die exakte Zusammensetzung der Trainingsdaten ihrer Sprachmodelle geheim, aber als Faustregel ist es hilfreich, sich als Benutzer*in Gedanken dazu zu machen, wie gut oder schlecht, einseitig oder vielseitig der Fachbereich, zu dem man ein LLM befragt, tendenziell im Internet repräsentiert ist.

Bei der Nutzung generativer KI-Werkzeuge (inklusive BIKI) gibt es einige rechtliche Hinweise zu beachten. Insbesondere bitten wir Sie, keine personenbezogenen oder urheberrechtlich geschützten Daten in diese Systeme einzugeben/hochzuladen. Beim Einsatz in Studium und Lehre sind zusätzlich ggf. prüfungsrechtliche Aspekte zu beachten, für die wir Sie auf die entsprechende Informationsseite des Justiziariats Studium & Lehre verweisen.

Der oben erwähnte Hinweis, dass die Ausgaben generativer KI-Werkzeuge stets auf Richtigkeit und Angemessenheit geprüft werden müssen, ist nicht nur pragmatisch erforderlich, um diese Werkzeuge sinnvoll zu nutzen, sondern leitet sich auch unmittelbar aus der Verpflichtung unserer Universität und ihrer Angehörigen zur guten wissenschaftlichen Praxis ab. Die Leitlinien der Universität Bielefeld zur Sicherung guter wissenschaftlicher Praxis finden sich hier.

Die bewusste und unbewusste Zuschreibung menschlicher Attribute für Systeme, die mit ihren Nutzer*innen in natürlicher Sprache interagieren können, ist ein in Kognitions- und KI-Forschung seit Langem bekanntes Phänomen. Mit den erweiterten sprachlichen Fähigkeiten aktueller generativer KI-Systeme haben sich diese Effekte noch einmal verstärkt, was sich bereits im Vokabular niederschlägt, mit dem über diese Systeme gesprochen wird: Sie „lernen“ und „wissen“, „die KI“ „denkt“ oder „halluziniert“ gar. Solche Redeweisen legen zusammen mit der für einen generativen KI-Chatbot typischen flüssigen sprachlichen Interaktion für viele Nutzende den Schluss nahe, dass es sich dabei – mindestens in Ansätzen – um ein verstehendes, denkendes Wesen handelt. Das hat wiederum Folgen für die weitere Einschätzung dieser Systeme: Ein System, das „halluziniert“, hat vorübergehend den Wahrnehmungsbezug bzw. die Realitätshaftung verloren, besitzt diese aber im Prinzip. Dieser Aspekt kann sogar bis in rechtliche Fragen hineinreichen: So ist eine häufig vorgebrachte Rechtfertigung für die Verwendung urheberrechtlich geschützter Werke im Training großer Sprachmodelle, dass sie die Texte auf ähnliche Weise „lesen“ würden, wie menschliche Autor*innen das auch tun, ohne dass Letzteren ein urheberrechtlicher Vorwurf aus der Beeinflussung des Gelesenen auf ihr Schreiben gemacht würde.

Sowohl das Training als auch der Betrieb generativer KI-Systeme sind sehr energieintensiv. So verbraucht eine Anfrage an ChatGPT etwa das Sechs- bis Zehnfache einer Google-Suche. Der aktuelle Anteil, den KI-Systeme am Gesamtenergieverbrauch von Rechenzentren haben, wird auf 10-20% geschätzt, mit steigender Tendenz (siehe hier). Im November 2024 wurde der Energieverbrauch von KI-Rechenzentren für das laufende Jahr dabei auf 261 TWh geschätzt (zum Vergleich: Der Gesamtenergieverbrauch Spaniens lag 2023 bei 245 TWh).

Generative KI-Werkzeuge sollten also nicht unüberlegt eingesetzt werden. Insbesondere empfehlen wir bei Aufgaben, die sich mit anderen Werkzeugen bereits gut und ggf. auch zuverlässiger erledigen lassen (Suchmaschinen, Rechtschreib- und Grammatikprüfung, Übersetzung etc.), diese zu bevorzugen. Für Aufgaben, bei denen Sprachmodelle eine deutliche Arbeitserleichterung darstellen könnten, sollte zudem getestet werden, ob kleinere Sprachmodelle ("GPT-mini", Llama-8b" etc.) die Aufgabe bereits hinreichend gut erledigen. In diesem Zusammenhang sei auch auf das Nachhaltigkeitsleitbild der Universität Bielefeld verwiesen.

Auf verantwortliche und reflektierte Weise eingesetzt, können generative KI-Systeme u.U. ein vielseitiges, ergänzendes Werkzeug in Studium und Lehre sein. Unsere zentralen Hinweise für die diesbezügliche Nutzung von BIKI ist in den folgenden beiden Videos (einmal für Lehrende, einmal für Studierende) zusammengefasst:

Je nach Stand Ihres Fachwissens und den Besonderheiten Ihres Faches können verschiedene Anwendungsmöglichkeiten generativer KI-Werkzeuge infrage kommen oder nicht. Zentral bleibt, dass Sie in der Lage sein müssen, den Output inhaltlich einzuschätzen, dass Sie Ihre Nutzung transparent machen und für die Inhalte der Ausgaben, mit denen Sie weiterarbeiten möchten, die Verantwortung übernehmen. Am ehesten ist das bei Nutzungsformen möglich, bei denen sich Ausgaben, die Sie als untauglich bewerten, einfach verwerfen lassen. Darunter könnte z.B. das Folgende fallen:

• Unterstützung bei der Ideengenerierung
• klar umrissenes Erzeugen von Text- oder Programmcode-Entwürfen
• Paraphrasieren oder Umschreiben eigener Textstücke
• Erzeugen von Lehrmaterial-Entwürfen, z.B.
  • repetitives Übungsmaterial in Variationen
  • plausible Falschantworten für Multiple-Choice-Aufgaben
• Feedback oder Korrektur-Vorschläge für eigene Texte
• zusätzliche Hilfe in der Literaturrecherche (als Impulsgeber, nicht als Datenbank)
• Roh-Übersetzungen

Unabhängig davon, ob Sie generative KI-Werkzeuge in Ihrem Studium oder Ihrer Lehre selbst einsetzen, empfehlen wir Lehrenden – in gebotener Kürze – generative KI als Gegenstand der Lehre zu behandeln. Insbesondere nachdem die Universität Bielefeld Lehrenden große Freiheiten in der Regulierung des konkreten Einsatzes generativer KI-Werkzeuge lässt, ist es für eine erfolgreiche Veranstaltung wichtig sicherzustellen, dass Ihre Studierenden verstehen, was die Lernziele Ihrer Veranstaltung sind und inwiefern generative KI-Werkzeuge ihnen dabei helfen oder auch hinderlich sein könnten. Idealerweise kommen Sie dazu mit Ihren Studierenden ins Gespräch und bieten ihnen die Möglichkeit eines Austauschs. Eine proaktive Thematisierung von generativer KI in Ihrer Veranstaltung ist die beste Möglichkeit zu verhindern, dass es im Nachgang der Veranstaltung Ambivalenzen und Probleme mit der Verwendung unerlaubter Hilfsmittel gibt.

Das ZLL unterstützt Sie gerne mit seinem aktuellen Workshop- und Veranstaltungsangebot bei der Thematisierung generativer KI in Ihrer Lehre. Sie können sich aber auch unabhängig von spezifischen Formaten gerne jederzeit für eine individuelle Beratung bei uns melden (zll@uni-biefeld.de).

Was eine prüfungsrechtliche Einschätzung der potenziellen Nutzung generativer KI-Werkzeuge in Prüfungsleistungen angeht, verweisen wir auf die Seite des Justitiariats Studium und Lehre.

Falls Sie sich als Lehrende*r Gedanken darüber machen, ob Sie Ihre Prüfungsform anpassen sollten, empfehlen wir Ihnen zunächst einmal einige Ihrer bisherigen Prüfungen oder Prüfungsfragen anhand von BIKI zu testen, um selbst ein Gefühl dafür zu entwickeln, was Sprachmodelle in Ihrem Fall leisten und was nicht. Sollten Sie dabei feststellen, dass der Umfang, in dem BIKI Ihre Fragen bearbeiten kann, zu groß ist, gibt es mehrere Optionen: Die radikalste „Lösung“ ist das Ausweichen auf Prüfungsformen, in denen generative KI-Werkzeuge nicht wirklich eingesetzt werden können, wie mündliche Prüfungen oder Closed-Book-Präsenzklausuren. In schreibintensiven Fächern und Veranstaltungen, in denen z.B. das eigenständige Verfassen von Hausarbeiten zu den zu vermittelnden Kompetenzen gehört, besteht eine solche Möglichkeit allerdings nicht. Dort wäre stattdessen darüber nachzudenken, wie die bestehende Prüfungsform angepasst werden kann. Sofern Ihre Prüfungsordnung und Modulbeschreibung dies erlaubt und Sie nicht schon bereits so arbeiten, kann es z.B. hilfreich sein, Elemente des Hausarbeitsschreibens (Themenfindung, Gliederung, Peer-Diskussionen, usw.) bereits im Semesterverlauf als Teil Ihrer Veranstaltung durchzuführen. Dadurch erhalten Sie einen Einblick in verschiedene Arbeitsstadien Ihrer Studierenden und sind tendenziell besser in der Lage einzuschätzen, ob die finale Abgabe dazu passt.

Um es Ihnen zu erleichtern, eine Quellenprüfung durchzuführen, empfehlen wir zudem (sofern das bei den in Ihrem Fach üblichen Quellen möglich ist) darauf zu bestehen, dass die Studierenden zu jeder Quelle den DOI angeben müssen. So können Sie wesentlich leichter (per Copy & Paste oder per Klick) prüfen, ob die Quelle existiert und ob ihr Inhalt dem Behaupteten entspricht.