#11 - Prüfen in Zeiten von KI

Absicherung des Prüfungsformats

Die rasante Entwicklung generativer KI verändert die Hochschullehre und Prüfungsszenarien.

Einerseits bieten diverse Tools sowohl Lehrenden als auch Studierenden wertvolle Unterstützung, indem sie kreative Prozesse in der Lehrveranstaltungsplanung und -durchführung
erleichtern.

Andererseits bringen sie neue Herausforderungen mit sich:

Welche Kompetenzen müssen Studierende zukünftig entwickeln, um sich in einer von KI geprägten Welt erfolgreich zu behaupten?
Wie kann sichergestellt werden, dass die erbrachten Leistungen tatsächlich von den Studierenden selbst stammen und nicht nur das Ergebnis eines KI-Assistenten sind?

Weitere Informationen über Einsatzmöglichkeiten von KI in der Lehre finden Sie auch in der Rubrik Didaktik im Beitrag: #09 Einsatzmöglichkeiten von KI-gestützten Tools in der Lehre (Teil 1)

Darstellung der drei Optionen Absicherung, Ergänzung und Änderung

Abb.1: Prüfen in Zeiten von KI: Absicherung, Ergänzung oder Änderung des Prüfungsformats

Um Betrug durch KI-Einsatz bei Prüfungen entgegenzuwirken, kann man das Prüfungsformat um neue Elemente ergänzen oder ganz abändern.

Dieser Beitrag beleuchtet jedoch am Beispiel des Brückenkurses Informatik-Fit, wie das Prüfungsformat prinzipiell beibehalten, aber abgesichert werden kann (vgl. Grafik oben).

Kurzsteckbrief des Lern-Settings:

Vorlesung: Informatik-Fit
Voraussetzungen: Keine
Zeitraum: 3 Wochen im September/Oktober
Gruppengröße: 100-150 Teilnehmende
Durchführungsart: Vorlesung als MOOC

Der Beitrag beschäftigt sich mit:

Multiple-Choice-Prüfungen im Hörsaal
Computergestützte Paper-and-Pencil-Prüfungsauswertung mit Gradescope
Sichere digitale Prüfungsumgebung
Safe Exam Browser (SEB)

Constructive Alignment als Grundlage der Prüfungsgestaltung

Das Prinzip des Constructive Alignment ist ein zentraler Ansatz zur Gestaltung von Lehrveranstaltungen und Prüfungen. Es fordert, dass Lernergebnisse, Lehrmethoden und Prüfungsformate aufeinander abgestimmt werden. Bei allen Änderungen an der Prüfung und am Prüfungsformat, um sich gegen Betrug durch KI-Tools abzusichern, ist also das Constructive Alignment jedenfalls mitzubedenken.

In einer Grundlagenveranstaltung oder einem Brückenkurs wie Informatik-Fit sind Studierende mit unterschiedlichen Vorkenntnissen anwesend. Ziel der Lehrveranstaltung ist es, ein Basiswissen aufzubauen, Vertiefungen erfolgen in höheren Semestern. Bisher wurde die Prüfung als Multiple-Choice-Prüfung online im TeachCenter Exam abgehalten. Aufgrund des kurzen Zeitraums und der niedrigen Taxonomiestufen der Lernziele (Erinnern, Verstehen, Anwenden) eignet sich das Multiple-Choice-Format trotzdem weiterhin gut für Prüfungen in solchen Lehrveranstaltungen, eine Ergänzung oder Änderung des Prüfungsformats ist aktuell nicht sinnvoll. Allerdings ist die Absicherung dieses Prüfungsformats in Zeiten von KI-Assistenzsystemen notwendig.

Zwei Lösungsansätze, die sich an der TU Graz umsetzen lassen und in der Lehrveranstaltung Informatik-Fit erfolgreich erprobt wurden, werden hier vorgestellt: Paper-and-Pencil-Prüfungen im Hörsaal mit digital unterstützter Korrektur sowie Online-Prüfungen mit dem Safe Exam Browser.

Weitere Informationen über das Prinzip des Constructive Alignment finden Sie auch in der Rubrik Didaktik im Beitrag: #10 Einsatzmöglichkeiten von KI-gestützten Tools in der Lehre (Teil 2)

1. Paper-and-Pencil-Prüfungen im Hörsaal

Mit dem Aufkommen von KI-Tools könnte man meinen, traditionelle Prüfungsformen wie Paper-and-Pencil-Prüfungen verlieren an Bedeutung. Doch gerade in Zeiten, in denen die Gefahr des Missbrauchs durch KI-gestützte Hilfsmittel besteht, gewinnen traditionelle Prüfungsformen wie Paper-and-Pencil-Prüfungen wieder an Relevanz. Sie bieten eine bewährte Möglichkeit, die Authentizität der Prüfungsleistungen zu sichern, da sie vollständig offline und ohne Zugang zu digitalen Hilfsmitteln durchgeführt werden. Allerdings muss bei der Erstellung von Paper-and-Pencil-Prüfungen sowie bei der Bewertung nicht auf digitale Tools verzichtet werden.

Unterstützung durch Exam Printer und Gradescope:

Um Paper-and-Pencil-Prüfungen effizient zu gestalten, stehen Tools wie der Exam Printer und Gradescope zur Verfügung.

Gradescope ermöglicht eine schnelle und unkomplizierte digitale Korrektur handschriftlicher Prüfungen, während der Exam Printer aus der Fragensammlung im TeachCenter ein druckbares PDF der Prüfung generiert.

Diese Tools können auch kombiniert werden und helfen, traditionelle Prüfungsformate effizient durchzuführen und abzusichern.

Weitere Informationen über das Tool Exam Printer finden Sie auch in der Rubrik TeachCenter im Beitrag: #11 Best-Practice-Beispiel: Exam Printer im TeachCenter

2. Sichere Online-Prüfungen mit dem Safe Exam Browser

Während der Umstieg auf Paper-and-Pencil-Prüfungen in bestimmten Szenarien eine geeignete Lösung darstellt, bleibt der Bedarf an sicheren digitalen Prüfungen bestehen.

Online-Prüfungen sind besonders anfällig für den Missbrauch durch KI-gestützte Tools, was die Validität der Prüfungsergebnisse gefährden kann. Hier bietet der Safe Exam Browser (SEB) eine Lösung, um eine geschützte Prüfungsumgebung zu schaffen.

Der Safe Exam Browser ist ein spezieller Browser, der eine abgesicherte Umgebung schafft, sodass Studierende z. B. nur die Prüfung öffnen dürfen und keinen Zugriff auf unzulässige Hilfsmittel am Bildschirm haben. Die Einstellungen für den Safe Exam Browser können im TeachCenter (Exam) konfiguriert werden, der SEB ist jedoch eine eigene Softwareanwendung.

Obwohl der SEB kostenlos auf den eigenen Geräten der Studierenden installiert werden kann, ist die Durchführung von Prüfungen von zu Hause aus („Take-Home-Exams“) trotzdem nicht immer ausreichend gesichert (Stichwort Sprach-KI-Assistenten).

An der TU Graz kann der SEB in Lehrsälen mit IT-Infrastruktur genutzt werden.

Alternativ gibt es auch die Option einer „bring your own device“-Prüfung (BYOD), bei der Studierende ihre eigenen Geräte in den Hörsaal mitbringen.

Im Vergleich zu Gradescope bietet der SEB die Möglichkeit, bestehende TeachCenter-(Exam-)Prüfungen in einer gesicherten Umgebung zu öffnen und erfordert daher weniger Vorbereitungsaufwand. Der Einsatz in den Lehrsälen mit IT-Infrastruktur ist eine gute Option für Prüfungen mit weniger Teilnehmenden, da in diesen Lehrsälen nur begrenzte Plätze zur Verfügung stehen.

Sticker zum Beitrag: ein Schloss umgeben von Monitoren mit Prüfungen

Fazit

Die Absicherung des Prüfungsmodus in Zeiten von KI ist eine anspruchsvolle, aber notwendige Aufgabe. Durch den gezielten Einsatz traditioneller und moderner Prüfungsformate lässt sich die Integrität von Prüfungen bewahren. Constructive Alignment dient dabei als grundlegendes Prinzip, um sicherzustellen, dass alle Elemente des Lernprozesses – von den Lernergebnissen über die Lehrmethoden bis hin zu den Prüfungen – aufeinander abgestimmt sind. Der gezielte Einsatz von Tools wie dem TeachCenter (Exam) mit dem Exam Printer, dem Safe Exam Browser sowie Gradescope bietet wertvolle Unterstützung bei der Sicherstellung valider und fairer Prüfungsbedingungen.