Ich darf an einem Webinar der FFHS zu homebased Prüfungen teilnehmen. Und ich schreibe „ich darf“, weil allein die Art, wie die Präsentation in Adobe Connect durchgeführt wird, total angenehm und kompetent wirkt- nicht alles läuft technisch einwandfrei, aber man geht damit locker um, lässt sich nicht aus dem Konzept bringen, und die technische Moderatorin leitet mit an.
Ich muss mir unbedingt merken: Es ist super, Leute 10min vor Beginn Audiotests machen zu lassen und alle mehr oder weniger persönlich zu begrüßen. Die Stimmung wird dadurch positiv beeinflusst.
Das Thema der Sitzung sind Prüfungen in der Fernlehre, und wurde gehalten von Markus Dormann, Willi Bernhard und Jetmire Sadiki. In den Umfragen konnte man sehen, dass über 230 Personen online waren.
Grundlagen:
E-Assements sind wichtig, um informationen über den Lernstand, -prozess und die – ergebnisse von Individuen zu erhalten. Es gibt viele Definitionen, einig ist ihnen, dass man PCs nutzt, um Wissen über den Lernfortschritt zu erlangen. Eine große Gefahr bzw. Unsicherheit ist dabei die Möglichkeit, das Prüflinge schummeln könnten, etwa bei der Identität oder beim Einsatz von Hilfsmitteln.
Daher gibt es 3 Arten von Prüfungen:
- live-Überwachung, direkt während der Prüfung
- halbautomatisches und maschinelles Überwachen (protoring) – das nutzt auch die FFHS
- keine Aufsicht
An der FFHS gibt es blended learning mit moodle, bisher wurden die Prüfungen analog geschrieben und das Lernen teils in Präsenz und teils online organisiert. Sie haben verschiedene Lösungen geprüft, auch Safe-Exam-Browser. Sie haben dann eine Pilotphase mit den Nachprüfungen, die eh hätten stattfinden sollen, gestartet, und präsentieren jetzt die Ergebnisse.
Sie stellen umfangreichen Support bereit und machen zB. Anleitungsvideos und Musterprüfungen, um den technischen Stress in der eigentlichen Prüfung zu entlasten. Sie lassen den Studierenden eine Videoüberwachung machen, also er filmt den Raum und sich – auch während der Prüfung. Er darf während der Prüfung nicht aufstehen und weggehen und der Raum muss leer sein. 1 Handy ist außerhalb der direkten Reichweite erlaubt, um bei technischen Problemen den Support anrufen zu können.
Es wird safe exam browser (üblicherweise bei den an den PC geschrieben Vor-Ort-Prüfungen) und kaltura-Capture eingesetzt, es gibt dabei ein spezielles Moodle-Plugin, das das Video als Teil der Prüfung mit abgeben lässt (der Prüfling muss es am Ende der Prüfung hochladen, ich denke, es ist eine Art question type.) Teilweise werden Moodle-Tests genutzt, teilweise in Word-Dokumenten und teilweise auch einfach auf Papier, was anschließend fotografiert/geskannt/ in die Webcam gehalten und hochgeladen wird. Das Kaltura-Capture filmt die Person und den Bildschirm, so dass eine Unterbindung anderer Programme nicht nötig ist.
Die Videoüberwachungen werden manuell angeschaut. (Sehr aufwendig!) Sie haben dafür ein Team und außerdem kann jeder Dozent auf die ihn betreffenden Videos zugreifen, um bei Verdacht nachzuschauen. Im Chat schreibt jemand „Ferienbeschäftigung“, und ich dachte – ja, plus die Korrekturen, wenn wir das auf Schule übertrage. Allerdings überlegen sie, KI mit einzusetzen, etwa um Anomalien zu finden. Man kann etwa Tonwertdiagramme vergleichen, Veränderungen in Audio und Bild damit untersuchen, möglicherweise sogar die Augen tracken usw. Es wird geplant, diese automatisierte Überwachung als Echtzeitüberwachung einzusetzen. Der Chat grummelt über Datenschutz, und ich frage mich – ja, das sind massive Eingriffe, aber sind die schlimm? Wenn die Daten schnell nach der Prüfung gelöscht werden, nicht anders ausgewertet werden, dann ist es doch gut, oder? Aber wie stellt man sicher, dass die KI nicht anders verwendet wird? Die Anbieter sind ja nun Drittanbieter…
Da diese Videoüberwachung nur mit Einwilligung geht, wird immer eine Präsenzprüfung als Alternative angeboten – jetzt allerdings gerade nicht, man müsste auf das Ende von Corona warten. Das fanden viele Studierende wohl nicht so gut und haben dann lieber die homebased Prüfung gemacht. Sie fanden die genauen Regeln und Schritte (wo liegt was?) zumeist wohl angenehm, weil sie so leicht nachweisen konnten, dass sie nicht betrügen. (Nicht zu betrügen, ist die Grundhaltung der meisten Menschen.)
Auch bei technischen Problemen muss man wohl mit Augenmaß reagieren – es enventuell nicht als Prüfungsversuch werten etwa und eine Wiederholung ermöglichen. Technische Hürden waren sowie wie Internet (Bandbreite), installierter Computeraufbau, Betriebsystem, Webcam, Browser, Software.
Im Chat wird als Alternative OpenBook-Prüfungen diskutiert, allerdings setzen diese eine andere Art von Lehre voraus – und sie sind eben auch aufwendig in der Aufgabenstellung und der Korrektur. Ähnliches gilt für mündliche Prüfungen. Da unsere Betreuungsschlüssel schlecht sind, kann man sowas, glaube ich, nicht in jedem Setting leisten.
Abschließend stelle ich fest, dass die technischen Möglichkeiten zum Schummeln (Bildschirm spiegeln, zweite Person Prüfung schreiben lassen) durch die Bildschirmaufnahme deutlich reduziert werden, aber nicht ausgeschlossen werden. Das ist wie das Buch auf dem Klo bei der normalen Klausur… Letztendlich muss man vertrauen. Und zu Vertrauen finde ich immer noch besser, als zu wissen, das jemand Leistungen nicht erbringen kann und ihn trotzdem durchs Abitur zu schieben, wie es bei uns an den Schulen immer wieder vorkommt.