Von der FFHS an die Eliteuniversität Princeton
Kann KI benoten? Dieser Frage ging FFHS-Absolvent Matthias Heimberg in seiner Bachelorarbeit auf den Grund. Seine Erkenntnisse zur Bewertungskompetenz von GPT-4 konnte er bei einer Konferenz an der Princeton University im März präsentieren.
«Der Aufenthalt in Princeton war ein einzigartiges Erlebnis», sagt Matthias Heimberg. (Fotos: zvg)
Matthias Heimberg ist an der Technischen Fachschule Bern für die Informatik-Grundbildung zuständig. An der FFHS schloss er vergangenes Jahr erfolgreich sein Bachelorstudium in Informatik ab. In seiner Thesis untersuchte er das Potenzial von GPT-4 (ein ChatGPT-Modell) als automatisiertes Bewertungssystem für offene Fragen in der Informatikausbildung.
Für seine Arbeit hat Heimberg Lernende der Informatik an der Technischen Fachschule Bern offene Fragestellungen aus dem IT-Bereich beantworten lassen. Diese Antworten wurden sowohl von menschlichen Experten als auch von GPT-4 bewertet. «Ich untersuchte dann, wie gut die automatischen Bewertungen von GPT-4 mit den Expertenbewertungen übereinstimmen. Dabei konnte ich zeigen, dass die Ranglisten der Bewertungen erstaunlich gut übereinstimmen, wobei die Übereinstimmung mit zunehmender Schwierigkeit der Fragen abnimmt – allerdings auch zwischen den Experten selbst», erklärt Heimberg.
Sein Fazit: Ein Large Language Model wie GPT-4 bietet einen vielversprechenden Ansatz für ein automatisiertes Bewertungssystem, ist aber alleine (noch) nicht in der Lage dies zu übernehmen.
Für Matthias Heimberg war es die erste Teilnahme an einer wissenschaftlichen Konferenz.
«Spannend und bereichernd»
Auf Initiative von Dr. Lusine Mkrtchyan, Fachbereichsleiterin Wissenschaftliches Arbeiten im Departement Informatik, verfasste Heimberg aus seiner Bachelorarbeit einen wissenschaftlichen Artikel. Unterstützt wurde er dabei auch von Dozent Willi Bernhard, der bereits sein Betreuer bei der Bachelorarbeit war. Der Fachartikel von Heimberg wurde in das Programm der IEEE Integrated STEM Education Conference (ISEC) aufgenommen, eine jährlich stattfindende Konferenz, die interdisziplinäre Ansätze in den Bereichen Wissenschaft, Technologie, Ingenieurwesen und Mathematik fördert. Die 15. IEEE ISEC fand Mitte März an der Princeton University in New Jersey, USA, statt. Das Programm umfasste fünf Hauptredner und eine Podiumsdiskussion zum Thema «Verantwortungsvoller Einsatz von KI in der STEM-Bildung».
Obwohl Heimberg seinen Vortrag auch online hätte halten können, entschied er sich an die Konferenz zur reisen. «Der Aufenthalt in Princeton war ein einzigartiges Erlebnis. Besonders beeindruckend war die Atmosphäre der Universität mit ihren historischen Gebäuden und der weitläufigen Anlage. Für mich war es zudem die erste Teilnahme an einer wissenschaftlichen Konferenz. Die Vorträge von Teilnehmerinnen und Teilnehmern aus verschiedenen Ländern und mit ganz unterschiedlichen fachlichen Hintergründen waren sehr spannend und bereichernd», sagt Heimberg.