Studie
Wenn KI-Assistenten mehr vertraut wird als Menschen
Programmiererinnen und Programmierer überprüfen die von einer Künstlichen Intelligenz (KI) entwickelten Codes weniger gründlich als die menschlicher Teammitglieder. Zu diesem Ergebnis kommt eine an der Universität des Saarlandes entstandene Studie, die am Montag auf der renommierten "International Conference on Automated Software Engineering" in Seoul vorgestellt wurde. Auch finde zwischen Menschen und KI-Assistenten weniger Wissenstransfer statt, sodass die Software-Entwicklerinnen und -Entwickler weniger lernten. Die Forschungsgruppe um Informatik-Professor Sven Apel geht davon aus, dass sich die Beobachtungen auch auf andere Bereiche und Disziplinen übertragen lassen.
Bei der Programmierung von Codes wird laut Studie häufig in Zweierteams gearbeitet. Durch dieses sogenannte Pair-Programming lasse sich die Fehlerquote senken und die Qualität der Ergebnisse steigern. Nebenbei würden Informatikerinnen und Informatiker auf diese Weise ihr Wissen weitergeben. Ausgangspunkt der Studie war die Frage, ob die Zusammenarbeit mit einer KI-Assistenz diese Funktionen gleichermaßen erfüllt. Für die empirische Studie arbeiteten 19 Studierende mit Programmiererfahrung entweder mit einem menschlichen Gegenüber oder mit einem KI-Assistenten an einer Programmieraufgabe, bei der Algorithmen entwickelt und in eine gemeinsame Projektumgebung integriert werden mussten.
Gegenüber KI fehlt das "gesunde Misstrauen"
Als KI-Assistenz wurde der 2021 von Microsoft eingeführte Github Copilot verwendet. Dieser habe wie ähnliche Produkte anderer Unternehmen das Programmieren stark verändert. "Software kann damit viel einfacher entwickelt werden, sodass riesige Mengen Programmcode in kurzer Zeit entstehen", erläutert Apel. "Dies birgt aber auch die Gefahr, dass sich Fehler einschleichen, die möglicherweise erst als Langzeitfolge sichtbar werden." Tatsächlich zeigten die Studienergebnisse, dass Programmiererinnen und Programmierer den Code von KI-Assistenten weniger genau kontrollieren. Dabei sei eigentlich bekannt, dass auch virtuellen Assistenten Fehler unterlaufen können. "Zwischen den menschlichen Kollegen gab es hierbei viel häufiger kritische Rückfragen und ein gesundes Misstrauen, ob der jeweilige Partner wirklich alles richtig gemacht hat", so Apel.
Zudem habe sich im Rahmen der empirischen Studie herausgestellt, dass sich der Austausch von Entwicklerinnen und Entwicklern mit einer KI-Assistenz in der Regel auf den reinen Programmiercode beschränkte. "Die menschlichen Teams neigten hingegen dazu, vom Thema abzuschweifen und weniger konzentriert am jeweiligen Problem zu verweilen", berichtet Apel. KI sei durchaus nützlich für einfache, sich wiederholende Programmieraufgaben. Für komplexere Themen sei jedoch der Wissensaustausch zentral, der derzeit noch besser zwischen Menschen funktioniere. Wie eine vertrauensvolle und kritische Zusammenarbeit von Mensch und KI zukünftig aussehen könne, bedürfe weiterer Forschung.
hes