Wie wirkt künstliche Intelligenz im Evaluationssystem? Diskussionsanstöße für die Gestaltung des Evaluationssystems von morgen

Abstract

In diesem Diskussionspapier werden erste Überlegungen zu möglichen Veränderungen durch künstliche Intelligenz (KI) in einem Evaluationssystem am Beispiel der Forschungs- und Innovationspolitikevaluierung angestellt.
In den bisherigen Diskursen über Künstliche Intelligenz (KI) standen hier vor allem Datenschutz, Ethik sowie wissenschaftliche und methodische Zuverlässigkeit im Vordergrund. Dieses Diskussionspapier zielt darauf ab, eine zusätzliche, systemische Perspektive einzubringen: Es untersucht, wie sich die Beziehungen zwischen Akteur:innen in einem Evaluationssystem verändern, wenn dieses System mit generativer KI konfrontiert wird. Eine Arbeitsgruppe der Österreichischen Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) hat sich dieser Frage von Juli 2023 bis März 2024 gewidmet. Auf Grundlage interner Diskussionen und begleitender Literaturrecherche wurde ein Modell entwickelt, das als Instrument dient, um die Handlungspraxis der Akteur:innen im FTI-Evaluationssystem zu reflektieren und gemeinsam zu diskutieren. Ausgangspunkte sind die Annahmen, dass generative KI als disruptives Element in das bestehende Evaluationssystem eintritt und dass diese Werkzeuge die Beziehungen zwischen den Akteur:innen verändern können. Obwohl der Fokus auf das österreichische Evaluationssystem gerichtet ist, wird davon ausgegangen, dass das Modell auch in anderen Evaluationssystemen oder Branchen mit ähnlichen Strukturen nützlich sein könnte.