Institut für Medizinische Biometrie
und Statistik (IMBI)

Exploring the Potential of Large language models for integration into an academic Statistical Consulting Service

Förderung: intern

Projektlaufzeit: 15.06.2024 – 15.01.2025

Kontakt: expols@imbi.uni-freiburg.de

Künstliche Intelligenz, darunter vor allem große Sprachmodelle (Large Language Models, LLMs) gewinnen in vielen Bereichen immer mehr an Bedeutung. LLMs sind künstliche neuronale Netze, die durch große Datenmengen trainiert werden. Aktuell bekannte Beispiele sind die GPT-Modelle von OpenAI (generative pretrained transformer, GPT), PaLM (Google), Gemini (DeepMind), Copilot (Microsoft), oder LLaMA (Meta).

Im wissenschaftlichen Forschungsprozess sowie in der Lehre und der klinischen Versorgung halten LLMs Einzug und können für verschiedene Aufgaben eingesetzt werden, wie z.B. Textverarbeitung, Wissenssynthese, Übersetzung, Textproduktion, Vorbereitung von Lehrmaterialien, Erstellung von Arztbriefen und Bearbeitung statistischer Fragestellungen, um die es in EXPOLS vorrangig geht. Die Ergebnisqualität des Outputs von LLMs bedarf jedoch einer Bewertung, um das volle Potenzial für den Einsatz in statistischen Anwendungen abschätzen zu können.

EXPOLS zielt darauf ab, den Einsatz von LLMs zur Unterstützung der statistischen Beratung zu beurteilen, indem Nutzen, Effizienz und Zufriedenheit bei Verwendung von LLMs in der statistischen Beratung sowohl aus der Perspektive der Beratenden als auch aus der Perspektive der Ratsuchenden evaluiert werden. Im Rahmen dieses Projekts werden wir ein Trainingsmodul für den Einsatz von LLMs in der statistischen Beratung entwickeln, Schulungen durchführen und diese evaluieren. In diesem Zusammenhang wollen wir die Stärken, Grenzen und Bereiche für mögliche Verbesserungen identifizieren. Darüber hinaus werden wir Erfahrungen, Einstellungen, Ängste und aktuelle Praktiken in Bezug auf den Einsatz von LLMs bei Mitarbeitenden des Universitätsklinikums und der Universität Freiburg untersuchen.

EXPOLS ist als multimodale Studie konzipiert und umfasst insgesamt vier Studienteile:

Studienteil I: Mixed-Mode Studie mit quantitativen und qualitativen Ansätzen zur Exploration des Potenzials von LLMs für den Einsatz in der statistischen Beratung und zur Beurteilung der Kriterien Nützlichkeit, Effizienz und Nutzerzufriedenheit.

Studienteil II: Entwicklung und quantitative Evaluation einer Schulung zum Einsatz von LLMs für die wissenschaftliche Arbeit, speziell zur statistischen Datenanalyse.

Studienteil III: Quantitative Evaluation der statistischen Beratung unter Einsatz von LLMs aus Sicht der Ratsuchenden.

Studienteil IV: Systematische quantitative Exploration von Erfahrungen, Einstellungen und Ängsten sowie Weiterbildungsbedarfen aus Sicht von Mitarbeitenden an der Universität und dem Universitätsklinikum Freiburg.

Diese Studie ist im FRKS registriert mit der Nummer FRKS004971, es liegt ein positives Votum der Ethik-Kommission der Universität Freiburg vor (24-1148-S1). Die Ergebnisse werden in Form eines Abschlussberichts sowie in wissenschaftlichen Fachzeitschriften und auf Konferenzen publiziert. Weiterhin erfolgt eine teilweise Veröffentlichung von Forschungsdaten zur wissenschaftlichen Nachnutzung.