LLMs in der Wissenschaft: Institutionelle Rahmenbedingungen statt rein kognitive Fähigkeiten
Die Debatte um die „wissenschaftlichen Fähigkeiten“ von LLMs ist falsch fokussiert – wichtiger ist, wie sie in die bestehenden institutionellen Prozesse der Wissensproduktion, Validierung und Verbreitung eingebettet werden können.
Key Takeaway
Die Debatte um die „wissenschaftlichen Fähigkeiten“ von LLMs ist falsch fokussiert – wichtiger ist, wie sie in die bestehenden institutionellen Prozesse der Wissensproduktion, Validierung und Verbreitung eingebettet werden können.
Summary
- Framing der Debatte – Enthusiasten betonen Erfolge (Protein‑Faltung, Materialwissenschaft, Hypothesengenerierung). Kritiker verweisen auf Halluzinationen, mangelndes Verständnis und den Unterschied zwischen Pattern‑Matching und Einsicht.
- Historischer Kontext der amerikanischen Wissenschaft (Anfang 1960er) – Sprachlicher Wandel: „scientists“ → „scientific community“. Bedeutende Arbeiten zur Quantifizierung und Systematisierung von Wissenschaft (OECD, Price, Kuhn, Machlup). Legibilisierung der Wissenschaft als System war Voraussetzung für Management und Politik.
- Entstehung und Folgen von Zitier‑Metrics – Price’s „Little Science, Big Science“ zeigte exponentiellen Zuwachs der Publikationen. Eugene Garfield entwickelte Tools zur Verfolgung von Zitierungen, um Informationstransport zu steuern. Einmal zur Überwindung von Informationsüberflutung gedacht, wurden Zitierungen später zur Bewertung von Forschern und Institutionen.
- „Constructivistisches“ Sichtweise – Wissenschaftliche Erkenntnisse werden nicht entdeckt, sondern durch institutionelle Prozesse (Enrollment) hergestellt. Das Konzept „scientific discovery“ wird als idealisiert angesehen, wie in einem Videospiel‑Vokabular (unlock).
- Rolle von LLMs – Potential von LLMs hängt von institutionellen Rahmenbedingungen, bestehenden Problemstellungen und Messgrößen ab. Nicht „will“ sondern „can“ in Bezug auf Integration in wissenschaftliche Prozesse. Potenzielle Einsatzbereiche: Unterstützung bei Literaturreviews, Hypothesenformulierung, Data‑Analysis‑Assistenz, aber immer im Kontext bestehender Arbeitsabläufe.
- Beispielhafte Anknüpfung – Ein Bild (Galileo‑Tafel, gefälscht) dient als Metapher für die Fälschung und Legitimierung von „Wissen“. Hebt hervor, dass „Wissen“ ein sozialer Konstrukt ist, nicht nur ein Faktum.
- Abschließende Bemerkung – LLMs können wissenschaftlich nützlich sein, aber ihr Erfolg ist stark von der Einbettung in bestehende Systeme und nicht von ihrer reinen Rechenleistung abhängig.
Zusammenfassung
Der Artikel kritisiert die übermäßige Fokussierung auf die kognitive Fähigkeit von LLMs, und schlägt stattdessen einen Blick auf die institutionellen und strukturellen Gegebenheiten vor, die die wissenschaftliche Praxis bestimmen. Er verbindet aktuelle Diskussionen mit einer historischen Analyse der Transformation der Wissenschaft in der zweiten Hälfte des 20. Jahrhunderts und betont, dass neue Technologien immer innerhalb bestehender Systeme aufgenommen und von deren Zielen geleitet werden.