KI-Agenten könnten auch im Gesundheitswesen unterstützen, das müssen jedoch die Voraussetzungen stimmen.
Der Einsatz von KI-Agenten könnte auch im Gesundheitswesen erheblich zur Effizienzsteigerung beitragen. Doch gerade dort offenbaren sich strukturelle Schwächen, die neue Risiken erzeugen können. Darauf weist das Healthtech-Unternehmen Corti hin, das KI-Infrastruktur für medizinische Anwendungen entwickelt.
Multi-Agenten-Systeme gelten als nächster Entwicklungsschritt in der KI-gestützten Automatisierung. Statt einzelner Modelle arbeiten mehrere spezialisierte Agenten zusammen, um komplexe Aufgaben zu lösen. In der Praxis zeigt sich jedoch, dass viele dieser Systeme den Sprung vom experimentellen Prototyp in den produktiven Einsatz nicht schaffen. Nach Einschätzung von Corti liegen die Probleme weniger in der Leistungsfähigkeit einzelner KI-Modelle als vielmehr in der zugrunde liegenden Systemarchitektur. Viele Multi-Agenten-Frameworks seien nicht dafür ausgelegt, zentrale Anforderungen regulierter Umgebungen wie Skalierbarkeit, Sicherheit und Nachvollziehbarkeit zuverlässig zu erfüllen.
KI-Modelle: Risiko fragmentierter Kontext
KI-Modelle benötigen vollständigen Kontext, um konsistente Entscheidungen zu treffen. In Multi-Agenten-Systemen wird dieser Kontext jedoch auf mehrere Agenten verteilt. Jeder Agent verarbeitet nur einen Ausschnitt der relevanten Informationen. Das kann dazu führen, dass isoliert betrachtet plausible Entscheidungen im Zusammenspiel zu fachlich falschen Ergebnissen führen.
Corti beschreibt hierfür praxisnahe Szenarien aus dem medizinischen Umfeld: Ein KI-Agent erkennt einen kritischen Laborwert, ein anderer genehmigt eine Medikation ohne Berücksichtigung dieses Befunds, ein dritter plant eine Standardnachkontrolle. Jeder Schritt für sich erscheint logisch, die Gesamtabfolge ist jedoch medizinisch inkonsistent. Diese Brüche lassen sich nicht durch Feinjustierung einzelner Modelle beheben, sondern entstehen aus der Architektur verteilter Agenten selbst.
Ein weiteres Risiko ergibt sich aus der probabilistischen Natur großer Sprachmodelle. Sie können plausible, aber faktisch falsche Informationen erzeugen. In Multi-Agenten-Systemen besteht die Gefahr, dass solche Halluzinationen von nachgelagerten Agenten ungeprüft übernommen werden. Eine erfundene Patienten-ID oder ein nicht existierender Befund kann sich so durch das gesamte System fortpflanzen. Mit wachsender Systemgröße steigt die Wahrscheinlichkeit solcher Fehlerkaskaden. Klassische Testverfahren stoßen hier an ihre Grenzen, da nicht mehr nur einzelne Modellantworten, sondern komplexe Interaktionsmuster bewertet werden müssten. Unerwartete Eingaben bleiben häufig unentdeckt, bis sie im laufenden Betrieb zu problematischen Ergebnissen führen.
Nachvollziehbarkeit als regulatorische Hürde
Im Gesundheitswesen ist Transparenz kein optionales Qualitätsmerkmal, sondern regulatorische Pflicht. Entscheidungen müssen lückenlos dokumentiert und erklärbar sein. In Multi-Agenten-Architekturen ist diese Nachvollziehbarkeit jedoch schwer herzustellen. Statt klarer Entscheidungsprotokolle entstehen verteilte Spuren über zahlreiche Agenten hinweg.
Um im Nachhinein zu rekonstruieren, welche Agenten beteiligt waren, welche Informationen vorlagen und wie deren Interaktion das Ergebnis beeinflusste, sind aufwendige forensische Analysen nötig. Ohne spezialisierte Infrastruktur lassen sich diese Entscheidungsketten kaum vollständig abbilden. Damit wird die technische Komplexität direkt zu einem Compliance-Problem.
Sicherheit lässt sich nicht delegieren
Auch beim Datenschutz stoßen viele KI-Agenten an Grenzen. Häufig verlassen sich Frameworks darauf, dass Modelle Zugriffsbeschränkungen korrekt einhalten. Nach Ansicht von Corti reicht das nicht aus. Halluzinierte Identifikatoren oder fehlerhafte Kontextzuordnungen können dazu führen, dass Agenten ungewollt auf fremde Datensätze zugreifen. Sichere Systeme benötigen klar definierte Zugriffskontexte, strikt getrennte Ausführungsumgebungen und deterministische Prüfmechanismen. Diese lassen sich nicht allein durch Modellverhalten gewährleisten, sondern erfordern klassischen, überprüfbaren Code. Corti kommt zu dem Schluss, dass produktionsreife Multi-Agenten-Systeme nur mit einer grundlegend anderen Infrastruktur realisierbar sind. Dazu gehören Mechanismen zur konsistenten Kontextführung über Agentengrenzen hinweg, parametergenaue Entscheidungsdokumentation, robuste Zugriffskontrollen und neue Testansätze für das Systemverhalten.
KI ohne saubere Architektur unbrauchbar
KI-Agenten versprechen Effizienz, bringen aber erhebliche Komplexität mit sich. Im Gesundheitswesen sind die Folgen von Fehlentscheidungen besonders gravierend. Nach Einschätzung von Corti ist eine saubere Architektur daher kein optionales Extra, sondern die Voraussetzung für sichere, nachvollziehbare und langfristig betreibbare KI-Anwendungen im klinischen Umfeld.
Quelle: Corti