Zum Inhalt springen

KI-Kompass / Meldungen

KI als Dokumentenprüfer: Gegenprobe und Wiederholungstest gehören vor den Einsatz

Allgemein RA & Medizintechnik

Zwei nicht begutachtete Studien: KI-Prüfer urteilten im Test oft gleich, ob mit oder ohne Regel, und bei derselben Anfrage nicht immer gleich.

Quelle: Sadhu et al.: Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems (arXiv),

Hinweis: Ich biete Ingenieursdienstleistungen im Bereich Regulatory Affairs für Medizinprodukte an.

Technische Zeichnung: drei Prüfläufe aus Regelblatt mit Paragrafenzeichen, Dokument, LLM und Urteil. Im zweiten Lauf ist die Regel durchgestrichen, das Häkchen bleibt gleich (=); im dritten Lauf mit derselben Anfrage wird daraus ein Kreuz (≠).

Anlass: Zwei nicht begutachtete arXiv-Vorabveröffentlichungen testen Sprachmodelle (LLMs) als Prüfer. Für die erste (8. Oktober 2026) legte ein Team von Lexsi Labs fünf offenen Modellen Fälle aus 20 Regelbereichen vor und löschte, tauschte oder verneinte die maßgebliche Regel. Laut Autoren kippte das Urteil im Mittel in rund 7 % der Fälle, ohne Regel in rund 5 %. Für die zweite (15. Oktober 2026) schickte ein Einzelautor 14 kommerziellen Modellzugängen wiederholt dieselbe Anfrage zur Vorbewertung öffentlicher FDA-Dokumente zu Blutzuckermessgeräten. Laut Autor wich jeder Zugang mindestens einmal ab, bei zwölf wechselte das Urteil. Interessenkonflikt: Sein Arbeitgeber GFLOPS finanzierte die Studie und verkauft die eigene Pipeline, die darin reproduzierbar abschneidet; der Autor ist Erfinder einer vorläufigen Patentanmeldung darauf. Die angekündigten Daten waren am 27.10.2026 nicht abrufbar.

Was das bedeutet: Eine hohe Trefferquote beweist nicht, dass ein KI-Prüfer deine Vorgabe anwendet. Für Audit und Änderungskontrolle reicht auch „Temperatur 0“ nicht, die Einstellung für möglichst gleichbleibende Antworten: Die meisten Zugänge lehnten sie laut Autor ab oder ignorierten sie, das einzige Modell, das damit lief, wechselte je nach Zugangsweg bei 0 oder 4 von 70 Prompts das Urteil.

Was du tun kannst:

  1. Gegenprobe: Lass deine Fälle zusätzlich ohne Regel und mit verneinter Regel prüfen. Ändert sich das Urteil kaum, stützt es sich nicht nachweisbar auf deine Vorgabe.
  2. Wiederholungstest: Schick dieselbe Anfrage mehrmals, auch an verschiedenen Tagen, und vergleiche Urteil, Begründung und Belege.
  3. Protokollieren: Schreib Modell, Version, Zugangsweg und Einstellungen in die Validierungsakte.
  4. Mensch entscheidet: Die KI liefert eine Vorbewertung, freigeben muss eine Fachperson.

Einordnung: Die erste Arbeit prüfte keine Medizinprodukte und kürzte die Regel im Prompt auf 300 Zeichen. Laut Autoren verrieten meist schon die Testfälle die Antwort; wo die Regel den Ausschlag gab, folgten die Modelle ihr eng. Auf zwei anderen Testsammlungen kippte das Urteil des größten Modells drei- bis viermal so oft. Die zweite misst je Zugang nur zwei Tage; ihre Pipeline ist außerhalb der Firma noch nicht reproduziert.

Was heißt das für dein Team? Lass uns darüber reden. Erstgespräch anfragen