Warum KI sich selbst überprüfen sollte – ein Modell für überprüfbare KI

Generative Künstliche Intelligenz kann heute in Sekunden politische Entwicklungen analysieren, wissenschaftliche Erkenntnisse zusammenfassen oder komplizierte Rechtsfragen erklären. Das grundlegende Problem ist bekannt: Eine sprachlich überzeugende Antwort ist noch lange keine richtige Antwort.

KI-Systeme können falsche Zahlen nennen, veraltete Informationen verwenden, Zusammenhänge herstellen, die eine Quelle nicht belegt, oder sogar nicht existierende Quellen anführen.

Technisch zeichnet sich jedoch eine Möglichkeit ab, dieses Problem anders anzugehen als bisher: KI könnte verpflichtet werden, überprüfbare Tatsachenbehauptungen vor der Ausgabe systematisch zu kontrollieren.

Der entscheidende Schritt wäre dabei, diese Kontrolle nicht allein dem System zu überlassen, das die Antwort erzeugt hat. Unabhängige KI-Systeme könnten sich gegenseitig überprüfen.

Nicht der Staat entscheidet, was wahr ist

Eine gesetzliche Verpflichtung zur Faktenprüfung birgt ein offensichtliches Problem: Wer entscheidet darüber, was wahr und was falsch ist?

Gerade bei politischen Themen wäre eine staatliche Wahrheitsinstanz mit erheblichen Risiken verbunden.

Eine Regulierung müsste deshalb nicht festlegen, welche Aussage wahr ist. Sie könnte stattdessen Anforderungen an das Prüfverfahren stellen.

Ein möglicher Grundsatz wäre:

Anbieter generativer KI-Systeme müssen bei wesentlichen extern überprüfbaren Tatsachenbehauptungen angemessene technische Verfahren zur Verifikation einsetzen. Dabei sind Aktualität, Qualität der Quellen und widersprechende Evidenz zu berücksichtigen. Nicht hinreichend verifizierbare Behauptungen dürfen nicht ohne entsprechende Kennzeichnung als feststehende Tatsachen dargestellt werden.

Die Aufsicht würde damit nicht politische Wahrheiten festlegen. Sie würde kontrollieren, ob ein Anbieter seine KI nach nachvollziehbaren Regeln überprüfen lässt.

KI überprüft ihre eigenen Aussagen

Ein solches Verfahren könnte bereits vor der Ausgabe einer Antwort beginnen.

Die KI erkennt überprüfbare Tatsachenbehauptungen, sucht geeignete Quellen und kontrolliert anschließend, ob diese Quellen die jeweilige Aussage tatsächlich tragen.

Der Ablauf wäre vereinfacht:

Antwort → Tatsachen erkennen → Quellen prüfen → Gegenbelege suchen → Antwort korrigieren → Ausgabe

Besonders bei aktuellen Informationen wäre das wichtig.

Eine KI sollte beispielsweise eine aktuelle Behördenentscheidung nicht allein aufgrund ihres Trainingswissens beschreiben, wenn das Originaldokument verfügbar ist.

Quellen müssen Aussagen tatsächlich belegen

Eine Quellenangabe allein garantiert noch keine korrekte Antwort.

Eine KI kann eine reale und seriöse Quelle nennen, obwohl diese Quelle die konkrete Behauptung überhaupt nicht bestätigt.

Deshalb müsste das System nicht nur fragen:

„Habe ich eine Quelle?“

Sondern:

„Belegt diese Quelle genau meine Behauptung?“

Wo möglich, sollten Primärquellen bevorzugt werden: Gesetzestexte, Gerichtsurteile, Behördenentscheidungen, Originalstatistiken oder Originalaussagen.

Damit würde Faktenprüfung zu einem technischen Bestandteil der Antworterzeugung.

Das KI-Checks-and-Balances-Prinzip

Selbstkontrolle hat jedoch eine Grenze: Ein KI-System kann bei der Überprüfung dieselben Fehler reproduzieren, die bereits bei der ursprünglichen Antwort entstanden sind.

Hier setzt das INTI-Prinzip eines KI-Checks-and-Balances-Systems an.

Die Grundidee ist einfach: Bei besonders relevanten Aussagen wird die Arbeit einer KI durch weitere, möglichst unabhängige KI-Systeme gegengeprüft.

Ein System erstellt und begründet eine Aussage. Ein anderes sucht gezielt nach Fehlern, Gegenbelegen und fehlendem Kontext. Bei widersprüchlichen Ergebnissen kann eine weitere unabhängige Prüfung hinzukommen.

Entscheidend ist dabei:

Die Systeme stimmen nicht darüber ab, was wahr ist.

Zwei KI-Systeme können denselben Fehler machen. Deshalb darf nicht automatisch die Mehrheit entscheiden.

Evidenz muss stärker wiegen als die Zahl der zustimmenden Modelle.

Ein eindeutiges Gerichtsurteil oder ein amtliches Originaldokument kann beispielsweise stärker sein als mehrere KI-Antworten, die sich auf dieselbe fehlerhafte Sekundärquelle stützen.

Das Ziel ist damit keine allwissende Kontroll-KI. Es entsteht vielmehr ein System gegenseitiger Kontrolle, in dem Widerspruch ausdrücklich erwünscht ist.

Nicht jede Antwort benötigt mehrere KI-Systeme

Eine solche Kontrolle verursacht zusätzliche Rechenleistung, Zeit und Kosten.

Deshalb müsste sie risikobasiert eingesetzt werden.

Allgemeines stabiles Wissen benötigt keine aufwendige Mehrfachprüfung. Aktuelle politische, rechtliche oder wirtschaftliche Tatsachen können eine externe Quellenprüfung erfordern. Bei Informationen mit erheblichen möglichen Folgen könnten zusätzlich unabhängige KI-Systeme eingesetzt werden.

Die Intensität der Kontrolle würde damit mit der Bedeutung und dem möglichen Schaden einer falschen Information steigen.

Widerspruch darf sichtbar bleiben

Ein gutes Kontrollsystem muss nicht zwangsläufig zu einer eindeutigen Antwort gelangen.

Wenn seriöse Quellen unterschiedliche Aussagen enthalten, darf die KI diesen Konflikt nicht verstecken.

Sie könnte beispielsweise feststellen:

„Die Behörde erklärt X. Das Unternehmen bestreitet diese Darstellung. Eine unabhängige Bestätigung liegt bislang nicht vor.“

Das wäre kein Versagen der KI.

Im Gegenteil: Zu erkennen, dass eine Frage derzeit nicht eindeutig beantwortet werden kann, wäre ein Qualitätsmerkmal.

Fakten, Analyse und Meinung unterscheiden

Gleichzeitig müsste eine KI zwischen unterschiedlichen Arten von Aussagen unterscheiden.

„Die Behörde leitete ein Verfahren ein“ ist eine überprüfbare Tatsachenbehauptung.

„Das Verfahren könnte den politischen Druck erhöhen“ ist eine Analyse.

„Das Vorgehen ist falsch“ ist eine Bewertung.

Eine KI darf analysieren und bewerten. Sie sollte diese Ebenen jedoch nicht so vermischen, dass eine Interpretation wie eine bewiesene Tatsache erscheint.

Gerade eine unabhängige Gegenprüfung könnte solche Übergänge erkennen.

Die Kontrolle muss messbar sein

KI-Unternehmen sollten nicht lediglich versichern können, ihre Systeme würden Fakten überprüfen.

Die Qualität dieser Kontrolle müsste messbar sein.

Unabhängige Tests könnten beispielsweise untersuchen, wie häufig Tatsachenbehauptungen korrekt sind, Quellen die jeweilige Aussage tatsächlich belegen, aktuelle Informationen verwendet werden, widersprechende Quellen erkannt werden oder nicht existierende Belege genannt werden.

Zusätzlich ließe sich testen, ob ein unabhängiges KI-System Fehler findet, die das ursprüngliche Modell übersehen hat.

Damit würde aus „Unsere KI überprüft ihre Antworten“ eine überprüfbare technische Behauptung.

Auch die Kontrolleure müssen kontrolliert werden

Mehrere KI-Systeme können gemeinsam irren.

Deshalb wäre zusätzlich eine unabhängige externe Kontrolle notwendig.

Auditoren könnten mit unbekannten Testfragen überprüfen, ob die vorgesehenen Kontrollmechanismen tatsächlich funktionieren.

Damit entstünde eine mehrstufige Struktur:

KI kontrolliert Fakten.

KI-Systeme kontrollieren sich gegenseitig.

Unabhängige Prüfer kontrollieren das Verfahren.

Keine dieser Ebenen garantiert absolute Wahrheit. Zusammen könnten sie jedoch die Wahrscheinlichkeit unbemerkter Fehler reduzieren.

Keine Verpflichtung zur Unfehlbarkeit

Eine solche Regulierung dürfte keine hundertprozentige Fehlerfreiheit verlangen.

Auch Primärquellen können Fehler enthalten. Wissenschaftliche Erkenntnisse verändern sich. Behörden können falsche Informationen veröffentlichen. Mehrere KI-Systeme können dieselbe Information falsch interpretieren.

Die Verpflichtung müsste deshalb eine Sorgfaltspflicht und keine Wahrheitsgarantie sein.

Die entscheidende Frage wäre:

Hat das System angemessene und vorgeschriebene Möglichkeiten genutzt, eine relevante Tatsachenbehauptung zu überprüfen?

Ein einzelner Fehler wäre damit nicht automatisch ein Regelverstoß.

Ein Anbieter, dessen KI regelmäßig ungeprüfte Behauptungen als Tatsachen präsentiert, obwohl eine Überprüfung technisch möglich gewesen wäre, könnte dagegen seine Sorgfaltspflichten verletzen.

Vom Warnhinweis zur Verantwortung

Heute wird das Problem häufig mit einem Hinweis gelöst: KI kann Fehler machen. Wichtige Informationen sollten überprüft werden.

Damit liegt ein erheblicher Teil der Verantwortung beim Nutzer.

Doch wenn eine KI technisch in der Lage ist, ihre eigene Aussage innerhalb weniger Sekunden gegen Quellen prüfen zu lassen, stellt sich eine grundsätzliche Frage:

Warum sollte diese Prüfung ausschließlich Aufgabe des Menschen sein, der die Antwort erhält?

Eine zukünftige Regulierung könnte deshalb nicht verlangen, dass KI „die Wahrheit kennt“.

Sie könnte etwas wesentlich Realistischeres verlangen:

Überprüfe, was überprüfbar ist. Suche aktiv nach Gegenbelegen. Lass besonders relevante Ergebnisse unabhängig gegenprüfen. Zeige Unsicherheit, wenn die Faktenlage unsicher ist.

Das KI-Checks-and-Balances-Prinzip würde dabei einen grundlegenden Gedanken auf KI übertragen, der sich auch in anderen Bereichen bewährt hat:

Zuverlässigkeit entsteht nicht allein durch Vertrauen in einen einzelnen Akteur, sondern auch durch unabhängige gegenseitige Kontrolle.

Die entscheidende Frage zukünftiger KI-Regulierung wäre damit nicht:

Welche KI kennt die Wahrheit?

Sondern:

Welche überprüfbaren Verfahren sorgen dafür, dass Fehler möglichst erkannt werden, bevor aus ihnen vermeintliche Fakten werden?