Warum Rechte vor das Modell gehören und nicht in den Prompt

Ein KI-Assistent darf nie mehr wissen als der Mensch, der ihn fragt. Das klingt selbstverständlich. Trotzdem sieht die erste Wissenssuche in vielen Unternehmen so aus: Alle Dokumente landen in einem gemeinsamen Index, und im Prompt steht ein Satz wie „Zeige keine vertraulichen Inhalte“.

Das Modell bekommt dann das Vorstandsprotokoll, die Gehaltsliste und die Preisliste gleichermaßen zu sehen. Es soll nur über einen Teil davon schweigen.

1. 1Ein Sprachmodell lässt sich überreden. Geschickt formulierte Fragen oder Anweisungen, die in einem Dokument versteckt sind, können es dazu bringen, Gelesenes wiederzugeben. Diese Angriffe heißen Prompt Injection; das OWASP GenAI Security Project führt sie in seiner Liste der größten Risiken für Anwendungen mit Sprachmodellen an erster Stelle, die Preisgabe vertraulicher Informationen an zweiter.
2. 2Zusammenfassungen erben die Vertraulichkeit ihrer Quellen. Wer die Zusammenfassung des Vorstandsprotokolls sieht, hat in der Sache das Protokoll gesehen, auch wenn das Dokument selbst nie angezeigt wurde.
3. 3Im Ernstfall müssen Sie belegen können, wer was gesehen hat. Eine Anweisung im Prompt hinterlässt keinen Nachweis darüber, welche Dokumente das Modell gelesen hat.

Verlässlich ist eine Entscheidung, die fällt, bevor das Modell etwas sieht. Eine feste Entscheidungsfunktion prüft für jede Anfrage Identität, Rolle, Abteilung und Mandant und legt fest, welche Quellen überhaupt durchsucht werden. Die übrigen werden nicht durchsucht, nicht nur nicht angezeigt.

Jeder Treffer wird vor der Übergabe an das Modell noch einmal gegen die Regel geprüft: Vorfilter in der Suche, Nachprüfung jedes Treffers. Im Zweifel sperrt die Regel. Umsetzen lässt sich das mit bewährten Mitteln, etwa mit Row-Level Security in PostgreSQL, einer Policy-Engine wie Open Policy Agent und einer Schnittstelle nach dem AuthZEN-Entwurf der OpenID Foundation.

Dabei zählt auch die Frage, wessen Rechte gelten. Ein Agent, der im Auftrag eines Menschen sucht, darf nur mit Wissen arbeiten, das Mensch und Agent beide sehen dürfen.

Ein Assistent erzeugt laufend neues Material: Zusammenfassungen, Einträge in seinem Gedächtnis, Übergaben an andere Agenten. Klassische Rechtevergabe regelt, wer ein Dokument öffnen darf. Sie regelt nicht, wer sieht, was daraus entsteht.

Die Regel dafür ist einfach: Abgeleitetes erbt die Einstufung seiner Quellen und wird nie selbst zur Quelle von Rechten. Eine Zusammenfassung ist so vertraulich wie das vertraulichste Dokument, aus dem sie entstanden ist.

Jede Entscheidung der Regel wird protokolliert: wer gefragt hat, welche Quellen zugelassen und welche gesperrt wurden. Geführt als Kette mit Merkle-Beweisen nach RFC 9162, lässt sich später prüfen, dass kein Eintrag nachträglich verändert oder entfernt wurde.

So können Sie im Ernstfall belegen, welche Anfrage welche Dokumente erreicht hat, statt auf das Verhalten eines Modells vertrauen zu müssen.

Erst die Rechte, dann der Code. Am Anfang steht ein schriftliches Rechtekonzept: wer welche Quellen sehen darf und welche Rechte aus Ihren bestehenden Systemen übernommen werden. Erst danach wird die Suche gebaut.

Den Ansatz habe ich als Standardentwurf ausgearbeitet: AKAC, Agent Knowledge Access Control. Er beschreibt, was KI-Agenten in Unternehmen wissen, ableiten, speichern und weitergeben dürfen.