KI im eigenen Rechenzentrum oder in der EU-Cloud: So behalten Sie die Datenhoheit

„Wir würden gern KI nutzen, aber unsere Daten dürfen das Haus nicht verlassen.“ Dieser Satz fällt im Mittelstand oft, und er ist berechtigt. Personenbezogene Daten unterliegen der DSGVO, die Übermittlungen in Länder außerhalb der EU nur unter den Bedingungen ihres Kapitels V zulässt. Dazu kommen Geschäftsgeheimnisse und Zusagen, die Sie Ihren eigenen Kunden gemacht haben.

Ein Grund, auf KI zu verzichten, ist das nicht. Es ist ein Grund, genau festzulegen, wo sie läuft.

1. 1Eigenes Cloud-Konto in einer EU-Region: Die Sprachmodelle kommen aus Ihrer Cloud, etwa über AWS Bedrock oder Azure, und laufen in Ihrem Konto, in einer Region Ihrer Wahl, mit Ihren Schlüsseln und Ihrer Protokollierung. Welche Modelle in welcher Region verfügbar sind, legt der jeweilige Anbieter fest; das wird vorab geprüft.
2. 2Eigenes Rechenzentrum oder eigene Hardware: Offene Modelle werden selbst betrieben, mit Model Serving etwa über Triton und, wo sich mehrere Anwendungen eine GPU teilen, mit getrennter Rechenleistung und getrenntem Speicher, etwa über NVIDIA MIG. Die Daten verlassen Ihr Netz nicht.
3. 3Mischform: Dokumente, Suchindex und Rechteprüfung bleiben bei Ihnen, nur das Formulieren der Antwort übernimmt ein Modell in Ihrer EU-Cloud. Es sieht dabei ausschließlich die Abschnitte, die die Rechteprüfung für die jeweilige Anfrage freigegeben hat.

1. 1Der Ort: Alles läuft in Ihrer Umgebung, und Sie legen vor dem ersten Datenfluss fest, welche Dienste angebunden werden.
2. 2Die Wahl des Modells: Ein Routing über mehrere Modelle erlaubt es, das Sprachmodell zu wechseln, ohne das System neu zu bauen. So sind Sie nicht an einen Anbieter gebunden.
3. 3Die Rechte: Sie werden aus Ihren bestehenden Systemen übernommen, statt neu erfunden zu werden, und vor dem Modell geprüft.
4. 4Der Nachweis: Jede Abfrage wird nachvollziehbar protokolliert, und das Protokoll liegt bei Ihnen.
5. 5Der Code: Er liegt mit Dokumentation in Ihrem Repository, sodass Sie das System auch selbst betreiben können.

Welche Form passt, hängt von wenigen Fragen ab. Welche Daten werden durchsucht: personenbezogene, vertrauliche oder öffentliche? Was haben Sie Ihren Kunden zugesagt? Welche Infrastruktur ist vorhanden, und wer betreibt sie? Wie schnell muss eine Antwort kommen, und was darf sie kosten?

Die letzten beiden Fragen lassen sich nur mit Messung ehrlich beantworten. Deshalb werden Latenz, Kosten je Antwort und Qualität von Anfang an für jede Anfrage gemessen. Erst dann lässt sich sagen, ob sich ein selbst betriebenes Modell rechnet oder ob ein Modell aus der EU-Cloud die bessere Wahl ist.

Technik kann Datenhoheit möglich machen, eine rechtliche Prüfung ersetzt sie nicht. Beziehen Sie Ihre Datenschutzbeauftragten früh ein. Für KI-Systeme gilt außerdem die KI-Verordnung der EU (Verordnung (EU) 2024/1689). Sie ist im August 2024 in Kraft getreten, ihre Pflichten gelten schrittweise und richten sich nach dem Risiko des Einsatzes.

Dieser Beitrag beschreibt technische Möglichkeiten und ist keine Rechtsberatung.