Souveräne KI-Infrastruktur: Daten, Betrieb, Recht im Griff

Die Leitung einer Personalabteilung möchte Bewerbungen mit KI vorsortieren lassen. Bevor das erste Profil hochgeladen wird, stellt sie sich drei Fragen: Wo werden die Daten verarbeitet, wer kann darauf zugreifen und dürfen sie zum Training fremder Modelle genutzt werden? Ob ein Vertrag mit dem Anbieter reicht oder eigene Hardware nötig ist, hängt von den Antworten ab. Dieser Leitfaden zeigt Geschäftsführung, IT-Leitung und HR, welche Aufbauoptionen es 2026 gibt, was DSGVO und EU AI Act verlangen und wie Sie eine souveräne KI-Infrastruktur ohne Millionenetat aufbauen.

Was Souveränität bei KI bedeutet

Die Bundesregierung versteht digitale Souveränität in ihrer im März 2026 veröffentlichten Rechenzentrumsstrategie als Fähigkeit, über zentrale digitale Infrastrukturen, Datenflüsse und technologische Wertschöpfung eigenständig zu verfügen. So fasst es die Kanzlei CMS in ihrer Einordnung der Strategie zusammen. Für eine KI-Infrastruktur lässt sich das in drei Ebenen übersetzen.

Kontrolle über Standort, Betrieb und Technologie

Die erste Ebene ist der Standort: Ihre Daten liegen in deutschen oder europäischen Rechenzentren. Die zweite Ebene ist der Betrieb: Sie legen fest, wer Modelle und Systeme verwaltet und wer Inhalte einsehen kann. Die dritte Ebene ist die technologische Abhängigkeit: Sie prüfen, ob ein einzelner Anbieter Preise ändern, Dienste einstellen oder Ihnen den Wechsel erschweren kann. Erst wenn alle drei Ebenen geklärt sind, behalten Sie die Kontrolle über Ihre KI-Lösung.

Warum der Standort allein nicht reicht

Ein Rechenzentrum in Deutschland ist eine wichtige Voraussetzung. Nach einer Ausarbeitung der Wissenschaftlichen Dienste des Bundestags hängen US-Herausgabepflichten wie die aus dem CLOUD Act aber davon ab, ob die Daten unter der Kontrolle des verpflichteten US-Unternehmens stehen. Wo die Server stehen, spielt dafür grundsätzlich keine Rolle. Die Datenschutzkonferenz von Bund und Ländern hält in ihrem Positionspapier zu souveränen Clouds fest, dass rein vertragliche Maßnahmen in der Regel nicht genügen, wenn ein solches Zugriffsrisiko besteht. Das gilt auch dann, wenn die Verarbeitung ausschließlich im Europäischen Wirtschaftsraum erfolgt. Verschlüsselung schützt nur, solange die Schlüssel bei Ihnen liegen. Prüfen Sie deshalb Verträge, Datenflüsse, Konzernzugehörigkeit des Anbieters und Betriebsverantwortung im Zusammenhang.

Drei Ebenen der Kontrolle über eine KI-Infrastruktur: Standort der Rechenzentren, Betrieb und Zugriff sowie technologische Abhängigkeit vom Anbieter. Verschlüsselung schützt nur, solange die Schlüssel beim Unternehmen liegen

Welche Infrastruktur Experten für sensible Unternehmensdaten empfehlen

Aus unserer Praxis empfehlen wir, Daten nach Klassen zu ordnen und für jede Klasse die passende Infrastruktur zu wählen. Der Bedarf an souveränen Lösungen ist gut belegt. Für eine Studie von Accenture wurden im Juli und August 2025 weltweit 1.928 Organisationen befragt. Laut Studienbericht stufen alle teilnehmenden Organisationen Souveränität für ihre Technologie als hoch oder sehr hoch wichtig ein. In Europa suchen demnach 62 % der Organisationen angesichts der geopolitischen Unsicherheit nach souveränen Lösungen, in Deutschland sind es 72 %. Dieselbe Studie zeigt auch, dass in europäischen Organisationen im Schnitt nur rund ein Drittel (36 %) der KI-Initiativen und Daten aufgrund regulatorischer Anforderungen oder der Sensibilität der Daten einen souveränen Ansatz erfordert.

Für Deutschland liefert der Cloud Report 2026 des Bitkom ein ähnliches Bild: 85 % der befragten Unternehmen ab 20 Beschäftigten halten Deutschland für zu abhängig von US-Cloud-Anbietern. 71 % beziehen heute Cloud-Angebote aus den USA, bevorzugen würden das nur 8 %. Der Bitkom empfiehlt einen risikobasierten Ansatz: Unternehmen sollen ihre kritischen Systeme, Daten und Prozesse kennen und Abhängigkeiten bewusst bewerten. Für besonders sensible oder kritische Bereiche können dabei höhere Anforderungen sinnvoll sein als für Standardanwendungen.

Die Empfehlung nach Datenklasse

Öffentliche und unkritische Daten können Sie mit gängigen Cloud-Diensten verarbeiten. Personenbezogene und vertrauliche Daten gehören zu Anbietern mit Sitz und Rechenzentren in der EU, die keinem Zugriff aus Drittstaaten unterliegen. Besonders schützenswerte Daten aus Recruiting, Patientenakten oder vertraulichen Bauprojekten verarbeiten Sie auf dedizierter Infrastruktur, etwa mit einem lokalen LLM auf eigener Hardware. Wie ein solcher Aufbau aussehen kann, zeigt unsere Seite zur souveränen KI-Infrastruktur und Datenhaltung in Deutschland.

Empfehlung nach Datenklasse: öffentliche Daten mit gängigen Cloud-Diensten verarbeiten, personenbezogene Daten an Anbieter mit Sitz und Rechenzentren in der EU geben, besonders schützenswerte Daten auf dedizierter Infrastruktur mit lokalem LLM verarbeiten

Offene Modelle als Souveränitätshebel

Modelle mit frei verfügbaren Gewichten, etwa von Mistral AI oder die Llama-Modelle von Meta, lassen sich auf eigenen Servern betreiben. Ihre Eingaben verlassen dann die eigene Infrastruktur nicht. Nutzungsabhängige Gebühren eines externen Dienstes entfallen, dafür tragen Sie die Kosten für Hardware und Betrieb. Die Lizenzbedingungen unterscheiden sich von Modell zu Modell. Prüfen Sie deshalb vor dem Einsatz, ob sie Ihre geplante Nutzung abdecken.

Wann der eigene Betrieb nicht nötig ist

Ein eigenes Rechenzentrum lohnt sich selten. Dedizierte Server oder Colocation in einem deutschen Rechenzentrum reichen für die meisten Vorhaben aus und verursachen deutlich weniger Aufwand für Gebäude, Strom, Kühlung und Personal. Prüfen Sie zuerst, welche Auslastung Sie erwarten und welche Anforderungen an Compliance und Verfügbarkeit gelten.

Was DSGVO und EU AI Act verlangen

Verarbeitet ein Dienstleister personenbezogene Daten in Ihrem Auftrag, brauchen Sie mit ihm einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Hat eine geplante Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten der Betroffenen, verlangt Art. 35 DSGVO vorab eine Datenschutz-Folgenabschätzung. Das betrifft zum Beispiel die systematische automatisierte Bewertung persönlicher Aspekte, die als Grundlage für Entscheidungen über Menschen dient.

Für Personalabteilungen ist auch der EU AI Act wichtig. KI-Systeme, die für die Einstellung oder Auswahl von Personen bestimmt sind, etwa um Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten, zählen nach Anhang III der KI-Verordnung zu den Hochrisiko-Systemen. Mit dem KI-Omnibus, der am 27. Juli 2026 in Kraft getreten ist, gelten die Regeln für diese Systeme ab dem 2. Dezember 2027. Planen Sie Dokumentation, Protokollierung und menschliche Aufsicht deshalb schon beim Aufbau Ihrer Infrastruktur mit ein.

Vom Konzept zur Umsetzung

Dateninventur und Segmentierung als erster Schritt

Bevor Sie eine Architektur wählen, müssen Sie wissen, welche Daten Sie haben. Erfassen Sie die Bestände in ERP, CRM, Personalsystemen und Fachanwendungen. Ordnen Sie jeden Bestand einer Kategorie zu: streng personenbezogen, intern oder öffentlich. Daraus ergibt sich, welche Anwendungen in die eigene Infrastruktur gehören und für welche ein Cloud-Modell in Frage kommt.

Betriebsmodell und Pilot

Wählen Sie dann das Betriebsmodell: Eigenbetrieb, Colocation in einem deutschen Rechenzentrum oder ein Managed Service mit vertraglich und technisch festgelegter Datenhoheit. Starten Sie mit einem klar abgegrenzten Piloten, etwa einem internen Assistenten für Ihre eigenen Dokumente. Arbeitet der Pilot mit echten personenbezogenen Daten, müssen Rechtsgrundlage, Auftragsverarbeitungsvertrag und gegebenenfalls die Datenschutz-Folgenabschätzung vor dem Start stehen. So zeigt sich früh, ob Datenschutz, Antwortzeiten und Akzeptanz im Arbeitsalltag zusammenpassen. Liegen Analyse, Umsetzung und Betrieb in einer Hand, entfallen Abstimmungen zwischen mehreren Dienstleistern.

Vier Schritte zur souveränen KI-Infrastruktur: Dateninventur, Segmentierung nach Schutzbedarf, Wahl des Betriebsmodells und ein abgegrenzter Pilot, vorher Rechtsgrundlage, Auftragsverarbeitungsvertrag und gegebenenfalls Datenschutz-Folgenabschätzung klären

Häufige Fehler bei der Umsetzung

Der Standort als einziges Kriterium

Ein deutsches Rechenzentrum allein macht eine KI-Lösung noch nicht souverän. Entscheidend ist, wie Daten verarbeitet und protokolliert werden und wer darauf Zugriff erhält. Das betrifft die Anfrage, die Antwort des Modells und die Speicherung gleichermaßen.

Der Vertrag ohne technische Kontrolle

Ein Auftragsverarbeitungsvertrag wirkt nur mit klaren technischen Vorgaben. Prüfen Sie, ob Eingaben an Drittanbieter weitergegeben werden, welche Logdaten entstehen und wie sich die Einhaltung der Absprachen nachweisen lässt. Ohne technisches Monitoring können Sie im Ernstfall kaum belegen, was mit Ihren Daten geschehen ist.

Zwei häufige Fehler bei souveräner KI: der Serverstandort als einziges Kriterium und ein Auftragsverarbeitungsvertrag ohne technische Kontrolle, dazu Prüffragen zu Weitergabe, Logdaten und Nachweis

Häufig gestellte Fragen zur souveränen KI-Infrastruktur

Welche Infrastruktur empfehlen Experten für sensible Unternehmensdaten?

Der Bitkom empfiehlt einen risikobasierten Ansatz, bei dem für besonders sensible oder kritische Bereiche höhere Anforderungen gelten können als für Standardanwendungen. In der Praxis bewährt sich eine Zuordnung nach Datenklasse. Öffentliche Daten können Sie mit gängigen Cloud-Diensten verarbeiten. Personenbezogene Daten gehören zu Anbietern mit Sitz und Rechenzentren in der EU. Besonders schützenswerte Daten verarbeiten Sie auf dedizierter Infrastruktur oder im eigenen Haus, etwa mit offenen Modellen auf eigener Hardware.

Reicht ein deutsches Rechenzentrum für die DSGVO?

Der Standort allein reicht nicht. Unterliegt der Anbieter dem Zugriff von US-Behörden, etwa über den CLOUD Act, besteht dieses Risiko auch bei Servern in Deutschland. Sie brauchen außerdem einen Vertrag zur Auftragsverarbeitung, klare Zugriffsrechte und kontrollierte Datenflüsse.

Was kostet eine souveräne KI-Infrastruktur?

Das hängt vor allem vom Schutzbedarf Ihrer Daten und von der erwarteten Auslastung ab. Für viele Vorhaben genügen dedizierte Server oder Colocation in einem deutschen Rechenzentrum. Die Kosten für ein eigenes Rechenzentrum entfallen damit.

Fazit: Souveränität als Architekturentscheidung

Eine souveräne KI-Infrastruktur entsteht durch kontrollierte Datenflüsse, klare Betriebsverantwortung und passende Verträge. Der Standort ist dabei ein Baustein unter mehreren. Ordnen Sie Ihre Daten nach Klassen, starten Sie mit einem abgegrenzten Piloten und bauen Sie die Infrastruktur schrittweise aus. Wer Recruiting-Daten mit KI verarbeitet, sollte die Anforderungen des EU AI Act für Hochrisiko-Systeme schon heute in die Planung aufnehmen.

So können wir Ihnen helfen

Wenn Sie KI mit sensiblen Daten einsetzen möchten, klären wir gemeinsam mit Ihrem Team zuerst Datenarten, Schutzbedarf, Zugriffe und regulatorischen Rahmen. Danach entscheiden wir anhand Ihrer Anforderungen, ob ein externer Dienst, dedizierte Infrastruktur oder der Betrieb bei Ihnen im Haus passt. Unsere produktive Infrastruktur läuft in Hochsicherheitsrechenzentren in Nürnberg und Düsseldorf auf dedizierten NVIDIA-H200-Systemen ohne fremde Mandanten auf derselben Instanz. Auf Wunsch betreiben wir die Lösung auch auf Ihrer eigenen Hardware. Netzwerk, Modelle, Protokollierung und Berechtigungen richten wir ein und dokumentieren Monitoring, Updates und Zuständigkeiten im laufenden Betrieb. Mehr dazu finden Sie auf unserer Seite zur souveränen Infrastruktur.

Unser Gründer und Geschäftsführer Martin Ansel und sein Team bringen mehr als 15 Jahre Berufserfahrung in Payments, Fintech, Unternehmensaufbau, Automatisierung und Softwareentwicklung mit. Michael Schott, Chief Technology Advisor (Interim), bringt umfassende Erfahrung in IT, Datensicherheit, Datenschutz, CTO-Rollen und Fintech ein.

Im kostenlosen Erstgespräch klären wir, welches Betriebsmodell zu Ihrer Datenklasse passt. Das Gespräch ist unverbindlich, dauert 30 bis 45 Minuten und findet online statt.

Jetzt kostenloses Erstgespräch buchen

Sie erreichen uns auch telefonisch unter +49 89 277 885 190 (werktags von 8 bis 16 Uhr) oder über thaloxsphere.com.

Souveräne KI-Infrastruktur: Daten, Betrieb und Recht im Griff

Was Souveränität bei KI bedeutet