Weg 1: vollständig on-premise
Die Modelle laufen auf Ihrer eigenen Hardware. Sprache, Bild, Sprache-zu-Text, Embeddings — nichts davon verlässt Ihr Netz, und es gibt keine Verbindung zu einem Anbieter, die man abschalten könnte.
Das ist kein theoretischer Aufbau: Ich betreibe eine solche Umgebung selbst im Dauerbetrieb, mit lokaler Inferenz über vLLM und llama.cpp, Multi-Modell-Routing und einer kompletten Medienerzeugung ohne eine einzige externe API.
Der Nebeneffekt ist wirtschaftlich: Nach der Anschaffung kostet die zusätzliche Anfrage praktisch nichts. Bei hohem Volumen kippt die Rechnung irgendwann zwingend zugunsten eigener Hardware.
Weg 2: EU-Datenzone
Wo eigene Hardware nicht sinnvoll ist, bleibt die Verarbeitung trotzdem in Europa. Über Azure-AI-Foundry-Deployments in der EU-Datenzone werden Prompts und Antworten innerhalb der EU-Datengrenze von Microsoft verarbeitet.
Unternehmensinhalte werden dabei nicht zum Training der Modelle verwendet. Für den Datenschutzbeauftragten gibt es damit eine dokumentierte Antwort statt einer Vermutung.
Welcher Weg passt
Das entscheidet sich an drei Fragen: Wie sensibel sind die Daten? Wie hoch ist das erwartete Volumen? Und gibt es intern jemanden, der Hardware betreiben will?
Häufig ist die Antwort eine Mischung — sensible Dokumentenverarbeitung on-premise, allgemeine Assistenz in der EU-Datenzone. Diese Aufteilung erarbeiten wir vor der ersten Investition.
Was Sie bekommen
- Entscheidungsgrundlage on-premise vs. EU-Datenzone, inklusive Kostenrechnung
- Aufbau und Inbetriebnahme der lokalen Inferenz
- Multi-Modell-Routing, damit Sie nicht an ein Modell gebunden sind
- Dokumentation für Datenschutz und Revision
- Übergabe an Ihr Team oder laufende Betreuung
Häufige Fragen
Welche Hardware brauchen wir für On-Premise-KI?
Deutlich weniger als meist angenommen. Für die häufigen Fälle — Dokumentenverarbeitung, interne Assistenz, Klassifikation — genügt ein einzelner Server mit aktueller GPU. Die Auslegung ergibt sich aus Modellgröße und gleichzeitigen Nutzern und gehört in die Entscheidungsgrundlage.
Sind lokale Modelle nicht deutlich schlechter?
Für allgemeine Aufgaben liegen die großen kommerziellen Modelle weiter vorn. Für abgegrenzte Unternehmensaufgaben mit klarer Struktur ist der Unterschied in der Praxis oft kleiner als erwartet — und wird durch Datenhoheit und Kostenstruktur aufgewogen.
Ist das DSGVO-konform?
On-premise ist der einfachste Fall, weil keine personenbezogenen Daten das Unternehmen verlassen. Bei der EU-Datenzone erfolgt die Verarbeitung innerhalb der EU-Datengrenze; die Bewertung im Einzelfall bleibt Sache Ihres Datenschutzbeauftragten, bekommt von mir aber die technische Grundlage.
Weitere Leistungen