Sprachmodelle mit offenen Gewichten — Llama von Meta, die Modelle von Mistral, Qwen von Alibaba, DeepSeek, Googles Gemma-Reihe — haben in den letzten zwei Jahren einen Sprung gemacht, den viele Entscheider verpasst haben. Der Rückstand auf die kommerziellen Spitzenmodelle ist bei alltäglichen Aufgaben so klein geworden, dass eine andere Frage in den Vordergrund rückt: Warum eigentlich noch Bürodaten an einen fremden Dienst schicken?
Was „offen“ hier bedeutet
Offene Gewichte heißen: Die Modelldatei liegt bei Ihnen. Sie läuft auf Ihrer Hardware, ohne Internetverbindung, ohne Konto bei einem Anbieter, ohne Nutzungsgebühr pro Anfrage. Niemand protokolliert, was Ihre Mitarbeiter fragen. Niemand ändert über Nacht die Preise oder stellt das Modell ab, mit dem Ihre Abläufe funktionieren.
Das ist keine Ideologie, sondern ein Betriebsmodell mit konkreten Eigenschaften:
- Datenschutz per Architektur. Was das Haus nicht verlässt, braucht keinen Auftragsverarbeitungsvertrag, keine Drittlandprüfung, keine Diskussion mit dem Datenschutzbeauftragten über US-Rechtsräume.
- Planbare Kosten. Einmal Hardware statt laufender API-Gebühren. Bei regelmäßiger Nutzung rechnet sich das schneller, als die meisten erwarten.
- Kein Abschaltrisiko. Ein heruntergeladenes Modell kann Ihnen niemand mehr nehmen. Es funktioniert in fünf Jahren noch genauso wie heute.
Wo offene Modelle heute stark sind
Die dankbarste Anwendung im Mittelstand ist nicht der freie Chat, sondern die Arbeit auf dem eigenen Dokumentenbestand: Ein Modell, kombiniert mit einem lokalen Suchindex (RAG, Retrieval Augmented Generation), beantwortet Fragen aus Verträgen, Handbüchern, Projektakten und E-Mail-Archiven — mit Quellenangabe, ohne dass ein Blatt davon das Haus verlässt.
Aus meiner eigenen Praxis: Für eine genossenschaftliche Organisation habe ich genau so ein System aufgebaut. Einbettungen, Index und Modell laufen auf eigener Hardware; die Wissensbasis bleibt vollständig in der eigenen Infrastruktur. Die Mitarbeiter stellen Fragen in normaler Sprache und bekommen Antworten mit Verweis auf das Ursprungsdokument.
Gut funktionieren außerdem: Zusammenfassungen, Entwürfe, Übersetzungen, Klassifizierung von Eingangspost, strukturierte Datenextraktion aus Dokumenten. Das ist der Großteil dessen, wofür Büros KI tatsächlich einsetzen.
Wo ich ehrlich abrate
Offene Modelle sind nicht in jeder Disziplin gleichauf. Bei sehr langen, verschachtelten Denkaufgaben, bei anspruchsvoller Software-Architektur oder bei Recherchen, die aktuelles Weltwissen brauchen, liegen die kommerziellen Spitzenmodelle weiter vorn. Wer solche Aufgaben hat, fährt gut mit einem gestuften Ansatz: das Sensible lokal, das Unkritische beim leistungsstärksten verfügbaren Dienst.
Und: Der Betrieb will gekonnt sein. Modellauswahl, Quantisierung, Updates, Zugriffsrechte, Backups — nichts davon ist Hexenwerk, aber es ist Arbeit, die jemand verantworten muss. „Kostenlos“ bezieht sich auf die Lizenz, nicht auf den Betrieb.
Der realistische Einstieg
Nicht mit einem Großprojekt beginnen, sondern mit einem Nachmittag: ein offenes Modell auf einem vorhandenen Rechner installieren, mit echten (unkritischen) Arbeitsaufgaben füttern und die Qualität selbst beurteilen. Danach lässt sich seriös entscheiden, welcher Schritt der nächste ist — ein dedizierter Rechner im Büro, ein RAG-System auf dem Dokumentenbestand oder erst einmal gar nichts. Auch das ist ein legitimes Ergebnis.
