Open-Source-LLMs: Chancen für kleine und mittlere Unternehmen
Welche Rolle spielt Künstliche Intelligenz für kleine und mittlere Unternehmen (KMU) in Deutschland? Laut einer Erhebung des Statistischen Bundesamts hatten Ende 2023 etwa 12% aller Unternehmen (ab 10 Beschäftigten aufwärts) KI-Technologien im Einsatz.
Große Unternehmen ab 250 Beschäftigten nutzen weitaus häufiger KI-Technologien als KMU. Warum tun sich kleine und mittlere Unternehmen mit der Nutzung von KI so schwer?
Als häufigster Grund wird fehlendes Wissen genannt, gefolgt von mangelnder Inkompatibilität mit vorhandener technischer Infrastruktur. Was in der Destatis-Studie nicht explizit, sondern eher zwischen den Zeilen mitschwingt, ist vor allem auch Unsicherheit. Das Thema KI wird anscheinend als so „groß“ und komplex wahrgenommen, dass es von Vielen noch nicht einmal in Betracht gezogen wird. Aus meiner Sicht steckt dahinter aber gar nicht so sehr mangelndes Wissen, sondern vor allem Unsicherheit. Wie soll man bei diesem Thememgebiet überhaupt anfangen? In diesem Artikel möchte ich konkrete Schritte aufzeigen, wie KMU mit der Nutzung von Sprachmodellen beginnen können, ohne dabei allzu viel Kosten oder Risiken ins Spiel zu bringen.
Der Einsatz von Large Language Models
Große Sprachmodelle (LLMs) wie GPT und andere KI-Systeme ermöglichen es Unternehmen, anspruchsvolle Aufgaben wie Textgenerierung, Kundenservice und Datenanalyse auf eine Weise zu automatisieren, die vor wenigen Jahren noch undenkbar war. Während kommerzielle Anbieter wie OpenAI, Google oder Anthropic AI standardisierte Lösungen anbieten, gewinnen Open-Source-Sprachmodelle zunehmend an Bedeutung. Besonders für kleine und mittelständische Unternehmen (KMUs) bieten sie interessante Alternativen – mit spezifischen Vorteilen, aber auch nicht zu unterschätzenden Herausforderungen. Im Folgenden werde ich sowohl auf die Potenziale als auch auf die Hürden eingehen, die KMUs bei der Integration von Open-Source-LLMs zu überwinden haben.
Vorteile von Open-Source-LLMs
Kostenersparnis und Anpassungsfähigkeit
Einer der größten Vorteile von Open-Source-LLMs ist die Kostenfreiheit der Grundversionen. Viele dieser Modelle, wie GPT-Neo, LLaMA oder Mistral, stehen kostenlos zur Verfügung und können nach Belieben angepasst werden. Im Gegensatz zu kommerziellen Modellen, die oft hohe Nutzungsgebühren erheben, können Unternehmen Open-Source-Modelle selbst hosten und vollständig an ihre Bedürfnisse anpassen, ohne wiederkehrende Lizenzkosten.
Für KMUs, die über spezifische Anwendungsfälle verfügen, bietet dies die Freiheit zur Individualisierung. Man kann eigene Trainingsdaten verwenden, um das Modell auf spezielle Aufgaben zu trainieren und maßgeschneiderte Lösungen zu entwickeln. Dies ist besonders nützlich, wenn branchenspezifisches Wissen oder komplexe Aufgabenstellungen gefragt sind, die ein kommerzielles Modell möglicherweise nicht ausreichend abdeckt. Auch die Integration in interne Workflows spielt hier eine wichtige Rolle.
Bessere Workflows und Wissensaufbau in KMUs
Dazu ein aktuelles Beispiel aus meiner Beratungspraxis: Ein Unternehmen aus der Immobilienbranche hat eine Vielzahl an Dokumenten verteilt auf E-Mail-Konten, als Ausdrucke in Ordnern oder auf diversen Ablagesystemen auf verschiedenen digitalen Ordnern. Das Unternehmen will nun ein Open-Source-LLM wie GPT-Neo oder LLaMA lokal auf einem Server oder in einer Cloud-Infrastruktur installieren. Diese Modelle sind leistungsfähig und flexibel genug, um interne Daten zu verarbeiten, und bieten dabei Datenschutz durch lokale Speicherung und Verarbeitung.
Als ersten Schritt plant das Unternehmen die Einrichtung eines Dokumentenmanagementsystems, in dem alle relevanten Dokumente abgelegt und verwaltet werden. Mitarbeiter:innen können mithilfe eines einfachen Dashboards Anfragen an das LLM stellen, das wiederum mit der RAG-Technologie auf die Dokumente zugreift und relevante Informationen extrahiert.
Damit erhofft sich die Unternehmensleitung eine Ersparnis von Zeit und eine Erhöhung von Effizienz, zum Beispiel bei diesem klassischen Anwendungsfall:
Eine Mitarbeiterin sucht nach einer bestimmten Klausel in einem Vertrag. Statt selbst durch alle Verträge zu blättern, gibt sie eine Anfrage wie „Zeige mir alle Klauseln zu Vertragslaufzeiten in den letzten drei Verträgen“ ein. Das LLM verwendet RAG, um diese Verträge zu durchsuchen und die relevanten Passagen zu extrahieren und der Mitarbeiterin anzuzeigen. Anhand dieses kleinen Beispiels lässt sich leicht nachvollziehen, wie mit Hilfe eines Open-Source-LLMs zeitraubende Informationssuchen deutlich effizienter gestaltet werden können – und das bei gleichzeitigem Aufbau von Wissen und Integration einfacherer Prozesse ins Unternehmensnetzwerk, für alle Mitarbeitenden.
Datenschutz und Kontrolle
Ein weiteres wichtiges Argument für Open-Source-LLMs ist die volle Kontrolle über die Daten. Kommerzielle Anbieter speichern und verarbeiten Daten auf ihren eigenen Servern, was bei sensiblen Informationen oder strengen Datenschutzbestimmungen, wie beispielsweise durch den EU-AI-Act vorgegeben werden, problematisch sein kann. Durch die Verwendung eines Open-Source-Modells, das lokal oder auf eigenen Servern betrieben wird, behalten Unternehmen die volle Kontrolle über ihre Daten und minimieren das Risiko von Datenschutzverletzungen.
Auch hier lohnt es sich, das manchmal abstrakte Thema „Daten“ einmal an einem Beispiel aus dem Mittelstand zu illustrieren: In Deutschland gibt es ca. 180.000 selbständige Versicherungsmakler:innen. Für diese Zielgruppe wird Datenschutz zunehmend wichtig, da sie regelmäßig mit sensiblen Kundeninformationen wie Gesundheitsdaten, finanziellen Verhältnissen und persönlichen Angaben arbeiten. Ein Open-Source-LLM, das lokal betrieben wird, ermöglicht es ihnen, die volle Kontrolle über diese Daten zu behalten, ohne sie an externe Anbieter weitergeben zu müssen, wodurch das Risiko von Datenschutzverletzungen stark minimiert wird. Gerade in einem hochregulierten Markt wie diesem kann die Einhaltung von strengen Datenschutzbestimmungen nicht nur rechtliche Konsequenzen vermeiden, sondern auch das Vertrauen der Kunden stärken. Vermittler:innen, die Datensicherheit als Wettbewerbsvorteil nutzen, können sich als zuverlässige und sichere Partner positionieren.
Innovationsfreiheit
Open-Source-Modelle sind oft die Grundlage für innovative Neuentwicklungen. Entwicklerteams können neue Funktionen hinzufügen, Architekturen verbessern oder eigene Erweiterungen einbauen, die es bei kommerziellen Anbietern nicht gibt. So können KMUs flexibel und ohne Einschränkungen durch Lizenzbedingungen arbeiten, neue Geschäftsideen entwickeln und sogar eigene Lösungen auf den Markt bringen.
Herausforderungen von Open-Source-LLMs
Hosting und Infrastruktur
Ein wesentlicher Nachteil bei Open-Source-LLMs liegt im Hosting. Kommerzielle Anbieter bieten fertige Plattformen mit robusten Infrastrukturen an, die LLMs sofort einsatzfähig machen. Bei Open-Source-Modellen müssen Unternehmen entweder eigene Serverkapazitäten bereitstellen oder Cloud-Dienste nutzen. Der Betrieb eines leistungsstarken Modells erfordert jedoch erhebliche Rechenressourcen, insbesondere für die Verarbeitung großer Datenmengen oder das Feintuning.
KMUs müssen daher die Investitionskosten für die Infrastruktur sorgfältig abwägen. Oft erfordert das Hosten eines LLMs spezialisierte Hardware, wie GPUs oder TPUs, und die Betriebskosten steigen schnell an, besonders wenn das Modell kontinuierlich in Betrieb ist. Wer mehr wissen möchte im Hinblick auf zu erwartende Kosten kann mich hierzu gern für eine Einschätzung kontaktieren.
Skalierbarkeit und Zuverlässigkeit
Kommerzielle Anbieter bieten skalierbare Lösungen mit garantierter Zuverlässigkeit und Verfügbarkeit. Open-Source-Modelle erfordern hingegen eigene Maßnahmen zur Skalierung, vor allem wenn die Nachfrage nach den KI-Services stark ansteigt. Ohne entsprechende Infrastruktur kann es zu Leistungseinbußen kommen, und das Modell könnte langsamer oder unzuverlässig arbeiten.
KMUs, die Open-Source-Modelle verwenden, müssen sich auch um die Wartung und Updates kümmern. Während kommerzielle Anbieter regelmäßig Sicherheitsupdates und Leistungsverbesserungen implementieren, liegt dies bei Open-Source-Lösungen in der Verantwortung des Unternehmens. Dies erfordert personelle Ressourcen und technisches Know-how.
Trainingsaufwand
Während kommerzielle Modelle bereits vortrainiert und sofort einsatzbereit sind, müssen Open-Source-LLMs oft erst angepasst und auf spezifische Daten trainiert werden. Dies erfordert nicht nur Rechenressourcen, sondern auch ein hohes Maß an Fachwissen. Besonders der Feinschliff (Fine-Tuning) eines Modells auf branchenspezifische Anforderungen ist zeitintensiv und technisch anspruchsvoll.
Ein falsches oder unzureichendes Training kann zu ungenauen Ergebnissen oder sogar zu Fehlentscheidungen führen. Hier muss von Anfang an sichergestellt werden, dass das Unternehmen entweder über die internen Ressourcen oder externe Unterstützung verfügt, um das Modell korrekt und effizient zu trainieren.
Kombination von Open-Source- und kommerziellen LLMs
Für viele KMUs kann die Kombination von Open-Source- und kommerziellen LLMs eine sinnvolle Strategie sein. Ein Unternehmen könnte kommerzielle Lösungen für allgemeine Aufgaben wie Kundeninteraktionen oder Textgenerierung nutzen, während Open-Source-Modelle für spezialisierte Anwendungen eingesetzt werden. Dies ermöglicht es, die Stärken beider Ansätze zu nutzen: die einfache Skalierbarkeit und Zuverlässigkeit kommerzieller Modelle, kombiniert mit der Flexibilität und Kostenersparnis von Open-Source-Lösungen.
Meine Empfehlungen für eine schrittweise Integration:
Ganz zum Schluss ein paar konkrete Empfehlungen für KMUs zur ressourcen- und kostenschonenden Integration eines Open-Source-LLMs:
1. Identifizieren Sie eine Reihe von kleineren Anwendungsfällen, wie beispielsweise die oben genannte Optimierung der Dokumentensuche. So können Sie das Potenzial des LLMs testen, ohne große Ressourcen zu binden.
2. Anstatt in teure Hardware zu investieren, macht es zu Beginn mehr Sinn, einen Cloud-Anbieter zu nutzen. Viele bieten nutzungsbasierte Abrechnungen an, was die Einstiegshürde nochmal senkt.
3. Beteiligen Sie sich an Open-Source-Communities, die Unterstützung beim Einrichten, Training und Feintuning von Modellen bieten.
4. Nutzen Sie vortrainierte Open-Source-LLMs, die bereits auf allgemeine Aufgaben trainiert sind.
5. Führen Sie das LLM nach und nach in Ihre Unternehmensprozesse ein, beispielsweise durch API-Schnittstellen, um erste Ergebnisse zu testen und den Nutzen zu bewerten, bevor größere Investitionen erfolgen.
