Was sind die wichtigsten Vorteile, die ein on-premise Large Language Model gegenüber cloud-basierten Modellen bietet?
ChatGPT ist ein freundlicher und dienstbeflissener, wenn auch nicht immer faktisch akkurater Helfer. Da wir mit dem Modell wie mit einem Menschen kommunizieren können, fällt es uns leicht, das Modell zu anthropomorphisieren; ihm menschliche Charakterzüge zuzuschreiben oder sogar über das Vorhandensein eines Bewusstsein zu spekulieren. Je mehr wir das Modell als persönlichen Assistenten verstehen, desto größer die Wahrscheinlichkeit, dass wir im Gespräch unreflektiert persönliche und dienstliche Informationen preisgeben, die wir normalerweise nicht mit einer unbekannten Person teilen würden.
Dabei unterliegt ChatGPT keiner Schweigepflicht: Solange der Nutzer nicht explizit widerspricht, werden Gesprächsdaten gesammelt und können zum weiteren Training des Modells verwendet werden. Nur bei der Nutzung von ChatGPT über das API verspricht OpenAI, dass die anfallenden Daten nicht verwertet werden. In beiden Fällen ist davon auszugehen, dass die Daten in den USA verarbeitet werden. Der Hauptvorteil eines on-premise Large Language Models besteht somit darin, dass alle Daten garantiert innerhalb der Organisation verbleiben.
Bedenken zu Datenschutz und Vertraulichkeit sind aber nur die Spitze des Eisbergs. Die im laufenden Betrieb anfallenden Daten eines Unternehmens stellen eine wertvolle Ressource dar, die gewinnbringend für die Entwicklung und das Training eigener KI-Modelle eingesetzt werden kann. Wer zentrale Bestandteile der KI-Pipeline an ein Sprachmodell in der Cloud delegiert, verliert nicht nur die Deutungshoheit über die eigenen Daten, sondern verpasst auch die Möglichkeit, sich diese Daten direkt und unmittelbar nutzbar zu machen.
Welche spezifischen Anwendungsfälle sehen Sie für die Verwendung von LLMs on-premise in Unternehmen? Gibt es Branchen, die besonders von dieser Anwendung profitieren könnten?
Natürlich können Branchen mit hohem Datenschutzbedarf, wie Gesundheitswesen oder Recht, in besonderem Maß profitieren. In vielen Anwendungsfällen wird durch eine On-Premise-Lösung der Einsatz von LLMs überhaupt erst möglich.
Darüber hinaus sind lokale LLMs besonders dann ein vielversprechender Ansatz, wenn ein komplexes Problem vorliegt, das einen „Generalisten“ wie ChatGPT überfordert. ChatGPT greift auf ein enormes Weltwissen zurück, das es sich während des Trainings angeeignet hat, und kann damit viele Anfragen direkt beantworten („zero-shot learning“). Außerdem kann man zusammen mit einer Anfrage auch eine kleine Anzahl von Beispielen für die korrekte Beantwortung an das Modell übergeben („few-shot learning“). Insbesondere bei sehr domänen-spezifischen Problemen, für die das Modell im Laufe seines Trainings nur wenige oder überhaupt keine Beispiele gesehen hat, bleiben die Ergebnisse oft hinter den Erwartungen zurück.
ChatGPT ist in diesem Fall eine „black box“, die nicht weiter an die Erfordernisse der Anwendung angepasst werden kann. Ein eigenes, lokales Sprachmodell kann hingegen durch Fine-Tuning zum Spezialisten für ein bestimmtes Problem ausgebildet werden. Dabei ist es sehr gut möglich, dass ein kleineres LLM mit einem Bruchteil der Parameter-Anzahl von ChatGPT nach dem Fine-Tuning dem Generalisten überlegen ist – insbesondere dann, wenn ein domänen-spezifischer Datensatz von hoher Qualität vorliegt, der zum Training verwendet werden kann.
Wie sehen Sie die Zukunft der On-Premise-KI? Gibt es bestimmte Entwicklungen oder Trends, die Sie auf dem Radar haben?
Der Trend geht ganz klar in Richtung einer Demokratisierung großer Sprachmodelle. Die „Chinchilla Scaling Laws“ haben gezeigt, dass durch effizientere Nutzung der Trainingsdaten die Anzahl der Parameter, und damit die Anforderungen an die Hardware, deutlich reduziert werden können - bei gleichbleibender Qualität der Ergebnisse. Techniken des Parameter-effizienten Fine-Tunings, z.B. Adapter, Prefix-Tuning und LoRA, ermöglichen die Anpassung von LLMs an individuelle Bedürfnisse bereits auf Consumer-Hardware. In Kombination mit Quantisierung der Parameter (QLoRA) ist mittlerweile sogar das Fine-Tuning von Modellen der 60-Millarden-Parameter-Klasse bezahlbar geworden.
Daraus ergeben sich unzählige Möglichkeiten für On-Premise-KI, und die Entwicklung geht ungebremst voran. Trotzdem werden lokale Modelle auf absehbare Zeit vor allem dann erfolgreich sein, wenn sie als Spezialisten gezielt auf ein bestimmtes Problem trainiert werden können.