Was ist ein großes Sprachmodell und wie funktioniert es?
Der verständliche Leitfaden zur Technologie hinter ChatGPT, Claude und jedem KI-System, das dich zu verstehen scheint.
Ein großes Sprachmodell (Large Language Model, LLM) ist eine Art KI, die mit riesigen Mengen an Text trainiert wird, um natürliche Sprache zu lesen, zu schreiben, zusammenzufassen und Fragen zu beantworten. Es funktioniert, indem es Muster über Milliarden von Wörtern lernt und dann das nächste Wort, den nächsten Satz oder die nächste Idee vorhersagt. Stell dir das als Autovervollständigung vor, die an der Universität war.
Was bedeutet „groß" eigentlich?
„Groß" bezieht sich auf zwei Dinge gleichzeitig: auf die Größe der Trainingsdaten und auf die Anzahl der „Parameter" im Modell. Parameter sind die verstellbaren internen Einstellungen, ein wenig wie kleine Regler, die das Modell während des Trainings justiert, um besser Texte vorherzusagen. GPT-4 soll hunderte Milliarden Parameter haben, weshalb diese Modelle ernsthafte Rechenleistung benötigen.
Mehr Parameter bedeuten nicht immer ein intelligenteres Modell. Forscher haben herausgefunden, dass sorgfältig kuratierte, kleinere Datensätze überraschend leistungsfähige Modelle mit einem Bruchteil der Größe produzieren können. Die Bezeichnung „groß" wird zunehmend mehr zur Konvention als zu einer strikten Regel.
Wie funktioniert das Training eigentlich?
Training ist der Prozess, bei dem das Modell eine enorme Menge an Text erhält und es wiederholt das nächste Wort erraten muss, dann werden die internen Regler verstellt, wenn es falsch liegt. Das Ganze machen Milliarden Male, und das Modell fängt an, Grammatik, Fakten, Argumentationsstile und sogar Ton zu erfassen.
Die dominierende Methode hinter modernen LLMs heißt Transformer-Architektur, die 2017 in einem Meilenstein-Paper vorgestellt wurde. Transformer nutzen einen Mechanismus namens „Attention", der das Modell befähigt, zu bewerten, wie relevant jedes Wort in einem Satz für jedes andere Wort ist, damit es den Kontext erfasst und nicht nur die Wortfolge.
Nach dem initialen Training durchlaufen die meisten kommerziellen Modelle einen zweiten Schritt namens RLHF (Reinforcement Learning from Human Feedback). Menschliche Bewerter bewerten die Antworten des Modells, und diese Bewertungen bringen dem Modell bei, hilfreicher und weniger schädlich zu sein.
Was kann ein LLM eigentlich tun?
In der Praxis kann ein gut trainiertes LLM E-Mails verfassen, medizinische Fachausdrücke erklären, Code schreiben, Sprachen übersetzen und lange Dokumente zusammenfassen. Ein praktisches Beispiel: Eine Arztpraxis in Großbritannien nutzte ein LLM, um Patienten-Nachbehandlungsbriefe zu verfassen und reduzierte damit die Verwaltungszeit um etwa die Hälfte, weil das Modell aus den Stichpunkten eines Arztes in Sekunden vollständige, lesbare Texte machen konnte.
Was es nicht zuverlässig kann, ist, von ersten Prinzipien aus zu argumentieren, auf aktuelle Informationen zuzugreifen (es sei denn, ihm wird ein Werkzeug zum Durchsuchen des Webs gegeben), oder faktische Genauigkeit zu garantieren. LLMs „halluzinieren" manchmal, was bedeutet, dass sie selbstbewusst Dinge behaupten, die einfach falsch sind. Anthropics Forschung zum Modellverhalten erklärt, warum das passiert und wie Entwickler versuchen, es zu reduzieren.
Wie unterscheidet sich ein LLM von einer Suchmaschine?
Eine Suchmaschine findet und ordnet Seiten, die bereits existieren. Ein LLM generiert neuen Text von Grund auf, basierend auf Mustern, die es während des Trainings aufgesogen hat. Suchmaschinen geben dir eine Liste von Quellen; ein LLM gibt dir eine synthesierte Antwort ohne Garantie, dass sie auf die ursprüngliche Evidenz hinweist.
Die beiden werden zunehmend kombiniert. Tools wie Retrieval-Augmented Generation (RAG) ermöglichen es einem LLM, aktuelle Dokumente vor der Antwort zu laden und das Beste beider Ansätze zu verbinden.
Wie viel kostet die Nutzung?
| Modell / Service | Kostenlos | Bezahlt ab |
|---|---|---|
| ChatGPT (OpenAI) | Ja, GPT-4o mini | ~20 €/Monat für Plus |
| Claude (Anthropic) | Ja, Claude 3 Haiku | ~20 €/Monat für Pro |
| Gemini (Google) | Ja, Gemini 1.5 Flash | ~20 €/Monat für Advanced |
| API-Zugang (eigenes Projekt) | Nutzungsguthaben bei Anmeldung | Zahlung pro Token (Bruchteil eines Cents) |
Für die meisten gelegentlichen Nutzer reichen kostenlose Versionen für alltägliche Aufgaben. Intensivnutzer oder Entwickler, die pro Token zahlen (ein Token entspricht etwa drei bis vier Zeichen Text), können bei langen Dokumenten schnell hohe Kosten aufbauen.
Gibt es Datenschutz-Fallstricke, die ich kennen sollte?
Ja, und sie sind wichtig. Wenn du einen Befehl in ein kommerzielles LLM eingibst, wird dieser Text an die Server des Anbieters gesendet. Viele Anbieter geben in ihren Bedingungen an, dass sie deine Unterhaltungen zur Verbesserung zukünftiger Modelle verwenden dürfen, es sei denn, du deaktivierst dies aktiv. OpenAIs Datenschutzeinstellungen ermöglichen dir, die Nutzung von Trainingsdaten auszuschalten, aber diese Einstellung ist nicht standardmäßig für alle Nutzer aktiviert.
Gib keine persönlichen Daten, Patientenakten, Finanzdetails oder vertrauliche Geschäftsinformationen in ein öffentliches LLM ein, es sei denn, du hast die Datenverarbeitungsbedingungen des Anbieters sorgfältig überprüft.
Häufig gestellte Fragen
Ist ein großes Sprachmodell dasselbe wie künstliche allgemeine Intelligenz?
Nein. Ein LLM ist ein spezialisiertes System, das auf Textvorhersage trainiert wurde. Künstliche allgemeine Intelligenz (AGI) würde bedeuten, ein System, das wie ein Mensch über jede Domäne hinweg lernen und argumentieren kann, etwas, das Forscher als offenes und ungelöstes Problem betrachten.
Kann ein LLM neue Fakten erlernen, nachdem es veröffentlicht wurde?
Nicht von allein. Ein Standard-LLM hat ein „Wissensstichtag", das Datum, an dem seine Trainingsdaten endeten, und es aktualisiert sich nicht selbst, wenn neue Ereignisse passieren. Einige Systeme fügen oben auf dem Modell Live-Suchtools hinzu, um diese Grenze zu umgehen.
Warum erfindet ein LLM manchmal Dinge?
Weil es grundsätzlich eine Muster-Vervollständigungs-Engine ist, kein Faktenprüfer. Wenn das Muster eines Satzes stark auf eine plausibel klingende Antwort hindeutet, produziert das Modell sie, selbst wenn es keine zuverlässigen Belege gibt. Forschung zu diesem Halluzinations-Problem ist aktiv in großen Laboren vertreten.
