Large Language Model (LLM)

Ein Large Language Model (LLM) sagt das nächste Wort voraus. Milliarden Mal hintereinander. Was dabei entsteht, klingt wie Verstehen — ist aber Statistik. Trainiert auf Milliarden von Texten, erkennen LLMs Zusammenhänge zwischen Wörtern und generieren daraus kohärente Sprache.

Transformer: die Architektur dahinter

Die Grundlage stammt aus dem Paper "Attention Is All You Need" (2017). Self-Attention: Das Modell gewichtet bei jedem Wort, welche anderen Wörter im Kontext relevant sind. Das ermöglicht paralleles Training auf riesigen Datensätzen — und machte Modelle mit Billionen Parametern erst möglich.

GPT, Claude, Llama — die Unterschiede

GPT-4/5 von OpenAI arbeitet mit geschätzt 1,8 Billionen Parametern in einer Mixture-of-Experts-Architektur, nur rund 280 Mrd. sind pro Anfrage aktiv. Claude von Anthropic veröffentlicht keine Parameterzahlen, setzt auf Sicherheit und lange Kontextfenster. Llama 3.1 von Meta ist Open Source, 8 bis 405 Mrd. Parameter, trainiert auf über 15 Billionen Tokens.

Leistungsfähig, aber nicht zuverlässig

LLMs schreiben, fassen zusammen, übersetzen und programmieren. Sie verstehen dabei keinen einzigen Satz. Sie berechnen Wahrscheinlichkeiten. Das macht sie mächtig — und gefährlich, wenn Faktentreue zählt.

Die Lösung: RAG-Systeme verbinden LLMs mit echten Daten. Prompt Engineering steuert die Ausgabe. Beides zusammen reduziert Halluzinationen um bis zu 68 %.