Training, Inferenz und Kontextfenster

Begriff und Einordnung

Training ist der Prozess, in dem ein Modell aus großen Datenmengen lernt und seine internen Parameter verändert. Inferenz ist die Anwendung des fertigen Modells: Eine Nutzerin stellt eine Anfrage, das Modell verarbeitet den Kontext und erzeugt eine Antwort (Niessner 2026).

Das Kontextfenster begrenzt, wie viel Text, Gesprächsverlauf und Dokumentinhalt ein Sprachmodell bei einer Anfrage berücksichtigen kann. Diese Grenze beeinflusst Qualität, Kosten und Fehlerrisiko in Unternehmensanwendungen (Niessner 2026).

Diese Seite ist eine Vertiefung zu Sprachmodelle und generative KI. Wer Tokens, Embeddings und Self-Attention grob verstanden hat, kann hier besser einordnen, warum Training, Inferenz und Kontextfenster für Kosten, Qualität und Governance relevant sind (Niessner 2026).

Funktionsweise in Grundzügen

Beim Pre-Training lernt ein Basismodell aus sehr großen Textmengen, das nächste Token vorherzusagen. Danach können Fine-Tuning und RLHF, also Reinforcement Learning from Human Feedback beziehungsweise Lernen aus menschlicher Bewertung von Antworten, das Modell stärker auf hilfreiches Assistenzverhalten ausrichten (Niessner 2026).

Abbildung: Aus einem Rohmodell wird erst durch Pre-Training, Fine-Tuning und menschliches Feedback ein brauchbarer Assistent. Das ist wichtig für Beschaffung und Erwartungsmanagement: Modellqualität, Verhalten und Unternehmensnutzen entstehen nicht allein durch das Basismodell. Quelle: eigene Darstellung nach Niessner 2026.

Bei der Inferenz verändert sich das Modell nicht. Wenn Sie eine Antwort korrigieren, lernt das zugrunde liegende Modell daraus nicht automatisch. Es verarbeitet nur den aktuellen Kontext und erzeugt eine neue Antwort (Niessner 2026).

Ein Chat wirkt wie ein Gesprächsgedächtnis, aber technisch schickt die Anwendung den bisherigen Verlauf und die neue Frage wieder an das Modell. Wenn der Verlauf oder beigefügte Dokumente zu lang werden, passen nicht mehr alle Inhalte ins Kontextfenster (Niessner 2026).

Abbildung: Das Kontextfenster ist die Arbeitsfläche des Modells pro Anfrage. Chatverlauf, Dokumente und neue Frage werden gemeinsam übertragen; zu viel Verlauf oder zu viele Dokumente erhöhen Kosten und können wichtige Informationen verdrängen. Quelle: eigene Darstellung nach Niessner 2026.

Bedeutung für Unternehmen

Unternehmen sollten Training und Nutzung sauber trennen. Die Nutzung eines bestehenden Modells kostet pro Anfrage wenig. Das Training großer Modelle kostet dagegen sehr viel Geld, Zeit, Rechenleistung und Datenarbeit. Für viele Unternehmen ist daher Anpassung, Integration oder Retrieval-Augmented Generation (RAG) naheliegender als eigenes Basismodelltraining (Niessner 2026).

💡 Aus meiner Praxis: Das Modell lernt nicht aus Ihrem Chat. Wenn ein Prozess dauerhaft besser werden soll, brauchen Sie klare Wissensquellen, Prompt-Design, Feedbackprozesse, Evaluierung oder ein gezieltes Nachtrainieren beziehungsweise Aktualisieren der Lösung.

Das Kontextfenster wirkt in der Praxis wie ein begrenzter Schreibtisch. Wer zu viele Dokumente, lange Chatverläufe oder irrelevante Details hineinschiebt, verdrängt wichtige Informationen. Gute KI-Anwendungen wählen daher gezielt relevante Ausschnitte aus und fassen Verlauf sinnvoll zusammen (Niessner 2026).

💡 Aus meiner Praxis: In Unternehmensanwendungen entsteht eine KI-Antwort nicht direkt aus der Nutzerfrage. Zwischen Anfrage und Antwort liegen mehrere Schritte: Die Anwendung muss die Anfrage verstehen, passende Quellen finden, relevante Inhalte auswählen, verdichten und erst dann an das Sprachmodell übergeben. Das Modell sieht also nicht automatisch das Unternehmenswissen, sondern nur den Kontext, den die Anwendung in diesem Moment bereitstellt.

Abbildung: Gute KI-Antworten entstehen nicht nur durch ein leistungsfähiges Sprachmodell. Entscheidend ist, ob die Anwendung vor dem Modellaufruf die Anfrage richtig versteht, passende Quellen findet, relevanten Kontext auswählt und diesen sauber an das LLM übergibt. Quelle: eigene Darstellung.

Reasoning-Modelle können bei komplexer Logik, Mathematik oder mehrstufigen Aufgaben bessere Ergebnisse liefern, arbeiten aber langsamer und teurer. Für einfache Routineaufgaben sind sie oft überdimensioniert (Niessner 2026).