Grundlagen und Technologie
Transformer-Architektur
Der Transformer ist die technische Architektur hinter den meisten modernen Sprachmodellen; sie ermöglicht es, Zusammenhänge über lange Textabschnitte hinweg zu erfassen.
Für dein Unternehmen
Technisches Detailwissen ist für die meisten Anwenderinnen und Anwender nicht nötig. Relevant ist: Die Architektur erklärt, warum moderne KI-Systeme Kontext über ganze Dokumente hinweg berücksichtigen können. Das ist ein klarer Fortschritt gegenüber älteren, satzweise arbeitenden Systemen.
IT
Ausführliche Definition
Die 2017 von Google-Forschenden vorgestellte Transformer-Architektur ist die technische Grundlage nahezu aller heutigen großen Sprachmodelle. Ihr Kernmechanismus, „Attention" (Aufmerksamkeit), erlaubt es dem Modell, für jedes Wort zu gewichten, wie relevant andere Wörter im Text für dessen Bedeutung sind, auch über große Entfernungen im Satz hinweg. Das „T" in GPT steht für Transformer.
large-language-model; neuronales-netz; deep-learning
Deep Learning (Kapitel 5.1.3: Datasets) | Goodfellow, Bengio, Courville, MIT Press, 2016
← Alle Begriffe im KI-Glossar


