Grundlagen und Technologie
Inferenz
Inferenz ist der Moment, in dem ein trainiertes KI-Modell auf Basis einer Eingabe eine Antwort berechnet.
Für dein Unternehmen
Die laufenden Kosten eines KI-Produkts entstehen für Anwender meist bei der Inferenz durch die Token- Generierung, nicht beim einmaligen Training. Bei häufig genutzten Anwendungen lohnt sich ein Blick auf Inferenzkosten pro Anfrage.
IT
Ausführliche Definition
Während des Trainings lernt ein Modell aus Daten; bei der Inferenz wendet es das Gelernte auf neue, unbekannte Eingaben an, etwa wenn eine Chat-Anfrage beantwortet oder ein Bild klassifiziert wird. Inferenz benötigt deutlich weniger Rechenleistung als das Training, verursacht aber bei jeder Nutzung Kosten und Energieverbrauch.
maschinelles-lernen; edge-ai-on-device-ki; fine-tuning
Efficient Processing of Deep Neural Networks: A Tutorial and Survey | Sze, Chen, Yang, Emer, MIT, Proceedings of the IEEE, 2017 (arXiv:1703.09039)
← Alle Begriffe im KI-Glossar


