Recht, Ethik und Sicherheit
Prompt Injection
Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen in Texten oder Dokumenten ein KI-System dazu bringen, entgegen seiner eigentlichen Aufgabe zu handeln.
Für dein Unternehmen
Wer KI-Agenten mit Zugriff auf E-Mails, Dokumente oder externe Webinhalte einsetzt, sollte technische Schutzmaßnahmen (Guardrails) sowie klare Grenzen einbauen, welche Aktionen ein Agent ohne menschliche Freigabe überhaupt ausführen darf.
IT, Recht
Ausführliche Definition
Bei einer Prompt-Injection-Attacke schleusen Angreifende versteckte Anweisungen in Inhalte ein, die eine KI verarbeitet (etwa in eine E-Mail, ein Dokument oder eine Website), um das System dazu zu bringen, entgegen seiner ursprünglichen Aufgabe zu handeln: vertrauliche Daten preiszugeben, schädliche Aktionen auszuführen oder Sicherheitsvorgaben zu umgehen. Mit zunehmend autonomen KI-Agenten, die E-Mails lesen oder Werkzeuge bedienen, wächst dieses Risiko.
ki-agenten-monitoring; human-in-the-loop-human-on-the-loop; shadow-ai
Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection | Greshake et al., CISPA Helmholtz-Zentrum, 2023 (arXiv:2302.12173)
← Alle Begriffe im KI-Glossar


