
Die Diskussion über die Gefahren künstlicher Intelligenz hat in den vergangenen Wochen deutlich an Schärfe gewonnen. Es geht längst nicht mehr nur um fehlerhafte Antworten oder erfundene Informationen. Diskutiert werden auch KI-Systeme, die komplexe Aufgaben selbstständig planen, Werkzeuge verwenden und in bestimmten Situationen unerwartetes Verhalten zeigen können.
Dario Amodei, CEO von Anthropic (Claude), warnt in seinem aktuellen Beitrag „We Must Pace the Frontier“ deshalb vor einer zu schnellen Entwicklung besonders leistungsfähiger KI-Systeme. Er nennt unter anderem Risiken durch Kontrollverlust, Cyberangriffe und den Einsatz mehrerer miteinander verbundener KI-Agenten. Seine Forderung: Die Entwicklung an der technologischen Grenze sollte so gestaltet werden, dass Sicherheitsforschung, Tests und Schutzmaßnahmen Schritt halten können. Dafür erhielt er breite Zustimmung führender KI Experten.
Diese Debatte ist auch für Geschäftsführer und Entscheider im Mittelstand relevant. Viele fragen sich: Kann ein KI-Agent auch im eigenen Unternehmen außer Kontrolle geraten und Schaden verursachen?
Die kurze Antwort lautet: Das Risiko hängt stark davon ab, um welche Art von KI-Agent es geht und wie er eingesetzt wird. Forschungsagenten von Anthropic und OpenAI, die in einer offenen Testumgebung die Grenzen heutiger KI ausloten, sind etwas anderes als Business-Agenten, die im Mittelstand klar definierten Arbeitsschritt unterstützen.
Für Unternehmen kommt es deshalb auf einen kontrollierten Rahmen an: Welche Aufgabe übernimmt der Agent? Auf welche Daten darf er zugreifen? Welche Aktionen sind ausgeschlossen? Und an welcher Stelle prüft ein Mensch das Ergebnis?
Amodeis Warnung bezieht sich vor allem auf besonders leistungsfähige KI-Systeme an der technologischen Grenze. Diese Systeme sollen zeigen, was moderne KI grundsätzlich leisten kann. Sie haben hohe Freiheitsgrade bei der Bearbeitung von Aufgaben, setzen selbstständig verschiedene Werkzeuge ein und können längere Handlungsketten eigenständig planen.
Ein Business-Agent in einem mittelständischen Unternehmen hat dagegen eine deutlich engere Aufgabe. Er kann beispielsweise:
Der Agent soll dabei keinen eigenen Geschäftsbereich steuern. Er unterstützt einen definierten Arbeitsschritt. Welche Daten er verwenden darf und was er tun kann, wird vorher festgelegt.
Ein Forschungsagent soll herausfinden, was ein leistungsfähiges KI-System grundsätzlich leisten kann. Ein Business-Agent soll ein konkretes Problem in einem klar begrenzten Prozess lösen.
Diese Systeme verfolgen unterschiedliche Ziele und arbeiten unter unterschiedlichen Bedingungen. Die Risiken aus der Frontier-Forschung lassen sich deshalb nicht automatisch auf jeden KI-Einsatz im Unternehmen übertragen.
„Sicher“ bedeutet bei KI nicht, dass Fehler grundsätzlich ausgeschlossen sind. Kein KI-System kann absolute Fehlerfreiheit garantieren.
Sicher bedeutet vielmehr, dass mögliche Fehler begrenzt, erkannt und korrigiert werden können. Dafür sollten Unternehmen vor dem Einsatz einige einfache Fragen beantworten:
Die Aufgabe muss konkret beschrieben sein. „Unterstütze den Vertrieb“ ist zu ungenau. Eine bessere Beschreibung wäre: „Erstelle aus freigegebenen Quellen eine Recherchevorlage für ein Erstgespräch.“
Ein Agent sollte nur die Informationen sehen, die er für seine Aufgabe benötigt. Ein Assistent für Meeting-Zusammenfassungen braucht beispielsweise keinen vollständigen Zugriff auf das ERP-System.
Ein Agent kann Informationen vorbereiten oder einen Entwurf erstellen. Das Versenden einer verbindlichen Kundenmail, eine Preisänderung oder die Freigabe einer Bestellung sollte in vielen Fällen eine menschliche Prüfung erfordern.
Wenn Informationen fehlen oder widersprüchlich sind, sollte der Agent den Vorgang kennzeichnen, eine Rückfrage stellen oder ihn an einen Menschen übergeben. Er sollte keine Sicherheit vortäuschen, die nicht vorhanden ist.
Unternehmen müssen nicht sofort einen komplexen KI-Agenten in zentrale Geschäftsprozesse integrieren. Ein sinnvoller Einstieg ist ein wiederkehrender Ablauf, der:
Ein Meeting-Protokoll oder eine interne Wissenssuche eignet sich beispielsweise eher für den Einstieg als ein Agent, der ohne Freigabe Bestellungen auslöst oder Verträge verändert.
Nach dem ersten Einsatz lässt sich prüfen:
Erst wenn ein Anwendungsfall im Alltag funktioniert, sollten weitere Datenquellen und Systeme angebunden werden. Dieses Vorgehen verfolgen wir nicht nur bei der Implementierung von KI-Lösungen für unsere Kunden sondern auch beim internen Einsatz von KI bei der fellowork und konnten so KI-gestützte Arbeitsprozesse Schritt für Schritt sicher ausbauen:
Mit Omega, dem FirmenOS von fellowork, werden Wissen, Daten, Prozesse und KI-gestützte Anwendungen in einer gemeinsamen Arbeitsumgebung verbunden. Der Business Assistant kann beispielsweise Gesprächsinhalte erfassen und daraus Zusammenfassungen oder nächste Schritte vorbereiten. Der Sales Assistant unterstützt unter anderem bei Recherche, Qualifizierung und Dokumentation von Leads.
Der entscheidende Punkt ist: Diese Assistenten handeln nicht mit unbegrenzter Freiheit im Unternehmen. Sie arbeiten innerhalb eines definierten Rahmens. Menschen prüfen die Ergebnisse und behalten die Verantwortung für geschäftlich relevante Entscheidungen.
Die wichtigste Sicherheitsmaßnahme ist die klare Begrenzung des Einsatzes.
Vor der Umsetzung sollte feststehen:
So wird aus einem schwer einschätzbaren KI-Versprechen ein kontrollierbarer Geschäftsprozess.
Die Warnungen von Dario Amodei und anderen KI Experten betreffen vor allem sehr leistungsfähige KI-Systeme an der technologischen Grenze. Sie sind wichtig, bedeuten aber nicht, dass jeder KI-Agent im Unternehmen ein unkalkulierbares Risiko darstellt.
Ein begrenzter Business-Agent ist etwas anderes als ein Forschungsagent mit offenen Aufgaben, weitreichenden Werkzeugen und hoher Eigenständigkeit. Wenn sein Aufgabenbereich, seine Datenzugriffe und seine Handlungsmöglichkeiten klar definiert sind, können Unternehmen KI kontrolliert einsetzen.
fellowork unterstützt diesen Weg mit konkreten Lösungen für Wissen, Daten und Prozesse. Der Einstieg erfolgt über ein klar abgegrenztes Problem. Die Ergebnisse bleiben prüfbar, und die Verantwortung für wichtige Entscheidungen bleibt beim Menschen.
KI muss im Mittelstand kein unkontrollierter digitaler Mitarbeiter sein. Richtig eingesetzt ist sie ein Werkzeug, das einen klar definierten Arbeitsschritt zuverlässig unterstützt.
Token
RAG
Aus dem KI-Glossar
Prompt
der; Nomen
Die Anweisung, die du einer KI gibst.
62 KI-Begriffe, klar erklärt.
Das Glossar für den Mittelstand, kostenlos als PDF.
Glossar herunterladenOnline nachschlagen →KI-Readiness-Check
12 Fragen zu Strategie, Daten, Prozessen und Menschen. Du siehst dein Ergebnis sofort, ganz ohne Anmeldung.
Prozesse
Daten & Technik
Dein Ergebnis
62 von 100
UMSETZUNG
Strategie & Führung
Daten & Technik
Prozesse
Menschen & Kompetenz