Agentic AI mit Guardrails: Warum „Prompt and Pray" im Enterprise-Kontext gescheitert ist

Mit dem rasanten Einzug von generativer KI in Contact Center und Kundenservice stehen Unternehmen vor einer entscheidenden Frage: Wie lässt sich Automatisierung skalieren, ohne Kontrolle, Compliance und Qualität zu verlieren? In diesem Beitrag zeigt Paul Preute von NiCE Cognigy, warum der Ansatz „Prompt and Pray“ im Enterprise-Kontext an seine Grenzen stößt und wie Agentic AI mit klaren Guardrails zur tragfähigen Grundlage für produktive, sichere und verantwortungsvolle KI-Systeme im Kundenservice wird.

Mit der Verbreitung von ChatGPT, Gemini und vergleichbaren Large-Language-Model-basierten Systemen hat sich die Erwartungshaltung von Kund:innen grundlegend verändert. Natürliche Dialoge, Kontextverständnis und ein scheinbares „Verstehen“ werden heute als selbstverständlich wahrgenommen und in den Enterprise-Kontext übertragen.

Eine reine Antwort-CX reicht dabei nicht mehr aus: Kund:innen erwarten, dass ihr Anliegen gelöst und nicht nur erklärt wird. Agentic AI adressiert genau diesen Wandel, indem sie anstelle von starren und deterministischen Konversationen natürliche, personalisierte und lösungsorientierte Interaktionen ermöglicht, die Vorgänge eigenständig bis zum Ergebnis führen.

Die rasante Entwicklung großer Sprachmodelle (Large Language Models, LLMs) hat den Einstieg in Agentic AI erheblich vereinfacht und wirkt dabei auf den ersten Blick wie ein Shortcut zur Automatisierung: Ein Modell, ein Prompt – und plötzlich entstehen Antworten, Zusammenfassungen, E-Mails oder sogar Prozessvorschläge in Sekunden. Dieser Ansatz wurde schnell zum Standard in frühen Projekten: Prompt formulieren, Ergebnis prüfen, iterieren.

In Demos funktioniert das oft beeindruckend, weil der Kontext kontrolliert ist, die Eingaben vorhersehbar sind und die Erwartungen bewusst niedrig bleiben. Im produktiven Betrieb kippt diese Logik jedoch. LLMs sind probabilistische Systeme: Sie liefern flüssige, überzeugende Ausgaben, aber nicht zwingend korrekte. Halluzinationen, unvollständige Begründungen oder inkonsistente Antworten sind kein Randphänomen, sondern eine systemische Eigenschaft.

Solange ein Mensch jede Ausgabe kontrolliert, ist das handhabbar. Sobald Systeme jedoch auf Ergebnisse vertrauen oder diese automatisiert weiterverarbeiten, wird „Prompt and Pray“ zur Risiko-Strategie. Der Punkt ist nicht, dass Prompting nutzlos wäre, sondern dass es als einziges Betriebsmodell für Enterprise-Automatisierung nicht ausreicht.

Agentic AI ist kein „besserer Chatbot“. Der entscheidende Unterschied: Agenten denken und handeln. Sie planen Schritte, wählen Tools, stoßen Aktionen an und treffen Entscheidungen – zum Teil autonom.

Statt strikt vorgegebene Prozessketten abzuarbeiten, plant ein agentisches System seine nächsten Schritte kontextabhängig und zielorientiert. Dadurch kann es flexibel auf unterschiedliche Situationen reagieren und Entscheidungen treffen, ohne dass alle möglichen Abläufe im Vorfeld modelliert werden müssen.

Mit Handlung entsteht Verantwortung. Jede falsche Aktion kann Kosten, Reputationsschäden oder Compliance-Verstöße verursachen. Daher gelten für Agentic AI andere Qualitätsmaßstäbe als für deterministische Systeme. Eine Antwort, die „nur“ unpräzise ist, mag im Service unangenehm sein – eine Aktion, die falsch ausgeführt wird, ist potenziell kritisch.

Autonomie erhöht nicht nur die Effizienz, sondern multipliziert auch das Risiko. Genau deshalb müssen agentische Systeme nicht nur clever, sondern vor allem kontrollierbar, reproduzierbar und auditierbar sein.

Sobald Prompting skaliert, zeigt sich die Enterprise-Realität: Reproduzierbarkeit wird zum Kernproblem. Kleine Variationen im Input oder Prompt führen zu spürbar anderen Ergebnissen. Was gestern in Tests stabil wirkte, kann heute in der Produktion abweichen – ohne klaren Grund und ohne deterministische Debugging-Pfade.

Hinzu kommen Governance- und Sicherheitsanforderungen: Wer darf welche Daten sehen? Welche Aktionen sind erlaubt? Wie werden Entscheidungen erklärt, protokolliert und im Zweifel rückgängig gemacht?

In vielen promptbasierten Ansätzen liegt Geschäftslogik als Freitext im Prompt. Dort ist sie schwer versionierbar, kaum testbar und praktisch nicht auditierbar. Das führt zu einer gefährlichen Vermischung von Reasoning und Kontrolle.

Prompt-Level-Guardrails sind zudem fragil. Sie funktionieren oft in kontrollierten Szenarien, lassen sich aber in der Realität durch unerwartete Eingaben, Prompt-Injection oder missverständliche Formulierungen teilweise aushebeln. Je mehr Nutzer, Kanäle und Use Cases hinzukommen, desto größer wird die Angriffsfläche – und desto schwieriger ist es, mit Prompting allein konsistent Sicherheit, Compliance und Qualität zu garantieren.

Das Ergebnis: Unternehmen investieren viel in Prompt-Tuning, erreichen aber keine verlässliche Betriebsreife.

Der Weg aus dieser Sackgasse ist ein Composite Approach: Agentic AI wird als System designt, nicht als einzelner Prompt. Kernidee ist die Trennung von Verantwortlichkeiten.

Das LLM übernimmt, was es gut kann – Sprachverständnis, Entwurf von Antworten, Erkennen von Intentionen. Kontrolle, Policies und kritische Entscheidungen werden dagegen außerhalb des Modells verankert.

Praktisch bedeutet das eine mehrschichtige Architektur mit klaren Guardrails:

„Prompt and Pray“ war ein hilfreicher Einstieg, aber kein tragfähiges Betriebsmodell für Agentic AI im Enterprise. Sobald Agenten handeln, braucht es verlässliche Leitplanken: Policies, Validierung, Observability und klare Orchestrierung.

Guardrails bremsen Innovation nicht – sie machen sie erst verantwortbar. Wer Agentic AI produktiv und in großem Maßstab einsetzen will, muss von Prompts als Artefakten zu Architektur als Betriebskonzept wechseln.

Autonomie wird im Enterprise nicht durch Hoffnung skalierbar, sondern durch Struktur.

Wenn du mehr erfahren willst, nimm an unserer dreiteiligen Masterclass-Reihe ,,Direct from the Agentic AI Frontline“ für CX- und IT-Entscheider teil. Alle weiteren Informationen gibt es hier.