#095 KI-Agenten testen – Vom Proof of Concept zum Live-Betrieb mit Josef Küstner

In „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz. Thema der heutigen Folge: Das Thema KI-Agenten entwickelt sich gerade vom Hype zur praktischen Anwendung. Viele Unternehmen haben erste Projekte in der Proof-of-Concept-Phase umgesetzt. Bevor diese jedoch mit echten Unternehmensdaten und in realen Prozessen produktiv eingesetzt werden können, müssen sie umfangreich getestet werden. Nur so lässt sich sicherstellen, dass sie zuverlässig arbeiten, Sicherheitsvorgaben einhalten und keine wirtschaftlichen oder reputativen Schäden verursachen. In der aktuellen Folge von „Chatbots und KI“ spricht Thomas Bahn mit Dr. Josef Küstner unter anderem darüber, wie solche Tests konkret aussehen sollten und wie sich die Qualität von KI-Agenten bewerten lässt, wenn ihre Ergebnisse nicht deterministisch sind. Außerdem geben sie Anregungen dafür, wie der Übergang von der Testphase in den Live-Betrieb gelingen kann. Zeitstempel: 00:00:00 Einleitung 00:02:43 Aufgaben von KI-Agenten 00:05:13 Warum Agenten getestet werden müssen 00:08:05 Nichtdeterminismus und LLM as a Judge 00:10:58 Monitoring und Benchmarks 00:14:31 Nebeneffekte und Zwischenschritte testen 00:17:34 Effizienz und Eval-Sets 00:19:43 Bewertungsmethoden und Testframeworks 00:21:44 Guardrails und menschliche Kontrolle 00:24:30 Fehlerquoten und Wirtschaftlichkeit 00:26:04 Professionalisierung und Ausblick Über Dr. Josef Küstner: [Josef Küstner](  / josef-kuestner  ) hat an der Universität Wien in Mathematik promoviert. Derzeit ist er als wissenschaftlicher Mitarbeiter im KI-Anwendungszentrum von KI.SH an der Christian-Albrechts-Universität zu Kiel tätig. Das KI-Anwendungszentrum dient als zentrale Anlaufstelle für Unternehmen in Schleswig-Holstein bei Fragen rund um den Einsatz von Künstlicher Intelligenz.. Über Thomas Bahn: [Thomas Bahn](  / thomasbahn  ) ist Geschäftsführer, Mitgründer und Gesellschafter der assono GmbH. Seit mehr als 25 Jahren berät er deutschlandweit erfolgreich Unternehmen rund um die Themen Software und Digitalisierung. Als Host des Podcasts „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz. Produktion: [Paul Lendzian Cinematography](https://paullendzian.de/) Bei Fragen oder Anmerkungen freuen wir uns auf Ihre Nachricht an [email protected] Der Podcast wird präsentiert von assono - Wir entwickeln Chatbots, mit denen sich Menschen gerne unterhalten. In 3 Schritten zum eigenen KI-Chatbot-Projekt 1. Informieren Sie sich über das [Chatbot-Angebot](https://www.assono.de/chatbot?utm_sou...) von assono 2. Vereinbaren Sie ein [kostenloses Beratungsgespräch](https://assono.de/termin?utm_source=P...) oder nehmen Sie an einer unserer [Live-Demos](https://www.assono.de/chatbot/demo-te...) teil 3. Starten Sie Ihr Chatbot-Projekt innerhalb weniger Wochen