Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Grundlagen des Mastra-Debugging und der Evaluierung
- Verständnis von Agentenverhaltensmodellen und Fehlerszenarien
- Kernprinzipien des Debugging innerhalb von Mastra
- Evaluierung deterministischer und nicht-deterministischer Agentenaktionen
Einrichtung von Umgebungen für das Agenten-Testing
- Konfiguration von Test-Sandboxes und isolierten Evaluierungs-Workspaces
- Erfassung von Logs, Traces und Telemetriedaten für eine detaillierte Analyse
- Vorbereitung von Datensätzen und Prompts für strukturierte Tests
Debugging des KI-Agentenverhaltens
- Verfolgung von Entscheidungspfade und internen Reasoning-Signalen
- Identifikation von Halluzinationen, Fehlern und unbeabsichtigtem Verhalten
- Nutzung von Observability-Dashboards für die Ursachenanalyse
Evaluierungsmetriken und Benchmarking-Frameworks
- Definition quantitativer und qualitativer Evaluierungsmetriken
- Messung von Genauigkeit, Konsistenz und Kontextkonformität
- Anwendung von Benchmark-Datensätzen für wiederholbare Assessments
Zuverlässigkeitsingenieurwesen für KI-Agenten
- Gestaltung von Zuverlässigkeitstests für langlebige Agenten
- Erkennung von Drift und Leistungseinbußen bei Agenten
- Implementierung von Sicherheitsvorkehrungen für kritische Workflows
Qualitätssicherungsprozesse und Automatisierung
- Aufbau von QS-Pipelines für kontinuierliche Evaluierung
- Automatisierung von Regressionstests für Agenten-Updates
- Integration der QS in CI/CD- und Unternehmensworkflows
Fortgeschrittene Techniken zur Reduktion von Halluzinationen
- Prompting-Strategien zur Vermeidung unerwünschter Ausgaben
- Validierungsschleifen und Selbstprüfungsmechanismen
- Experimente mit Modellkombinationen zur Verbesserung der Zuverlässigkeit
Reporting, Monitoring und kontinuierliche Verbesserung
- Erstellung von QS-Berichten und Agenten-Scorecards
- Überwachung langfristigen Verhaltens und Fehlermuster
- Iteration der Evaluierungsframeworks für sich entwickelnde Systeme
Zusammenfassung und weitere Schritte
Voraussetzungen
- Grundlegendes Verständnis des KI-Agentenverhaltens und der Modellinteraktionen
- Erfahrung in der Fehlersuche oder Testung komplexer Softwaresysteme
- Vertrautheit mit Observability- oder Logging-Werkzeugen
Zielgruppe
- QA-Ingenieure
- KI-Zuverlässigkeitsingenieure
- Entwickler, die für die Qualität und Leistungsfähigkeit von Agenten verantwortlich sind
21 Stunden