Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Vorbereitung von Machine-Learning-Modellen für die Bereitstellung
- Packen von Modellen mit Docker
- Exportieren von Modellen aus TensorFlow und PyTorch
- Überlegungen zu Versionierung und Speicherung
Model Serving auf Kubernetes
- Überblick über Inferenz-Server
- Bereitstellung von TensorFlow Serving und TorchServe
- Einrichtung von Modell-Endpunkten
Techniken zur Optimierung der Inferenz
- Batching-Strategien
- Bearbeitung paralleler Anfragen
- Optimierung von Latenz und Durchsatz
Autoscaling von ML-Workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-Provisionierung und Ressourcenmanagement
- Konfiguration von GPU-Knoten
- Überblick über den NVIDIA Device Plugin
- Ressourcenanforderungen und -grenzen für ML-Workloads
Strategien für Modell-Rollout und Release
- Blue/Green-Deployments
- Canary-Rollout-Muster
- A/B-Tests zur Modellbewertung
Überwachung und Observability für ML in Produktion
- Metriken für Inferenz-Workloads
- Praktiken für Logging und Tracing
- Dashboards und Alerting
Sicherheits- und Zuverlässigkeitsaspekte
- Sicherung von Modell-Endpunkten
- Netzwerkrichtlinien und Zugangskontrolle
- Gewährleistung hoher Verfügbarkeit
Zusammenfassung und nächste Schritte
Voraussetzungen
- Verständnis der Arbeitsabläufe von containerisierten Anwendungen
- Erfahrung mit Python-basierten Machine-Learning-Modellen
- Kenntnisse der Kubernetes-Grundlagen
Zielgruppe
- ML-Ingenieure
- DevOps-Ingenieure
- Platform-Engineering-Teams
14 Stunden
Erfahrungsberichte (3)
grundlegendes Verständnis von Containern und Kubernetes sowie deren Interaktion Funktionen der OpenShift-Plattform
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maschinelle Übersetzung
Gute und machbare Übungen.
Jannes Wykhoff - Landesamt fur Geoinformation und Landesvermessung Niedersachsen (LGLN)
Kurs - Certified Kubernetes Application Developer (CKAD) - exam preparation
About the microservices and how to maintenance kubernetes