Kursplan
Forberedelse av maskinlæringsmodeller for implementasjon
- Pakking av modeller med Docker
- Eksport av modeller fra TensorFlow og PyTorch
- Overveier for versjonering og lagring
Modellservering på Kubernetes
- Øversikt over inferensservere
- Implementering av TensorFlow Serving og TorchServe
- Innstillinger for modellendepunkter
Optimaliseringsteknikker for inferens
- Strategier for partier
- Håndtering av samtidige forespørsler
- Tuning av responsivitet og gjennomstrømning
Autoskalering av ML-arbeidsbelastninger
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-tilordning og ressursforvaltning
- Konfigurasjon av GPU-noder
- Øversikt over NVIDIA enhetsprogramvare
- Ressursforespørsler og grenser for ML-arbeidsbelastninger
Modellerullering og utgivelsesstrategier
- Blå/grønn implementasjon
- Kanarieut rulingsmønstre
- A/B-tester for modellvurdering
Overvåking og observabilitet for ML i produksjon
- Målinger for inferensarbeidsbelastninger
- Logg- og sporingspraktisk
- Dashboards og varsler
Overveier for sikkerhet og pålitelighet
- Sikkerhet for modellendepunkter
- Nettverkspolicyer og tilgangskontroll
- Sikre høy tilgjengelighet
Oppsummering og neste steg
Krav
- Forståelse for kontaingerbaserte applikasjonsflyter
- Erfaring med Python-baserte maskinlæringsmodeller
- Kjennskap til Kubernetes-grunnleggende
Målgruppe
- ML-ingeniører
- DevOps-ingeniører
- Plattformingeniørdeler
Referanser (4)
basiskunnskap om container/Kubernetes og hvordan de samhandler erkjennelige funksjoner i OpenShift-plattformen
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maskinoversatt
Om mikrotjenester og hvordan vedlikeholde Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Maskinoversatt
Hvordan treneren effektivt overfører kunnskap
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maskinoversatt
Kunnskappen og utbytten med Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maskinoversatt