Ta kontakt

Kursplan

Forberedelse av maskinlæringsmodeller for implementasjon

  • Pakking av modeller med Docker
  • Eksport av modeller fra TensorFlow og PyTorch
  • Overveier for versjonering og lagring

Modellservering på Kubernetes

  • Øversikt over inferensservere
  • Implementering av TensorFlow Serving og TorchServe
  • Innstillinger for modellendepunkter

Optimaliseringsteknikker for inferens

  • Strategier for partier
  • Håndtering av samtidige forespørsler
  • Tuning av responsivitet og gjennomstrømning

Autoskalering av ML-arbeidsbelastninger

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-tilordning og ressursforvaltning

  • Konfigurasjon av GPU-noder
  • Øversikt over NVIDIA enhetsprogramvare
  • Ressursforespørsler og grenser for ML-arbeidsbelastninger

Modellerullering og utgivelsesstrategier

  • Blå/grønn implementasjon
  • Kanarieut rulingsmønstre
  • A/B-tester for modellvurdering

Overvåking og observabilitet for ML i produksjon

  • Målinger for inferensarbeidsbelastninger
  • Logg- og sporingspraktisk
  • Dashboards og varsler

Overveier for sikkerhet og pålitelighet

  • Sikkerhet for modellendepunkter
  • Nettverkspolicyer og tilgangskontroll
  • Sikre høy tilgjengelighet

Oppsummering og neste steg

Krav

  • Forståelse for kontaingerbaserte applikasjonsflyter
  • Erfaring med Python-baserte maskinlæringsmodeller
  • Kjennskap til Kubernetes-grunnleggende

Målgruppe

  • ML-ingeniører
  • DevOps-ingeniører
  • Plattformingeniørdeler
 14 Timer

Antall deltakere


Pris per deltaker

Referanser (4)

Kommende kurs

Relaterte kategorier