Administrasjon av Apache Spark Treningskurs

Denne instruktørledede, live opplæringen (online eller på sted) er rettet mot mellomnivå dataforskere og ingeniører som ønsker å bruke Google Colab og Apache Spark for behandling og analyse av store datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Opprette en stor data-miljø ved bruk av Google Colab og Spark.
• Behandle og analysere store datasett effektivt med Apache Spark.
• Visualisere store data i et samarbeidsmiljø.
• Integrere Apache Spark med skyløsninger.

Denne undervisningsledete, live-opplæringen (online eller på stedet) er rettet mot dataingeniører, dataanalytikere og fagpersoner innen dataprofessjon som ønsker å bruke Databricks og PySpark til å bygge skalerbare datapipelines og migrere eksisterende SQL-arbeidsflyter.

Denne opplæringen gir en praktisk innføring i å bygge skalerbare databehandlings- og maskinlæringsarbeidsflyter ved hjelp av PySpark. Deltakerne lærer hvordan Apache Spark fungerer i moderne Big Data-ekosystemer, og hvordan man effektivt behandler store datasett ved hjelp av prinsippene for distribuert datateknikk.

Dette tre-dagers praktiske kurset fokuserer på å bygge og optimalisere effektive databehandlingsarbeidsflyter ved hjelp av PySpark, Pandas og Polars i Kubernetes-baserte miljøer.

Deltakerne vil utvikle en praktisk forståelse av hvordan Spark-applikasjoner kjører på Kubernetes, og hvordan konfigurasjonsvalg på applikasjonsnivå påvirker ytelse, skalerbarhet, ressursforbruk og kostnader. Kurset dekker viktige optimaliseringsområder, inkludert executor-størrelse, minneallokering, dynamisk allokering, partisjoneringsstrategier, shuffle-opptreden, problemer med små filer og effektiv Parquet-behandling.

Kurset adresserer også vanlige utfordringer ved bruk av Pandas, inkludert minnebegrensninger og minnefeil (out-of-memory), og introducerer Polars som et høytytende alternativ for utvalgte databehandlingsoppgaver. Gjennom praktiske øvelser vil deltakerne diagnostisere ytelses- og minneproblemer, sammenligne ulike konfigurasjonsstrategier og anvende optimaliseringsteknikker på realistiske ETL- og maskinlærings scenarioer.

Fokus i hele kurset ligger på praktisk beslutningstaking: å forstå hvordan man identifiserer flaskehalser, velger riktig verktøy, konfigurerer Spark effektivt og balanserer ytelse mot infrastrukturressursforbruk og kostnader.

Dette veiledede kurset i Norge (online eller på sted) er rettet mot ingeniører som ønsker å sette opp og deploye Apache Spark-systemet for behandling av ekstremt store mengder data.

Etter dette kurset vil deltakerne kunne:

I denne instruktørguidede liveopplæringen i Norge, vil deltakerne lære hvordan de kan bruke Python og Spark sammen til å analysere big data, gjennom praktiske øvelser.

Når opplæringen er ferdig, vil deltakerne være i stand til:

• Å lære hvordan man bruker Spark sammen med Python til å analysere Big Data.
• Å jobbe med øvelser som etterlikner tilfeller fra virkeligheten.
• Å bruke ulike verktøy og teknikker for big data-analyse ved hjelp av PySpark.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke og integrere Spark, Hadoop og Python for å behandle, analysere og transformere store og komplekse datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige miljøet for å begynne å behandle store data med Spark, Hadoop og Python.
• Forstå funksjonene, kjernekomponentene og arkitekturen til Spark og Hadoop.
• Lær hvordan du integrerer Spark, Hadoop og Python for behandling av store data.
• Utforsk verktøyene i Spark-økosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka og Flume).
• Bygg anbefalingssystemer for samarbeidsfiltrering som ligner på Netflix, YouTube, Amazon, Spotify og Google.
• Bruk Apache Mahout til å skalere maskinlæringsalgoritmer.