PySpark Schulungen in Österreich

Dieses live geleitete Training in Österreich behandelt die Stratio-Plattform mit Fokus auf die Module Rocket und Intelligence in Verbindung mit PySpark. Die Teilnehmer beherrschen Dateneingabe, -transformation und fortgeschrittene Analytik und erwerben praktische Fähigkeiten in Schleifen, UDFs und unternehmensweiten Datenworkflows.

In diesem leitergeführten Live-Training in Österreich lernen die Teilnehmer, wie sie Python und Spark gemeinsam nutzen, um Big Data zu analysieren, während sie an praktischen Übungen arbeiten.

Nach Abschluss dieses Trainings können die Teilnehmer:

• Spark mit Python nutzen, um Big Data zu analysieren.
• An Übungen arbeiten, die reale Anwendungsfälle simulieren.
• Verschiedene Werkzeuge und Techniken für die Big-Data-Analyse mit PySpark anwenden.

Dieses live durchgeführte Training (online oder vor Ort) richtet sich an Data Engineers, Data Analysts und Data Professionals, die Databricks und PySpark nutzen möchten, um skalierbare Datapipelines aufzubauen und bestehende SQL-Workflows zu migrieren.

Dieses Schulung bietet eine praktische Einführung in den Aufbau skalierbarer Datenverarbeitungs- und Machine-Learning-Arbeitsabläufe mit PySpark. Die Teilnehmenden lernen, wie Apache Spark in modernen Big-Data-Ökosystemen funktioniert und wie große Datensätze effizient mithilfe von Prinzipien der verteilten Datenverarbeitung verarbeitet werden können.

Dieser dreitägige, praxisorientierte Kurs konzentriert sich auf den Aufbau und die Optimierung effizienter Datenverarbeitungs-Workloads unter Verwendung von PySpark, Pandas und Polars in Kubernetes-basierten Umgebungen.

Die Teilnehmer entwickeln ein praxisnahes Verständnis dafür, wie Spark-Anwendungen auf Kubernetes ausgeführt werden und wie Konfigurationsentscheidungen auf Anwendungsebene Performance, Skalierbarkeit, Ressourcenverbrauch und Kosten beeinflussen. Der Kurs deckt zentrale Optimierungsbereiche ab, einschließlich der Dimensionierung von Executoren, Speicherallokierung, dynamischer Allokierung, Partitionierungsstrategien, Shuffle-Verhalten, dem Problem kleiner Dateien und der effizienten Verarbeitung von Parquet-Dateien.

Außerdem widmet sich der Kurs häufigen Herausforderungen bei der Arbeit mit Pandas, wie etwa Speicherlimitierungen und Speicherüberlauf-Fehlern (Out-of-memory), und stellt Polars als hochperformante Alternative für ausgewählte Datenverarbeitungs-Workloads vor. In praktischen Übungen diagnostizieren die Teilnehmer Leistungs- und Speicherprobleme, vergleichen unterschiedliche Konfigurationsstrategien und wenden Optimierungstechniken auf realistische ETL- und Machine-Learning-Szenarien an.

Der Fokus liegt während des gesamten Kurses auf praktischer Entscheidungsfindung: es geht darum, Engpässe zu identifizieren, die richtigen Werkzeuge auszuwählen, Spark effizient zu konfigurieren und ein Gleichgewicht zwischen Performance, Infrastrukturressourcenverbrauch und Kosten zu finden.