Jsonnet: Metadatengetriebene Datenpipelines verwalten und überblicken

Inhaltsverzeichnis

Pipelines sind das Nervensystem moderner Datenplattformen und ermöglichen es, vielfältige Datenquellen anzubinden und zu verarbeiten. Doch mit der zunehmenden Zahl der integrierten Quellen steigt die Komplexität der Orchestrierung erheblich. Statische On-Demand-Datenpipelines treiben die Datenintegration insbesondere in Pilotphasen von Projekten zwar voran, stoßen jedoch schnell an ihre Grenzen: Sie sind in großen Projekten oft weder übersichtlich noch wartbar.

Darüber hinaus beeinflussen unbemerkte Änderungen in den Datenquellen die Stabilität der Pipelines. Metadatengetriebene Datenpipelines und Werkzeuge wie die JSON-basierte Konfigurationssprache Jsonnet versprechen Stabilität und ein minimalistisches Design in Frameworks zur Datenintegration.

iX-tract

• Technische Metadaten eignen sich besonders für den Aufbau von Metadatenframeworks zur Prozessautomatisierung mit Datenpipelines.
• Der Zuwachs an Metadaten in einem Projekt erschwert die Verwaltung und erfordert Werkzeuge, die die Daten für Menschen lesbar halten und für das Verarbeiten übersetzen.
• Die JSON-basierte Konfigurationssprache Jsonnet hilft beim Erstellen übersichtlicher Frameworks, die sich durch zahlreiche Constraints, automatisch generierte Zielpfade oder Tagging erweitern lassen.

Mehr zu Data Science / Datenanalyse

• Produktübersicht: Observability mit OpenTelemetry
• Metadatengetriebene Datenpipelines mit Jsonnet verwalten und überblicken
• Wie man kleine Dateneinheiten effizient komprimiert
• Datenanalyse mit großen Sprachmodellen: Wie Sie mit eigenen Daten chatten
• Datenanalyse mit Python: Muster in Zeitreihen erkennen
• Jupyter-Notebooks: Low-Code-Datenauswertung mit Mito
• Analyse mit Python: Daten optimal auswerten mit D-Tale
• Zentralisiertes Logging mit Loki

Dr. Stefan Klempnauer

Dr. Stefan Klempnauer ist Cloud-Architekt für Daten- und AI-Plattformen bei adesso SE. Er promovierte 2020 an der Ruhr-Universität Bochum nach Studium der Mathematik, Informatik und Kognitionswissenschaften.

Metadaten sind essenziell für die effektive Verwaltung von Datenpipelines. Man unterscheidet zwischen drei Kategorien: technische, operative und geschäftliche Metadaten. Dieser Artikel konzentriert sich auf technische Metadaten, da diese beim Aufbau eines Metadatenframeworks zur Prozessautomatisierung besonders hilfreich sind. Das zeigt ein Beispiel für ein Metadatenframework in Azure auf Basis von Azure DevOps, Azure Data Factory und Jsonnet. Die vorgestellten Konzepte sind technologieunabhängig und lassen sich mit wenigen Handgriffen in andere Cloud- oder On-Premises-Umgebungen übertragen.

Das war die Leseprobe unseres heise-Plus-Artikels "Jsonnet: Metadatengetriebene Datenpipelines verwalten und überblicken". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.