Data Engineering - Focus Azure

Zu Beginn lernen Sie die Rolle des Data Engineers, typische Aufgaben im Data-Engineering-Lifecycle und relevante Toolstacks für moderne Datenplattformen kennen. Anschließend beschäftigen Sie sich mit Dateninfrastruktur, Cloud-Grundlagen, Linux, Docker und ersten Datenpipelines in Azure-basierten Umgebungen. Darauf aufbauend vertiefen Sie Ihr Wissen in Data Warehousing, Datenmodellierung sowie ETL- und ELT-Prozessen mit Azure Data Factory, Synapse und Snowflake. Ein weiterer Schwerpunkt liegt auf Big Data, Data Lakes, Lakehouse-Architekturen und der Verarbeitung verteilter Daten mit Apache Spark in Databricks. Im abschließenden Capstone-Projekt planen, implementieren und präsentieren Sie eine produktionsnahe End-to-End-Datenpipeline in der Cloud.

Konkret behandeln wir:

• Modul 1: Einführung in Data Engineering 
  • Rolle und Aufgaben des Data Engineers im Vergleich zu Data Science und Analytics
  • Data-Engineering-Lifecycle: von Datenerfassung über Verarbeitung und Speicherung bis zur Bereitstellung
  • Überblick über typische Toolstacks im Data Engineering (Orchestrierung, Storage, Compute)
  • Nutzung von Blogs, Communities und Fachartikeln zur Vertiefung von Best Practices
• Modul 2: Dateninfrastruktur und Cloud-Grundlagen 
  • Grundlagen moderner Dateninfrastrukturen und die Rolle von ETL/ELT in Cloud-Architekturen
  • Einführung in Linux und Command Line zur Steuerung von Servern und Jobs
  • Docker und Containerisierung für reproduzierbare Data-Engineering-Umgebungen
  • Cloud Fundamentals mit Fokus auf Azure (VMs, Storage, IAM, Big-Data-Services)
  • Aufbau einer einfachen Datenpipeline in Azure mit ersten Verarbeitungsschritten in Synapse oder Databricks
• Modul 3: Data Warehouse und ELT-Pipelines 
  • Konzepte des modernen Data Warehousing und Cloud-Data-Warehouses
  • Datenmodellierung und Ladeprozesse für analytische Datenplattformen
  • Einführung in Snowflake: Abfragen, Transformationen und Modellierungsaufgaben
  • Umsetzung von ETL- und ELT-Prozessen mit Azure Data Factory und Synapse/Snowflake
  • Optional: Einsatz von dbt für automatisierte, testbare Transformationen
  • Grundlagen der Data Governance und Nutzung von Azure-Funktionen zur Qualitätssicherung
  • Mini-Projekt: Aufbau einer End-to-End-ELT-Pipeline zur Versorgung eines Cloud-Data-Warehouses
• Modul 4: Big Data, Data Lake und Lakehouse 
  • Big-Data-Grundlagen, verteilte Systeme und Arbeiten mit Apache Spark in Databricks
  • Design von Data-Lake-Architekturen für strukturierte, semi- und unstrukturierte Daten
  • Nutzung von NoSQL-Datenbanken und ETL-Prozessen im Data Lake
  • Lakehouse-Architekturen, ACID-Funktionalitäten auf Data Lakes und offene Table-Formate
  • Erste Streaming-Pipelines mit Spark Structured Streaming in der Cloud
  • Mini-Projekt: Kombination von Data-Lake- und Warehouse-Funktionen zu einer Lakehouse-Lösung
• Modul 5: Capstone-Projekt – End-to-End Data Engineering in der Cloud 
  • Planung eines eigenen End-to-End-Datenprojekts (Use Case, Datenquellen, Architektur)
  • Implementierung einer produktionsnahen Datenpipeline mit Azure-Services und Databricks
  • Dokumentation der Datenarchitektur und Governance-Aspekte
  • Präsentation der Lösung und Reflexion der eingesetzten Methoden

Idealerweise verfügen Sie über eine grundlegende Affinität zu Daten, IT- oder Digitalthemen und arbeiten bereits mit Daten, Kennzahlen oder Reports in Ihrem beruflichen Alltag. Wünschenswert sind erste Erfahrungen im Umgang mit Tabellenkalkulationen oder Datenabfragen. Programmierkenntnisse sind hilfreich, aber keine zwingende Voraussetzung für den Einstieg in den Kurs.

Während Ihrer Weiterbildung bearbeiten Sie die Lerninhalte auf unserer Online‑Plattform, auf die Sie jederzeit und von überall Zugriff haben.
Für Struktur im Alltag sorgen regelmäßige Mentoring‑Sessions und die Möglichkeit, jederzeit Unterstützung durch das Mentoring‑Team zu erhalten. So können Sie flexibel lernen und haben dennoch tägliche Unterstützung auf Ihrer Lernreise.

Dieser Kurs richtet sich an Fach- und Nachwuchskräfte aus den Bereichen Datenanalyse, Business Intelligence und Reporting, die ihre Kompetenzen gezielt in Richtung Data Engineering weiterentwickeln möchten. Ebenso eignet sich das Angebot für IT- und Software-Spezialistinnen und -Spezialisten, die datengetriebene Plattformen in der Cloud aufbauen oder bestehende Infrastrukturen modernisieren wollen. Angesprochen sind außerdem Fachkräfte aus Controlling, Finanzwesen, Operations oder Produktmanagement, die mit großen Datenmengen arbeiten und End-to-End-Datenflüsse besser verstehen möchten. Auch Quereinsteigerinnen und Quereinsteiger in Datenberufe profitieren von dem praxisorientierten und berufsbegleitenden Einstieg. Darüber hinaus ist der Kurs für Projektleitende und Verantwortliche in Digitalisierungs- und Data-Projekten geeignet, die Data-Engineering-Architekturen, Rollen und Workflows fundiert einordnen wollen.

On-Demand-Onlinekurs mit flexiblem Lernpensum innerhalb eines Zeitraums von 16 Wochen. Sie bestimmen Ihre Lernzeiten selbst und können die Inhalte beliebig oft wiederholen.

Kategorie: IT und Informatik
Kombinierbar mit: Data Literacy
InHouse-Schulung: Dieser Kurs ist auch als maßgeschneiderte InHouse-Schulung für Ihr Unternehmen verfügbar.
Weiterführende Informationen: Aktuelle Artikel und Neuigkeiten finden Sie in unserem Blog.
Newsletter: Bleiben Sie auf dem Laufenden mit unserem Newsletter.

• Engagierte Mentor:innen
  Unser Team aus Datenexpert:innen unterstützt Sie vom Kursstart bis zur Abschlussprüfung und steht Ihnen jederzeit für persönliche Gespräche oder über Slack zur Verfügung.
• Auf Sie angepasst
  Je nach Bedarf können Sie Ihre Weiterbildung in Voll- oder Teilzeit absolvieren. Dabei gehen wir gern auf Ihre Vorkenntnisse und Bedürfnisse ein und passen Ihren Lernpfad gegebenenfalls an.
• Praxisorientiert
  Durch die Arbeit an echten Beispielen und Datensätzen aus der Industrie bereiten wir Sie ideal auf die Arbeit im Alltag vor. In unserem Data Lab schreiben Sie Python‑Code, programmieren Algorithmen und automatisieren sie.
• 100 % Online
  Unsere Weiterbildungen absolvieren Sie in unserem Data Lab über Ihren Browser. So können Sie von zu Hause auf unsere Lernumgebung zugreifen und lernen, wo und wann es Ihnen passt.
• Kostenlose KI‑Trainings
  In unserer Lernbibliothek können Sie während Ihrer Weiterbildung weiterführende Trainings zu z. B. Datenanalyse mit generativer KI absolvieren.
• Zertifiziert
  Für jeden Meilenstein Ihres Trainingsprogramms erhalten Sie ein anerkanntes StackFuel‑Zertifikat, mit dem Sie Ihren Lernfortschritt und Ihre neuen Fähigkeiten belegen können.

Sie erhalten ein Zertifikat von StackFuel. Damit weisen Sie Ihre erworbenen Kenntnisse in Data Engineering, Cloud-Datenplattformen und End-to-End-Datenpipelines nachvollziehbar nach.

Zertifikat

Benötige ich Programmierkenntnisse für den Kurs?

Programmierkenntnisse sind hilfreich, aber keine zwingende Voraussetzung. Wenn Sie bereits mit Daten, Kennzahlen, Reports oder Tabellen arbeiten, haben Sie eine gute Grundlage für den Einstieg.

Welche Technologien lerne ich im Kurs kennen?

Sie arbeiten im Kurs mit modernen Cloud- und Data-Engineering-Technologien wie Azure, Databricks, Snowflake, Synapse, Apache Spark, Docker und grundlegenden ETL- beziehungsweise ELT-Ansätzen. Dadurch erhalten Sie einen praxisnahen Einblick in aktuelle Datenplattformen und Workflows.

Ist der Kurs berufsbegleitend geeignet?

Ja, der Kurs ist als On-Demand-Onlinekurs mit flexiblem Lernpensum innerhalb von 16 Wochen konzipiert. Sie bestimmen Ihre Lernzeiten selbst und können die Inhalte beliebig oft wiederholen.

Wie praxisnah ist die Weiterbildung aufgebaut?

Die Weiterbildung ist stark praxisorientiert und arbeitet mit realitätsnahen Beispielen, Datensätzen und einem eigenen End-to-End-Datenprojekt in der Cloud. So übertragen Sie das Gelernte direkt auf typische Aufgaben im Data Engineering.

Welche Unterstützung erhalte ich während des Kurses?

Sie profitieren von regelmäßigen Mentoring-Sessions und können sich jederzeit an das Mentoring-Team wenden. Dadurch lernen Sie flexibel, ohne auf fachliche Begleitung verzichten zu müssen.

Welchen Abschluss erhalte ich?

Sie erhalten ein Zertifikat von StackFuel. Damit dokumentieren Sie Ihre erworbenen Kenntnisse in Data Engineering, Cloud-Datenplattformen und produktionsnahen Datenpipelines.