Moderne ETL-Prozesse mit (Microsoft) Azure Data Factory

PASS-Regionalgruppe Mittelrhein

Am Abend des 24. April 2020 hatte die PASS-Regionalgruppe Mittelrhein zu einem Vortrag geladen. Thema war die zeitgemäße Entwicklung moderner ETL-Prozesse mit Hilfe von Microsofts Azure Data Factory. Die aktuelle Corona-Krise zwang uns, diese Veranstaltung als Online-Event abzuhalten. Dies war jedoch Videokonferenztool TEAMS sehr komfortabel zu realisieren. Sicher lag es nicht nur an der Möglichkeit dem Vortrag somit gemütlich vom heimischen Sofa aus folgen zu können. Teilweise wurden bis zu 25 Teilnehmer registriert – ein Rekord in der Regionalgruppe.

Spannendes Thema

Viele Interessierte ließen sich schon durch den Titel der Veranstaltung begeistern. Das Thema „Azure Data Factory“ ist am Puls der Zeit und wer als Entwickler oder Entscheider in der Microsoft-Welt irgendwie mit größeren Datenmengen zu tun hat, kommt an diesem Trend zurecht aktuell nicht vorbei. Genau dies versuchten die beiden arelium-Mitarbeiter Christopher Münch und Torsten Ahlemeyer zu zeigen. In ihrer knapp 75 minütigen Session zeigten sie dies theoretisch aber auch am Praxisbeispiel. Im Anschluss entwickelte sich regionalgruppentypisch noch eine rege Diskussion. Die Fragerunde konnte qualifiziert alle Unklarheiten beseitigen. Des Weiteren wurden manche Erfahrungen aus dem Alltag eines Beraters und entsprechenden Kundenprojekten geteilt. An solch einer Veranstaltung nehmen Teilnehmer mit stark unterschiedlichen Vorkenntnissen teil, die diverse Rollen in einen sehr breiten Anwendungsszenario bekleiden. Neben Entwicklern sind auch Projektleiter, IT-Entscheider, Administratoren, usw… am Austausch beteiligt.

Frisches Referentenblut

Mit Christopher Münch hat ein arelium-Mitarbeiter seine Premiere als Referent gefeiert, der sich sehr gut auf der Entwicklerseite auskennt und schon lange in entsprechenden BI-Projekten eingesetzt wird. Er konnte neben seinem enormen Fachwissen auch immer kleine unterhaltsame Anekdoten aus dem „echten Leben“ einstreuen. Somit konnte er auch an Praxisbeispielen die Antworten auf Nachfragen verdeutlichen. Mit Torsten Ahlemeyer stand ihm schon in der Vorbereitung ein Senior zur Seite, der seit über einem Jahr als Sprecher auf Konferenzen auftritt. er unterstütze ihn mit manchen Tipps zum Referenten Dasein. Ähnlich wie die Vorträge „die Algorithmen hinter Facebook, XING und den Navigationsgeräten“ oder die Serie der Kopfnüsse mit Beiträgen wie „der T-SQL Sudoku-Löser“ gab es nur einen kurzen Erklärungs- und Einleitungsteil, dann ging es direkt in den Praxisteil über.

Eine durchgehende Demo mit Massendaten

Die beiden Referenten hatten sich ihren Redebeitrag aufgeteilt, verwendeten aber über die ganze Session das selbe Beispiel mit identischer Datenbasis. Dazu hatten sie über die Plattform „kaggle.com“ über 3,5 Millionen Datensätze mit Flugbewegungen zwischen amerikanischen Airports organisiert. An diesem Muster zeigte erst Torsten Ahlemeyer den bisherigen Weg, die Daten aus einer CSV-Datei in den SQL-Server zu bekommen. Dies ist bei so einer Datenmenge jedoch nicht so einfach. Wenn dann noch das aufbereiten (Typenanpassung, Spaltenbennennung, …) und die grafische Ausgabe dazu kommt, dauert dies seine Zeit.

Kaum war dies erfolgreich absolviert übernahm Christopher Münch und demonstrierte, wie man die selbe Aufgabe mit heutigen Methoden effizient umsetzen kann. Hatte sein Kollege noch händisch Quellcode bereit stellen müssen, klickte er die entsprechenden Befehle durch Unterstützung einer grafischen Oberfläche zusammen. Aber nicht nur die Entwicklungsvorteile und -vereinfachungen kamen zur Sprache und wurden demonstriert. Auch die Prozesse „unter der Haube“ waren für die Teilnehmer sehr interessant. Spätestens als Christopher Münch zeigte, wie die Azure Data Factory selbstständig die Aufgabe in mehrere Partitionen zerlegte und auf den vorhandenen (virtuellen) Kernen gleichzeitig parallel ausführen konnte und so deutlich schneller zu einem identischen Ergebnis kam, lagen die Vorteile dieser Lösung auf der Hand.

 

Das bewegte die Teilnehmer