SSIS Alternative

SQL Server Integration Services (SSIS) vs. Azure Data Factory (ADF) – ein Blick aus der Praxis

In meinem vorherigen Beitrag habe ich kurz die beiden Werkzeuge zur Datenintegration gegenübergestellt. Hier gebe ich einen Einblick in meine Erfahrungen aus diversen Kundenprojekten. Außerdem sehen wir, warum die ADF eine SSIS Alternative ist.

Intro

Datenintegration kann manchmal wie eine Achterbahnfahrt sein – aufregend, aber auch herausfordernd. Und wenn es um Tools wie SQL Server Integration Services (SSIS) und Azure Data Factory (ADF) geht, kann die Wahl zwischen ihnen genauso knifflig sein wie der Entscheidungsprozess für die beste Achterbahn.

Meine Erfahrungen mit SSIS

SSIS ist wie der altbewährte Kumpel aus der Highschool – zuverlässig, vertraut und immer bereit, dir zu helfen. Ich habe SSIS in vielen Projekten eingesetzt. Begonnen hat die Reise mit dem SQL Server 2005. Zu Beginn ein wirklich cooles Tool und gegenüber den Mitbewerbern über Jahre voraus. Hier ist aber auch gleich zu sehen, was mich inzwischen stört. SSIS wurde in den folgenden Versionen vom SQL Server stark weiterentwickelt. Etwa bis SQL Server 2016 sind immer wieder neue und interessante Features und Optimierungen hinzugekommen. In den nachfolgenden Versionen gab es aber immer nur kleine Verbesserungen. Genau hier liegt auch das Problem. SSIS fühlt sich nicht mehr cool an. Es ist etwas aus der Mode gekommen. Es fehlt eine nahtlose Integration in die Microsoft Azure Cloud. Auch ist die Handhabung manchmal etwas gewöhnungsbedürftig. Ich habe mich über die Jahre daran gewöhnt. Ich kann aber Neueinsteiger verstehen, die damit nicht immer klarkommen. Also SSIS wird sicherlich noch eine Rolle spielen, aber in neuen Projekten ist es einfach nicht mehr gefragt, zumindest wenn ich bereit bin in die Cloud zu gehen. Dort gibt es zu viele gute Alternativen.

Was mich besonders stört an SSIS

• Es geht nicht weiter. Microsoft nimmt nur noch ein paar kleine Fehlerbehebungen vor. In den letzten Jahren ist die Weiterentwicklung von SSIS sehr stark heruntergefahren worden.
• Die Entwicklungsumgebung Visual Studio (VS) ist sehr mächtig und liefert sehr viele Möglichkeiten, jedoch ist SSIS nie zu 100 % im VS angekommen. Sei es eine eigene Toolbox (warum eigentlich?), immer wieder (mindestens) eine Version hinter der neuesten VS-Version hinterher usw.
• Das Debugging ist etwas umständlich. Teilweise auch nicht komplett möglich.
• Bis heute gibt es kein SFTP. Ich kann es zwar von anderen Anbietern hinzukaufen, aber wer will das schon?

Das ist dagegen gut

• SSIS funktioniert. Über all die Jahre ist vieles optimiert worden. Fehler gibt es nur noch wenige. Ich kenne viele Jobs, die jede Nacht laufen und seit Jahren keine Probleme bereitet haben.
• Ich kann so gut wie alles anbinden. Die Möglichkeiten sind schon sehr breit.
• Die Entwicklung mit Visual Studio gibt mir sehr viele Möglichkeiten. Ich kann verschiedene Projekte anlegen, in Solutions gruppieren, an Azure DevOps anhängen etc.

Meine Erfahrungen mit der SSIS Alternative ADF

Azure Data Factory ist wie das neue heiße SSIS, aufregend und voller Möglichkeiten. Als ich zum ersten Mal mit der ADF gearbeitet habe, war ich beeindruckt von der nahtlosen Integration mit Azure-Diensten. Es fühlte sich so an, als ob ich die volle Bandbreite der Cloud zur Verfügung hatte, um meine Daten zu transformieren. Trotz allem ist nicht zu verleugnen, dass die SSIS an den meisten Stellen als Grundlage gedient haben. Die meisten Funktionalitäten aus SSIS gibt es auch in der ADF. Teilweise sogar 1:1. Die sehen zwar anders aus, aber machen genau das Gleiche.

Aber natürlich gibt es auch einige Stolpersteine. Die Lernkurve kann steil sein, besonders wenn du mit SSIS vertraut bist. Es braucht jedoch Zeit, sich an die neue Benutzeroberfläche zu gewöhnen und zu verstehen, wie alles zusammenpasst.

Was mich besonders stört an ADF

• Die Entwicklung geht zügig weiter. Hier sollte bedacht werden, dass mit Microsoft Fabric ein weiteres Werkzeug auf dem Markt ist, dass (je nach Anforderung) eine Alternativ sein kann.
• Die Entwicklung im Browser mag heute „State of the art“ sein. Ich finde es aber teilweise eine Katastrophe. Einen Task zu löschen und weg ist er. In der Entwicklung ist man aber in einem Projekt und ändert immer mal wieder etwas. Mit SSIS kann man mit Strg-Z immer wieder die letzten Änderungen zurückholen. Im Browser geht das nicht. Geschriebener Text kann rückgängig gemacht werden. Ich habe aber ein visuelles Tool. Da geht das nicht.
• Ich arbeite auf einer virtuellen Maschine und kann debuggen. Die Laufzeiten sind aber teilweise eine Katastrophe. Um „mal eben“ etwas zu testen sind schnell mal ein paar Minuten vorbei. Auch wenn ich nur sehen will, was meine letzte kleine Änderung bewirkt.

Das ist dagegen gut

• ADF ist moderner. Viele Möglichkeiten (Tasks) sind aus SSIS nicht übernommen worden. Das macht es viel übersichtlicher. Microsoft hat hier eine gute Auswahl getroffen, denn es wurden genau die herausgenommen, die ich sowieso nie gebraucht habe. Ein paar Komponenten sind hinzugekommen. Zum Beispiel SFTP (siehe oben).
• Ich kann viel besser auf die Azure-Ressourcen zugreifen. Auch ist die ADF (zumindest die Pipelines) ein Teil von Azure Synapse.
• Die Anbindung an DevOps ist gut gemacht. Ich kann direkt gegen ein Repository arbeiten und bekomme nicht viel davon mit. Es läuft einfach „automatisch“.

Der Vergleich und warum die ADF eine SSIS Alternative ist

SSIS und ADF sind wie Äpfel und Orangen – beide sind Früchte, aber sie haben ihre eigenen einzigartigen Eigenschaften. SSIS ist großartig für lokale Datenintegrationsprojekte und bietet eine vertraute Benutzeroberfläche für erfahrene Entwickler. ADF hingegen ist perfekt für Cloud-basierte Projekte und bietet eine breite Palette von Azure-Integrationen.

Am Ende des Tages kommt es auf deine Bedürfnisse an. Wenn du nach einem robusten Tool für lokale Datenintegration suchst, ist SSIS wahrscheinlich die richtige Wahl für dich. Wenn du jedoch in die Cloud springen und die volle Power von Azure nutzen möchtest, ist sicherlich die ADF dein neuer bester Freund. Also, wo soll die Reise hingehen? Wir unterstützen dich gerne dabei.