Auf der diesjährigen Microsoft Build hat Microsoft die Katze aus dem Sack gelassen und mit Microsoft Fabric eines seiner größten und ambitioniertesten Projekte der letzten Jahre vorgestellt.
Fabric ist eine von Microsoft entwickelte Datenanalyseplattform für das „Zeitalter der künstlichen Intelligenz“. Sie soll alle bestehenden Daten- & Analysetools zusammenführen. So können Unternehmen alle Herausforderungen rund um das Thema Daten auf einer einheitlichen Plattform lösen.
Integration von Daten-Diensten
Derzeit bietet Microsoft verschiedene Werkzeuge und Plattformen für die Datenverarbeitung an. Durch die Integration all dieser Dienste in einer Plattform bietet Fabric eine End-to-End-Lösung für die Integration, Speicherung, Verarbeitung, Analyse und Visualisierung von Daten.
Fabric ist eine Weiterentwicklung von Power BI (einigen vielleicht noch als Power BI Service bekannt), die um eine Reihe von Funktionen erweitert wurde:
- Für die Datenintegration nutzt Fabric Pipelines & Wrangling Data Flows aus der Data Factory.
- Data Engineers finden mit Lakehouses und Apache Spark Notebooks / Jobs bekannte Werkzeuge aus Azure Synapse Analytics wieder.
- Data Scientists können KI-Modelle erstellen, Experimente durchführen oder Notebooks nutzen.
- Mit Warehouses kann man – wie der Name schon sagt – Data Warehouses erstellen.
- Event Streams können für Echtzeitanalysen verwendet werden, KQL-Datenbanken & KQL-Query Sets können erstellt werden.
- Der Data Activator beobachtet Daten 24/7. Er erkennt Muster und Trends und startet voausgewählte Flows bei bestimmten Mustern.
OneLake – Das OneDrive für Daten
Aber wo sind all diese Daten gespeichert und wie können sie wiederverwendet und gemeinsam genutzt werden? Hier kommt eine weitere wichtige Kernkomponente von Fabric ins Spiel – Microsoft OneLake.
OneLake ist ein globaler Data Lake, der einem Unternehmen (d.h. einer Organisation oder einem Tenant), das Fabric einsetzt, automatisch zur Verfügung steht.
Wie der Name schon sagt, basiert dieser OneLake auf einem Azure Data Lake Storage Gen2 und wird direkt von Fabric verwaltet. Darüber hinaus werden sämtliche Daten aller Workspaces auf diesem OneLake gespeichert und sind jederzeit wiederverwendbar.
Alle von Fabric in diesem OneLake gespeicherten Daten werden jetzt (standardmäßig) im Delta-Format gespeichert, einem beliebten offenen Datenformat.
Dies betrifft Daten, die beispielsweise über Apache Spark Notebooks in ein Lakehouse geschrieben werden, aber auch Daten, die in einem Warehouse gespeichert sind, werden intern im Delta-Format auf dem OneLake gespeichert.
Das Teilen & Weiterverwenden von Daten
Fabric speichert also alle Daten im OneLake – das ist schon mal gut. Aber wie kann ich zum Beispiel Daten, die ich in einem Lakehouse gespeichert habe, in einem Power BI Report verwenden? In Fabric ist das ganz einfach, denn Fabric synchronisiert alle Metadaten automatisch.
Wenn man z.B. ein Lakehouse in Fabric anlegt, erstellt Fabric automatisch einen SQL-Endpoint, über den man jede Tabelle in diesem Lakehouse per SQL abfragen kann. Schreibt man nun mit einem Spark Notebook Daten in eine Tabelle des Lakehouses, synchronisiert Fabric diese automatisch mit dem SQL-Endpoint – wer schon einmal mit Synapse Analytics gearbeitet hat, kennt das Prinzip vielleicht schon vom SQL-Serverless Pool.
Aber das ist noch nicht alles, denn Fabric erstellt automatisch ein Dataset für diese Lakehouse-Tabelle. So können die Daten direkt in Power BI verwendet werden – ohne dass der Entwickler etwas tun muss.
Datenverwaltung & Berechtigungen
Bei immer größer werdenden Datenmengen verliert man schnell den Überblick. Welche Daten kommen woher? Wo werden sie von wem verwendet? Data Lineage ermöglicht es, diese Informationen für alle Arten von Daten zu visualisieren.
Fabric synchronisiert Metadaten über gespeicherte Daten und Verarbeitungsprozesse etc. Somit ist es in der Lage, den Weg und die Nutzung von Daten in einer Art Datenflussdiagramm abzubilden.
Wer schon einmal Microsoft Purview verwendet hat, dem sollte dies bekannt vorkommen.
Aktueller Stand der Dinge & Fazit
Derzeit befindet sich Fabric in einer offenen Vorschauversion. Diese Preview enthält jedoch noch längst nicht alle Funktionen, die für eine vollständige Datenlösung notwendig sind. Aber sie gibt bereits einen sehr guten Eindruck davon, was Fabric sein wird – und das sieht bisher sehr beeindruckend aus!
Weitere Informationen zu Fabric finden sich auf der Übersichtsseite von Microsoft – dort kann man sich auch für eine kostenlose 60 Tage Testversion anmelden und sich selbst ein Auge von dem Produkt machen.
Auf dem offiziellen Fabric-Blog finden sich weitere interessante und detaillierte Beiträge zu den einzelnen Komponenten und Informationen darüber, was in den kommenden Monaten noch zu erwarten ist.
Wir bei arelium sind sehr gespannt und werden uns intensiv mit den Themen rund um Fabric beschäftigen. Somit können wir auch Ihr Unternehmen mit dieser spannenden Technologie nach vorne bringen.
Weitere Informationen zu dem Thema finden Sie in dem Video zur Microsoft Fabric auf unserem YouTube Kanal.
