Auf der diesjährigen Microsoft Build hat Microsoft die Katze aus dem Sack gelassen und mit Microsoft Fabric eines seiner größten und ambitioniertesten Projekte der letzten Jahre vorgestellt.
Fabric ist eine Datenanalyseplattform, die Microsoft für das „Zeitalter der künstlichen Intelligenz“ entwickelte. Sie soll alle bestehenden Daten- & Analysetools zusammenführen. Somit können Unternehmen alle Herausforderungen rund um das Thema Daten auf einer einheitlichen Plattform lösbar sind.
Integration von Daten-Diensten
Derzeit bietet Microsoft verschiedene Werkzeuge und Plattformen für die Verarbeitung von Daten an. Durch die Integration all dieser Dienste in einer Plattform wird mit Fabric eine durchgängige Lösung für die Integration, Speicherung, Verarbeitung, Analyse und Visualisierung von Daten geschaffen.
Fabric ist eine Weiterentwicklung von Power BI (einigen vielleicht noch als Power BI Service bekannt), erweitert um eine Reihe von Funktionen:
- Für die Datenintegration integriert Fabric Pipelines & Wrangling Data Flows aus der Data Factory.
- Data Engineers finden mit Lakehouses und Apache Spark Notebooks / Jobs bekannte Werkzeuge aus Azure Synapse Analytics wieder.
- Data Scientists können KI-Modelle erstellen, Experimente durchführen oder Notebooks nutzen.
- Mit Warehouses kann man – wie der Name schon sagt – Data Warehouses erstellen.
- Event Streams können für Echtzeitanalysen verwendet werden, KQL-Datenbanken & KQL-Query Sets können erstellt werden.
OneLake – Das OneDrive für Daten
Aber wo sind all diese Daten gespeichert und wie kann man sie wiederverwenden und gemeinsam nutzen? Darum kommt hier eine weitere wichtige Kernkomponente von Fabric ins Spiel – Microsoft OneLake.
OneLake ist ein globaler Data Lake, der einem Unternehmen (d.h. einer Organisation oder einem Tenant), das Fabric einsetzt, automatisch zur Verfügung steht.
Wie der Name schon sagt, basiert dieser OneLake auf einem Azure Data Lake Storage Gen2 und wird direkt von Fabric verwaltet. Darüber hinaus sind sämtliche Daten aller Workspaces auf diesem OneLake gespeichert und jederzeit wiederverwendbar.
Alle Daten, die von Fabric in diesem OneLake gespeichert werden, werden nun (standardmäßig) im Delta-Format gespeichert, einem sehr beliebten offenen Datenformat.
Dies betrifft Daten, die beispielsweise über Apache Spark Notebooks in ein Lakehouse geschrieben werden, aber auch die in einem Warehouse gespeicherten Daten werden intern im Delta-Format auf dem OneLake gespeichert.
Das Teilen & Weiterverwenden von Daten
Fabric speichert also alle Daten auf dem OneLake – das ist schon mal super. Aber wie kann ich zum Beispiel Daten, die ich in einem Lakehouse gespeichert habe, in einem Power BI Report verwenden? In Fabric ist das ganz einfach, weil Fabric alle Metadaten selbstständig synchronisiert.
Wenn man z.B. ein Lakehouse in Fabric anlegt, erstellt es automatisch einen SQL Endpoint, der es ermöglicht, jede Tabelle in diesem Lakehouse per SQL abzufragen. Wenn man nun mit einem Spark Notebook Daten in eine Tabelle des Lakehouses schreibt, synchronisiert Fabric diese automatisch mit dem SQL-Endpoint – wer schon einmal mit Synapse Analytics gearbeitet hat, kennt das Prinzip vielleicht schon vom SQL-Serverless Pool.
Aber damit nicht genug, denn Fabric legt auch automatisch direkt ein Dataset für diese Lakehouse-Tabelle an, welches man dann direkt in Power BI verwenden kann – ohne dass man als Entwickler etwas tun muss.
Datenverwaltung & Berechtigungen
Bei immer größer werdenden Datenmengen verliert man schnell den Überblick. Welche Daten kommen woher? Wo werden sie von wem verwendet? Data Lineage ermöglicht es, diese Informationen für alle Arten von Daten zu visualisieren.
Fabric synchronisiert Metadaten über gespeicherte Daten und Verarbeitungsprozesse etc. Somit ist es in der Lage, den Weg und die Nutzung von Daten in einer Art Datenflussdiagramm abzubilden.
Wer schon einmal Microsoft Purview verwendet hat, dem sollte dies bekannt vorkommen.
Aktueller Stand der Dinge & Fazit
Derzeit befindet sich Fabric in einer offenen Vorschauversion. Diese Preview enthält jedoch noch längst nicht alle Funktionen, die für eine vollständige Datenlösung notwendig sind. Aber sie gibt bereits einen sehr guten Eindruck davon, was Fabric sein wird – und das sieht bisher sehr beeindruckend aus!
Weitere Informationen zu Fabric finden sich auf der Übersichtsseite von Microsoft – dort kann man sich auch für eine kostenlose 60 Tage Testversion anmelden und sich selbst ein Auge von dem Produkt machen.
Auf dem offiziellen Fabric-Blog finden sich weitere interessante und detaillierte Beiträge zu den einzelnen Komponenten und Informationen darüber, was in den kommenden Monaten noch zu erwarten ist.
Wir bei arelium sind sehr gespannt und werden uns intensiv mit den Themen rund um Fabric beschäftigen. Somit können wir auch Ihr Unternehmen mit dieser spannenden Technologie nach vorne bringen.
Weitere Informationen zu dem Thema finden Sie in dem Video zur Microsoft Fabric auf unserem YouTube Kanal.
