Direct Lake in Microsoft Fabric
Microsoft Fabric bringt viele spannende Neuerungen mit sich, aber eine der coolsten Features für Data Engineers und Analysten ist definitiv Direct Lake. Ich würde sogar behaupten, dass dies das Killer-Feature in Fabric ist. Damit kannst du Power BI vergessen.
Ich habe in den letzten Monaten viel Berührung mit dem Thema gehabt und kann ein paar Tipps geben, die dir das Leben erleichtern.
Was ist Direct Lake?
Den Direct Lake-Modus verwende ich in einem Semantischen Modell in Microsoft Fabric. Ein Semantisches Modell ist nichts anderes als das frühere Dataset in Microsoft Power BI. Ich gehe davon aus, dass dir das bereits bekannt ist.
Direct Lake ist eine smarte Abfrage-Technologie in Microsoft Fabric, die es erlaubt, Daten direkt aus dem OneLake zu lesen – ohne umständlichen Import oder extra Caching-Schicht. In Power BI gibt es das bisher nicht. Dort kennst du vielleicht Direct Query und/oder Live Query. Also der direkte Zugriff auf eine SQL Server Datenbank oder einen Analysis Services Cube (ein Dataset in Power BI ist übrigens nichts anderes als ein Analysis Services Cube). Alternativ geht immer der Import-Modus. Das ist aber natürlich die schlechteste Variante, denn hier muss ich immer eine weitere physische Schicht bei der Beladung einplanen. Daraus ergeben sich dann die Nachteile Daten aktuell zu halten, die Dauer der Beladung etc. Mit Direct Lake bekomme ich viel mehr geboten.
Warum ist Direct Lake so cool?
Wie bereits erwähnt hat der Direct Lake-Modus einige Vorteile. Hier liste ich dir mal die aus meiner Sicht wichtigsten Punkte auf:
- Gute Performance ohne nerviges Caching
Direct Lake ist in in der Anwendung deutlich schneller als Direct Query, weil die Daten direkt aus dem OneLake im Parquet-Format geladen werden. Kein ewiges Warten durch Datenbankabfragen oder ständiges Cache-Neuladen. - Super skalierbar
Da keine eigene SQL-Datenbank oder Engine benötigt wird, skaliert Direct Lake perfekt mit wachsenden Datenmengen. Selbst bei Millionen von Zeilen bleibt die Performance top. Was in meinem OneLake steht, dass kann ich auch im Direct Lake-Modus verfügbar machen. - Kostensparend
Im Vergleich zu klassischen Import-Ansätzen oder Direct Query spart Direct Lake ordentlich Rechenressourcen und natürlich auch den Speicherplatz, den es sonst für die zusätzliche Import-Schicht benötigt.
Was sollte ich dafür machen?
Es gibt ein paar Dinge, die du beachten solltest. Ich würde dir übrigens empfehlen die nachfolgenden Punkte immer zu beachten, denn diese sind nicht nur beim Direct Lake sinnvoll.
- Datenmodell
Dein Semantisches Modell sollte am Besten auf dem Gold-Layer deiner Medaillon-Architektur basieren. Wenn du die Medaillon-Architektur nicht kennst, dann bitte einmal den Artikel dazu lesen. Im Gold-Layer solltest du immer schauen, dass du deine Tabellen als Stern-Schema aufbereitet hast. So bekommst du gute Performance und weniger Probleme bei der Erstellung von Kennzahlen. Außerdem solltest du nicht zu viel Ballast mit dir rumschleppen. Ein paar Attribute zu viel sind nicht schlimm, aber vieles kannst du dir oft sparen. Das solltest du auch hier machen. Wenn du im Modell dann noch wenig oder nur einfache Berechnungen machst, dann ist es perfekt. Hast du hier ein paar komplexe Dinge verbaut, dann solltest du diese lieber in Deinen Beladungsprozess verlagern. - Partitionierung
Falls du mit großen Datenmengen arbeitest, hilft dir eine geschickte Partitionierung (z. B. nach Datum oder Region), um die Abfragen nochmal zu beschleunigen.
- Speicherformat
Direct Lake liebt Parquet-Dateien! Falls deine Daten noch nicht im Parquet-Format vorliegen, lohnt sich eine Umwandlung – nicht nur wegen der Performance, sondern auch wegen der Speicherersparnis.
Fazit
Direct Lake in Microsoft Fabric ist ein echter Gamechanger für den Umgang mit großen Datenmengen. Wer bisher zwischen Direct Query und Import-Modellen abwägen musste, bekommt hier eine perfekte Mischung aus Performance und Flexibilität. Das ist auch einer der Gründe von Microsoft Power BI nach Microsoft Fabric zu wechseln. Das kann Power BI einfach nicht. Also: Worauf wartest du noch?
