Machine Learning - Bibliothek - arelium - Wir holen mehr aus deinen Daten

k-Nearest Neighbors Algorithmus – Schnell und sicher Daten laden – Anleitung & Tipps

Emil Vincazovic — Mon, 16 Feb 2026 10:00:58 +0000

k-Nearest Neighbors: ein Klassiker im Machine Learning mit aktueller Relevanz

Der k-Nearest Neighbors Algorithmus, kurz kNN, gehört zu den einfachsten und zugleich intuitivsten Verfahren im Machine Learning. Er ordnet neue Datenpunkte anhand der Ähnlichkeit zu bereits bekannten Beispielen ein. Dabei kann er sowohl für Klassifikations- als auch für Regressionsaufgaben eingesetzt werden. In modernen Data- und AI-Projekten bleibt kNN relevant, weil er ohne komplexe Modelltrainings auskommt, leicht verständlich ist und sich schnell als Benchmark oder Basismodell einbinden lässt. Gerade in explorativen Phasen, wie sie auch in Azure Machine Learning oder in Fabric Notebooks stattfinden, kann kNN wertvolle erste Erkenntnisse liefern.

Funktionsweise kompakt erklärt

Das Prinzip von kNN ist so einfach wie wirkungsvoll. Stellen Sie sich vor, Sie betreten eine neue Stadt und wollen wissen, welche Restaurants Ihnen gefallen könnten. Sie fragen nicht jeden zufällig, sondern suchen nach den drei oder fünf Personen, deren Geschmack Ihrem am nächsten kommt. Die Empfehlungen dieser „nächsten Nachbarn“ bestimmen Ihre Entscheidung. Technisch betrachtet misst kNN die Distanz zwischen einem neuen Datenpunkt und allen bekannten Punkten im Datensatz. Die k Punkte mit der geringsten Distanz werden als „Nachbarn“ ausgewählt. Bei einer Klassifikation wird die Mehrheitsklasse dieser Nachbarn übernommen. Bei Regressionen wird der Mittelwert der Nachbarn berechnet.

Typische Einsatzbereiche

kNN ist besonders nützlich, wenn Daten klar strukturiert und überschaubar sind, etwa bei der Erkennung von Mustern in Kundenverhalten, der Empfehlung von Produkten oder der Klassifikation einfacher Sensorwerte im IoT-Umfeld. In der Betrugserkennung kann er als schnelles Vorfiltermodell dienen, bevor komplexere Verfahren wie neuronale Netze zum Einsatz kommen. Weniger geeignet ist kNN für sehr große Datensätze mit hohem Dimensionalitätsgrad, da die Berechnung der Distanz zu allen Punkten schnell sehr ressourcenintensiv wird.

Vorteile und Nachteile aus Praxissicht

Der größte Vorteil liegt in der Einfachheit und Interpretierbarkeit. Fachbereiche können Ergebnisse ohne tiefes mathematisches Wissen nachvollziehen. Gleichzeitig ist kNN robust gegenüber Rauschen in den Daten, wenn k sinnvoll gewählt wird. Nachteile zeigen sich bei der Performance, sobald die Datenmenge stark wächst, sowie bei der Empfindlichkeit gegenüber der Wahl der Distanzmetrik und der Skalierung der Features.

Bezug zum Microsoft- und Azure-Ökosystem

Im Microsoft-Umfeld lässt sich kNN einfach mit Bibliotheken wie scikit-learn in Azure Machine Learning oder Azure Databricks einsetzen. Auch in Microsoft Fabric Notebooks können Data Engineers den Algorithmus für schnelle Prototypen nutzen. Für produktive Szenarien bietet sich die Integration in SynapseML an, um kNN-Modelle skalierbar im Azure-Cluster zu betreiben. Über Onelake können die zugrunde liegenden Daten zentral bereitgestellt werden, was die Wiederverwendung des Modells in verschiedenen BI-Reports erleichtert.

Mini-Beispiel in Python

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# Daten laden
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.2, random_state=42
)

# kNN-Modell erstellen
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train, y_train)

# Vorhersage treffen
predictions = knn.predict(X_test)

# Genauigkeit prüfen
accuracy = knn.score(X_test, y_test)
print(f"Genauigkeit: {accuracy:.2f}")

Dieses Beispiel lässt sich in einem Fabric Notebook oder direkt in Azure Machine Learning ausführen. Durch die geringe Komplexität ist kNN ideal für den Start, bevor auf komplexere Modelle umgestiegen wird.

Warum kNN heute noch relevant ist

Trotz des Vormarschs von Deep Learning und Foundation Models behält kNN seinen Platz im Werkzeugkasten moderner Data Scientists. Er ist nicht nur ein Lern- und Demonstrationsmodell, sondern wird in produktiven Szenarien als schneller Klassifikator oder zur Vorverarbeitung eingesetzt. In hybriden Architekturen innerhalb von Microsoft Fabric kann kNN als Edge-Algorithmus für schnelle Entscheidungen dienen, bevor Daten in zentrale KI-Modelle fließen. Er bleibt damit ein Beispiel dafür, wie bewährte Verfahren und moderne Plattformen gemeinsam Mehrwert schaffen.

Der Beitrag k-Nearest Neighbors Algorithmus – Schnell und sicher Daten laden – Anleitung & Tipps erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Gradient Boosting Azure Integration – Beispieldaten schnell und einfach erstellen

Emil Vincazovic — Mon, 02 Feb 2026 10:00:17 +0000

Gradient Boosting für leistungsstarke Machine-Learning-Modelle im Microsoft- und Azure-Umfeld

Gradient Boosting ist ein Ensemble-Algorithmus im Bereich Machine Learning, der sich in den letzten Jahren zu einem der wichtigsten Werkzeuge für die Erstellung hochperformanter Vorhersagemodelle entwickelt hat. Er kombiniert viele schwache Einzelmodelle zu einem starken Gesamtmodell und erreicht damit oft eine Genauigkeit, die klassische Verfahren übertrifft. Eingesetzt wird er in Szenarien, in denen komplexe Muster in Daten erkannt und präzise Prognosen erstellt werden müssen, beispielsweise bei der Betrugserkennung, der Kundenabwanderungsanalyse oder der Preisvorhersage.

In modernen Data- und AI-Projekten hat Gradient Boosting eine besondere Relevanz, da er auch mit heterogenen Datenstrukturen umgehen kann und sich sehr gut in skalierbare Cloud-Architekturen einfügt. Im Zusammenspiel mit Microsoft Fabric und Diensten wie Azure Machine Learning können Unternehmen diesen Algorithmus schnell und effizient produktiv einsetzen.

Wie Gradient Boosting arbeitet

Das Grundprinzip von Gradient Boosting lässt sich mit einer Metapher erklären. Stellen dir vor du schreibst einen Bericht und verbesserst ihn in mehreren Durchgängen. Jeder Durchgang konzentriert sich darauf, die größten Fehler des vorherigen zu korrigieren. Genau so funktioniert Gradient Boosting: Es startet mit einem einfachen Modell, analysiert die Fehler, baut ein neues Modell, das genau diese Fehler reduziert, und wiederholt den Prozess viele Male.

Technisch gesehen basiert das Verfahren auf Entscheidungsbäumen mit geringer Tiefe, die nacheinander trainiert werden. Jedes neue Modell optimiert den sogenannten Gradienten der Verlustfunktion, also die Richtung, in der die größten Verbesserungen zu erwarten sind. So entsteht Schritt für Schritt ein starkes Modell aus vielen schwachen Komponenten.

Einsatzbereiche in der Praxis

Gradient Boosting entfaltet seine Stärken besonders in Anwendungsfeldern, in denen hohe Vorhersagequalität entscheidend ist. Unternehmen setzen ihn für Kreditwürdigkeitsprüfungen, Betrugserkennung im Zahlungsverkehr, Absatzprognosen im Handel oder die Optimierung von Marketingkampagnen ein. In unserem Azure Machine Learning Studio Beispiel zur Betrugserkennung haben wir gezeigt, wie sich GBM-Modelle nahtlos in Data-Pipelines integrieren lassen.

Weniger geeignet ist Gradient Boosting in Echtzeitanwendungen mit extrem niedrigen Latenzanforderungen, wenn das Modell sehr groß ist oder die Trainingsdaten permanent in hoher Frequenz aktualisiert werden müssen. Hier können einfachere Modelle oder spezialisierte Online-Learning-Algorithmen besser passen.

Vorteile und Nachteile im Projektkontext

Aus praktischer Sicht überzeugt Gradient Boosting durch seine hohe Genauigkeit, Robustheit gegenüber Ausreißern und Flexibilität bei unterschiedlich strukturierten Daten. Er lässt sich gut in Pipelines für komplexe Data-Engineering-Projekte einbinden und harmoniert mit Data-Lake-Architekturen wie OneLake in Microsoft Fabric.

Die Nachteile liegen vor allem in der längeren Trainingszeit, insbesondere bei sehr großen Datensätzen, und einer geringeren Interpretierbarkeit im Vergleich zu einfacheren Modellen. Für Projekte mit strengen Anforderungen an die Transparenz des Modells muss diese Einschränkung berücksichtigt werden.

Implementierung im Azure-Ökosystem

In Azure lässt sich Gradient Boosting über mehrere Wege nutzen. Azure Machine Learning bietet native Unterstützung für Frameworks wie XGBoost, LightGBM oder CatBoost. Über Fabric Notebooks können Data Scientists diese Bibliotheken direkt mit Daten aus dem Lakehouse verwenden. SynapseML erlaubt zudem die Integration in Big-Data-Workloads. Auch AutoML in Azure kann automatisch Gradient-Boosting-Modelle trainieren, wenn sie für das Problem geeignet sind.

Ein einfaches Beispiel in Python zeigt den typischen Ablauf:

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import accuracy_score

# Beispieldaten erzeugen
X, y = make_classification(
    n_samples=1000,
    n_features=20,
    random_state=42
)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Gradient Boosting Modell trainieren
gbm = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3
)
gbm.fit(X_train, y_train)

# Vorhersage und Bewertung
y_pred = gbm.predict(X_test)
print("Genauigkeit:", accuracy_score(y_test, y_pred))

Dieses Beispiel lässt sich direkt in einer Azure Machine Learning Notebook-Umgebung oder innerhalb von Microsoft Fabric Data Science Workflows ausführen.

Warum Gradient Boosting heute noch relevant ist

Auch im Zeitalter von Deep Learning und großen Foundation Models bleibt Gradient Boosting ein wertvolles Werkzeug. Viele Business-Probleme erfordern keine riesigen neuronalen Netze, sondern profitieren von präzisen, ressourcenschonenden Modellen, die schnell trainiert und deployt werden können. Gradient Boosting ist dabei oft die erste Wahl, wenn tabellarische Daten mit hoher Vorhersagegenauigkeit verarbeitet werden müssen.

Gerade im Microsoft- und Azure-Umfeld, in dem Daten aus unterschiedlichsten Quellen wie Azure Data Factory oder Azure Databricks zusammengeführt werden, bietet GBM einen klaren Vorteil. Es ist ein Algorithmus, der sowohl in Proof-of-Concept-Phasen als auch im produktiven Betrieb überzeugt und sich perfekt in moderne Data-Engineering-Architekturen integriert.

Der Beitrag Gradient Boosting Azure Integration – Beispieldaten schnell und einfach erstellen erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Decision Trees Machine Learning – Beispieldaten importieren & testen – Anleitung

Emil Vincazovic — Mon, 19 Jan 2026 10:00:16 +0000

Decision Trees: ein Klassiker im Machine Learning mit moderner Relevanz

Decision Trees sind einer der bekanntesten und am häufigsten eingesetzten Algorithmen im Bereich des überwachten Machine Learning. Sie bilden Entscheidungsstrukturen in Form von Baumdiagrammen ab und bieten eine intuitive Möglichkeit, komplexe Klassifikations- oder Regressionsprobleme zu lösen. Die Grundidee besteht darin, Daten anhand bestimmter Merkmale schrittweise in Teilmengen zu unterteilen, bis eine klare Entscheidung oder Vorhersage möglich ist.

In modernen Data- und AI-Projekten, insbesondere im Zusammenspiel mit Plattformen wie Microsoft Fabric und Azure Machine Learning, ist dieser Algorithmus relevant, weil er sowohl technisch effizient als auch fachlich gut erklärbar ist. Das erleichtert die Kommunikation zwischen Data Scientists, Entwicklern und Fachabteilungen und unterstützt die Umsetzung von transparenten KI-Lösungen.

Funktionsweise

Ein Decision Tree arbeitet, indem er schrittweise Fragen zu den Eingabedaten stellt. Jede Frage teilt den Datenbestand in zwei oder mehr Gruppen. Die Auswahl der Frage basiert auf einem Kriterium wie der Informationsgewinnung oder der Reduktion der Entropie. Das Verfahren wiederholt sich rekursiv, bis die Daten in reine Klassen unterteilt oder ein Abbruchkriterium erreicht ist.

Eine einfache Metapher ist das Spiel „20 Fragen“. Man beginnt mit einer allgemeinen Frage, die viele Möglichkeiten ausschließt, und verfeinert die Fragen so lange, bis die gesuchte Antwort eindeutig ist. In der Praxis bedeutet dies, dass der Algorithmus aus Trainingsdaten Regeln extrahiert, die er später auf neue Daten anwenden kann.

Typische Einsatzbereiche

Decision Trees sind stark in Szenarien, in denen Interpretierbarkeit entscheidend ist. Beispiele sind die Bewertung von Kreditrisiken im Finanzwesen, die Diagnoseunterstützung im Gesundheitsbereich oder die Betrugserkennung, wie sie auch im Azure ML Studio Beispiel zur Fraud Detection demonstriert wird.

Sie sind jedoch weniger geeignet für hochdimensionale, sehr komplexe Daten wie Bilder oder Audio, bei denen Deep-Learning-Modelle oft deutlich bessere Ergebnisse liefern.

Vorteile und Nachteile

In der Praxis punkten Decision Trees durch ihre einfache Visualisierbarkeit und die gute Interpretierbarkeit. Zusätzlich haben sie die Fähigkeit, sowohl numerische als auch kategoriale Daten zu verarbeiten. Sie sind robust gegenüber irrelevanten Features und benötigen oft weniger Datenvorverarbeitung. Nachteilig ist, dass einzelne Bäume zu Overfitting neigen können, wenn sie zu tief wachsen. Abhilfe schaffen hier Ensemble-Methoden wie Random Forests oder Gradient Boosted Trees, die ebenfalls im Azure Machine Learning schnell implementierbar sind.

Integration ins Microsoft- und Azure-Ökosystem

Im Azure-Umfeld lassen sich Decision Trees direkt in Azure Machine Learning über AutoML oder eigene Python-Skripte einsetzen. In Fabric Notebooks können Modelle entwickelt, trainiert und über SynapseML skaliert werden. Damit ist es möglich, Daten aus Onelake oder Azure Data Lake einzubinden und die Ergebnisse in Power BI direkt zu visualisieren.

Mini-Beispiel in Python

from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# Beispieldaten laden
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.3, random_state=42
)

# Modell erstellen und trainieren
clf = DecisionTreeClassifier(
    max_depth=3,
    random_state=42
)
clf.fit(X_train, y_train)

# Vorhersage
y_pred = clf.predict(X_test)

# Genauigkeit ausgeben
print("Accuracy:", accuracy_score(y_test, y_pred))

Dieses Beispiel nutzt den bekannten Iris-Datensatz und zeigt, wie einfach ein Decision Tree mit scikit-learn erstellt und getestet werden kann. In Azure Machine Learning könnte dieser Code direkt als Training Script verwendet werden, um das Modell in der Cloud zu trainieren und zu deployen.

Relevanz in der heutigen KI-Landschaft

Auch im Zeitalter von Deep Learning und Foundation Models behalten Decision Trees ihre Bedeutung. Sie sind oft der erste Schritt in einem Machine-Learning-Projekt, um ein Basisverständnis für die Daten zu gewinnen und schnelle, transparente Ergebnisse zu liefern. In Kombination mit Ensemble-Methoden wie XGBoost oder LightGBM erreichen sie auch in komplexen Szenarien hohe Genauigkeit.

Wer im Microsoft-Ökosystem arbeitet, profitiert davon, dass Decision Trees sich nahtlos mit anderen Azure-Diensten, Data-Pipelines und Visualisierungstools verbinden lassen. Das macht sie zu einem wichtigen Werkzeug in modernen Projekten, die auf Transparenz, schnelle Iterationen und Integration in bestehende Business-Intelligence-Umgebungen setzen.

Der Beitrag Decision Trees Machine Learning – Beispieldaten importieren & testen – Anleitung erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Microsoft Fabric

Joel Galla — Thu, 12 Dec 2024 11:10:51 +0000

Microsoft Fabric ist eine All-in-one Datenlösung, aber was heißt das? Das heißt, dass alles enthalten ist von der Datenbank bis zum Bericht. Dabei können verschiedene Quellen verknüpft und verwaltet werden. Fabric bietet verschiedene Tools zur Bereinigung und Weiterverarbeitung der Daten, zum Beispiel Notebooks und Pipelines. Die aufbereiteten Daten stellt man schlussendlich in einem Power BI Bericht dar. Zudem gibt es die Möglichkeit, eigene Machine Learning Algorithmen zu trainieren, alles in einer Anwendung.

Was macht Fabric besonders?

Unternehmen kämpfen mit komplexen Datenstrukturen und vielen kleinen Anwendungen. Das ist nicht nur teuer, sondern auch zeitraubend. Bei beidem hilft Fabric. Durch die einheitliche Plattform wird die Datenstruktur übersichtlicher und lässt sich von Administratoren leichter verwalten.

Bei immer größer werdenden Datenmengen verliert man schnell den Überblick. Welche Daten kommen woher? Wo werden sie von wem verwendet? Data Lineage ermöglicht es, diese Informationen für alle Arten von Daten zu visualisieren. Fabric synchronisiert Metadaten über gespeicherte Daten und Verarbeitungsprozesse. Somit ist es in der Lage, den Weg und die Nutzung von Daten in einer Art Datenflussdiagramm abzubilden.

Wer schon einmal Microsoft Purview verwendet hat, dem sollte dies bekannt vorkommen.

Wie ist Microsoft Fabric aufgebaut?

Wie schon gesagt ist Fabric eine Plattform für viele verschiedene Anwendungsfälle und deshalb gibt es auch eine Reihe von Applikationen, die eigene Aufgaben erfüllen.

OneLake

Die grundlegende Struktur ist der OneLake in welchem alle Daten zentral gespeichert und verwaltet werden können. Er ist selber keine eigene Applikation, ist jedoch die Grundlage für alle weiteren Funktionen. Alle Daten liegen an einem Ort und die Organisation erfolgt über Workspaces (Arbeitsbereiche). Das hört sich chaotischer an, als es in der Praxis ist, da die Navigation über die einzelnen Teilbereiche läuft.

Databases

Der neuste Zuwachs von Fabric, bietet jetzt auch eine klassische TSQL-Datenbank an. Die Datenbank entspricht der bekannten Azure SQL Datenbank und kann vollständig in Fabric genutzt werden. Die grundlegendste Form der Datenverwaltung hat damit ein neues Zuhause.

Data Warehouse

Dieser Teil bietet das klassische Data Warehouse an, wie es viele Unternehmen kennen. Daten können aufbereitet und strukturiert gespeichert werden. Des Weiteren hat man hier die Möglichkeit, externe Datenbanken in Fabric zu spiegeln, Dazu zählen bspw. Azure SQL-Datenbanken, Azure Cosmos DBs und Snowflake Datenbanken. In Zukunft soll es auch die Möglichkeit geben, On-Prem SQL Server in Fabric zu spiegeln.

Data Engineering

Auch wenn andere Bereiche von Fabric ebenfalls unter Data Engineering fallen, bildet dieser Bereich die modernsten Entwicklungen ab. Hier können Lakehouses erstellt und verwaltet werden. Diese Verwaltung erfolgt über Notebooks und Pipelines.

Data Factory

Wer schon einmal mit Azure Data Factory gearbeitet hat, der wird sich hier heimisch fühlen. Die Data Factory ist die Low Code Lösung für Data Engineering in Fabric. Dabei werden vor allem Dataflows und Pipelines erstellt. Durch über 150 Out-of-the-Box Konnektoren können verschiedene Datenquellen angebunden und ohne Code Kenntnisse verarbeitet werden.

Industry Solutions

Hier gibt es Vorlagen und Out-of-the-Box Lösungen für Industrie spezifische Probleme. So kann dieser Bereich z.B. für das verwaltungsaufwändige Thema ESG Reporting verwendet werden.

Real-Time Intelligence

Echtzeitdaten sind anders als andere Daten, es muss immer eine direkte Verbindung bestehen damit Daten in Echtzeit abgerufen werden können. Damit gehen einige Besonderheiten einher. Diese Besonderheiten werde mit Real-Time Intelligence abgefangen.

Data Science

Machine Learning ist schon längst im Alltag angekommen und in der Applikation Data Science kann es genutzt werden. Hier können Modelle trainiert und optimiert werden. Seit neustem gibt es auch AutoML, um wie in Azure ML Studio automatisierte Modelle zu trainieren.

Power BI

Den meisten ist Power BI ein Begriff, da es das bekannteste Programm für Reports ist. In Fabric würde es eingegliedert und bildet den Data Analytics Teil ab. Die vorher aufbereiten Daten kommen hier an und können in einem Bericht dargestellt werden.

Was unterscheidet Microsoft Fabric von anderen Produkten?

Der größte Vorteil von Fabric ist klar die Größe. Alle datenbezogenen Probleme können in einer Umgebung gelöst werden. Das heißt auch, nicht alles muss auf einmal gemacht werden. Wenn ein Unternehmen schon eine solide Datenbasis hat, dann kann auch bspw. nur Power BI genutzt werden. Und wenn man schon Power BI nutzt, kann man Stück für Stück alle Daten nachziehen, das schafft eine ordentliche und schnelle Lösung für die gesamte Datenlandschaft.

In einigen anderen Blogbeiträgen haben wir schon diverse Vergleiche gezogen, wenn dich Azure und Microsoft Fabric interessieren ist Fabric vs Synapse etwas für dich. Sonst interessiert dich Fabric vs Databricks vielleicht. Das Thema Fabric behandeln wir zudem auf unserem YouTube Kanal regelmäßig, wenn du tiefer einsteigen möchtest, ist das der ideale Weg.

Für diejenigen unter euch denen besonders die Kosten am Herzen liegen haben wir schon einen Blogbeitrag zur Kostenstruktur geschrieben.

Der Beitrag Microsoft Fabric erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Fabric vs. Databricks

Joel Galla — Tue, 06 Aug 2024 11:04:53 +0000

Für viele Unternehmen, die ihre Datenverwaltung auf dem neusten Stand halten wollen, stellt sich wie immer die Frage: „Was für ein Tool soll ich benutzen?“. Die Einführung von Microsoft Fabric hat zu einem neuen Wettrennen geführt. Damit gilt es auch zu klären, welches Tool bei diesem Wettrennen gewinnt und für was sich Unternehmen entscheiden sollten.

Was ist Microsoft Fabric?

Im Jahr 2023 hat Microsoft seine neue All-in-One Lösung für die Datenverarbeitung veröffentlicht. Das Ziel von Fabric ist es, alle Datenverarbeitungen an einem Ort gesammelt anzubieten. Dabei vereint es viele Technologien, die Microsoft vorher schon angeboten hat. Dazu gehören z.B. Synapse Analytics, die Azure Data Factory und auch Power BI. Zur gesamten Verarbeitung gehört auch die Speicherung, welche im OneLake geschieht und im Verlauf des Beitrages noch wichtig wird.

Was ist Databricks?

Databricks ist als Unternehmen seit 2013 am Markt und auch als Gründer von Spark bekannt. Databricks hat sich vor allem auf Big Data spezialisiert und gehört im Gegensatz zu Fabric zu keinem einzelnen Cloud-Anbieter. Allerdings arbeitet Databricks mit vielen Cloud-Anbietern zusammen.

Fabric vs. Databricks – Wer steht für was?

Vor weg sollte gesagt sein, dass sich beide Tools in ihrer Zielsetzung unterscheiden. Databricks ist als Programm geplant, welches in verschiedenen Cloudplattformen genutzt wird und dabei besonders schnell große Daten verarbeiten kann. Dabei ist mit schnell vor allem die Datenauswertung gemeint und nicht notwendigerweise die Entwicklung.

Fabric auf der anderen Seite versucht alle Anwendungen besonders benutzerfreundlich an einem Ort bereitzustellen und ist als Anwendung von Microsoft sehr eng mit Azure verbunden. Damit folgt auch schon der erste Unterschied fürs Data Engineering. Databricks setzt vor allem auf Notebooks, die als solche immer über Code funktionieren wie z.B. Python, Spark und SQL. Auf der anderen Seite baut Fabric auch auf Low Code Möglichkeiten. Es können zwar, wie in Databricks auch, Notebooks verwendet werden. Es gibt aber auch die Möglichkeit über die Data Factory oder Data Flows Daten mit wenig Programmier-Erfahrung zu importieren. Eine kurze wichtige Anmerkung: die Notebooks in Databricks und Fabric basieren auf derselben Open-Source Technologie von Spark. Auch Fabric unterstützt Python, Spark und SQL.

Wie werden die Daten gespeichert?

Wir haben auch zuvor schon ein Beispiel gesehen, wie beide Anwendungen dieselbe Technologie verwenden. Hier ist es grundlegend der Delta-Lake. Microsoft nennt seinen Delta Lake jedoch stattdessen „OneLake“.

Databricks setzt in seinem Delta Lake vollumfänglich auf Lakehouses und ermöglicht Data Warehouses nur innerhalb seiner Lakehouses. Falls Sie nochmal den Unterschied nachlesen wollen, können Sie das in unserem vorherigen Blogbeitrag tun.

Microsoft Fabric kann beide Formen der Datenverwaltung. Dabei erlaubt es sowohl für SQL optimierte Data Warehouses als auch für Spark optimierte Lakehouses. Unterm Strich werden aber sowohl bei Databricks als auch bei Fabric alle Daten im Lake als Delta Parquet gespeichert.

Wo hat Databricks die Nase vorne?

Databricks liegt bei der Computepower leicht vorne. Dadurch, dass sie die Entwickler von Spark sind und ihr Augenmerk auf Geschwindigkeit legen, können sie hier punkten. Gerade beim Real-Time Processing ist Databricks extrem schnell. Die hohe Geschwindigkeit macht sich natürlich besonders bemerkbar bei sehr großen Datenmengen wie bei Big Data. Außerdem sind diese hohen Geschwindigkeiten hilfreich bei besonders komplexen Analysen.

Wie durch den vorherigen Teil zu vermuten war ist Databricks damit beim Machine Learning vorne. Da wir über die Geschwindigkeit schon gesprochen haben, bleibt hier nur ein anderer Punkt. Databricks bietet auch Machine Learning Modelle von Drittanbietern an und differenziert sich damit klar von Fabric. In Fabric können keine Drittanbieter Modelle verwendet werden. Das Machine Learning in Fabric ist technisch sehr ähnlich zu Databricks, aber Databricks bleibt durch die Sparkgrundlage leicht vorne.

Wo gewinnt Microsoft Fabric?

Die Benutzerfreundlichkeit ist bei Fabric höher. Nur Fabric bietet viele Low Code Möglichkeiten an, das heißt auch ohne Programmierkenntnisse kann man hier entwickeln. Natürlich ist es nicht unbedingt wichtig für Entwickler selber, da diese meistens gute Programmierkenntnisse haben, es bietet aber andere Vorteile. Gerade für kleine, schnelle Lösungen kann sowas von Vorteil sein. Ein anderer Vorteil ist klar die Wartung. Wenn ein Projekt größtenteils abgeschlossen ist, kann bei einer Low Code Umsetzung auch eine weniger erfahrene Person Fehler korrigieren und kleinere Probleme beheben.

Ein offensichtlicher Punkt ist, dass Fabric von Microsoft entwickelt wurde. Durch diesen Fakt ist Fabric natürlich voll in der Microsoft-Welt integriert, das heißt nicht, dass andere Anbieter nicht angebunden werden können.

Der größte Vorteil von Fabric ist die Datenvisualisierung. Der derzeitige Marktführer ist Power BI von Microsoft. Da Microsoft dies bewusst ist, haben sie Fabric um Power BI herum entwickelt und damit ist beides nativ verbunden. Power BI ist ein Teil von Fabric und wird mitgeliefert bei der Nutzung von Fabric. Databricks kann hier nichts Vergleichbares bieten.

Fabric vs. Databricks – Wer kostet wie viel?

Fabric und Databricks haben völlig unterschiedliche Preisstrukturen. Databricks hat ein Pay-as-you-go Modell und die Preise richten sich nach der benutzen Leistung. Die Leistung wird dabei als DBU (Databricks Unit) verstanden und es wird je nach verbrauchter Leistung bezahlt. Die Preise richten sich zudem nach einzelnen Bereichen wie den Workflows, Databricks SQL Querys zwischen 0,22$ und 0,72$ pro DBU. (Stand 02.08.2024). Die Datenspeicherung liegt bei den einzelnen Cloudanbietern und kostet unterschiedlich viel.

Fabric funktioniert dabei anders. Der Preis in Fabric ist dreigeteilt. Zuerst muss eine sogenannte SKU bezahlt werden. Diese Kapazität legt die Leistung von Fabric fest. Wichtig hierbei ist, dass alle Bereiche von Fabric erworben werden, also alles von der Data Factory bis zu Power BI. Zu dieser Kapazität kommen noch Einzellizenzen pro Benutzer. Den letzten Anteil macht die Datenspeicherung aus, welche pro GB 0,024$ pro Monat im OneLake kostet. Ein kleiner Trick bei Fabric ist, dass die SKU abgeschaltet werden kann und dann keine Kosten anfallen, das heißt über Nacht können so z.B. Kosten gespart werden. Mehr Details finden Sie in unserem dazugehörigen Blogbeitrag.

Zusammenfassend lässt sich zu Fabric vs. Databricks und den Kosten sagen, dass Databricks kurzzeitig wahrscheinlich leicht günstiger ist. Fabric schafft es allerdings mittelfristig und ganz sicher langfristig, die Kosten niedriger zu halten.

Wann wähle ich was?

Die Frage bei Fabric vs. Databricks ist nicht unbedingt „was ist besser?“. Beide Programme bieten fantastische Möglichkeiten, aber es hängt von Ihrem Unternehmen ab. Wenn Ihr Unternehmen in mehreren Clouds gleichzeitig vertreten ist, dann ist Databricks vermutlich besser geeignet. Selbiges gilt, wenn Real-Time Analytics mit Machine Learning in möglichst hoher Geschwindigkeit notwendig ist.

Die Vorzüge von Fabric sind aber auch ganz klar. Gerade wenn Ihr Unternehmen schon Erfahrung mit Azure hat und vielleicht sogar Power BI nutzt, dann ist der Umstieg auf Fabric sehr leicht. Durch die Integration verschiedenster Anwendungen in einer Plattform hat Microsoft einen riesigen Schritt nach vorne gemacht. Eine wichtige Anmerkung ist hier auch, dass Microsoft gerade sehr viele neue Updates und Features herausbringt und wir somit eine schnelle Entwicklung sehen. Databricks wird hier allerdings vermutlich bald nachziehen.

Unsere Spezialisten

Wir sind seit vielen Jahren Spezialisten für die gesamte Datenverarbeitung von der Speicherung, über die Analyse bis zum fertigen Bericht. Wenn Sie weitere Fragen kontaktieren Sie uns doch einfach.

Der Beitrag Fabric vs. Databricks erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Azure KI Studio

Joel Galla — Thu, 25 Apr 2024 16:28:48 +0000

Das Azure KI Studio ist Microsofts eigener Designer für Künstliche Intelligenzen. Mit dem KI-Studio können z.B. eigene Modelle auf ChatGPT Basis erstellt werden. Zusätzlich können auch Bild- und Video-KIs erschaffen werden.

Insgesamt kann das Azure KI Studio genutzt werden, um KI-gestützte Assistenten und Chatbots zu bauen. Dabei setzt Microsoft auf eine Vielzahl von KI-Modellen. Interessanterweise sind damit nicht nur hauseigene Modelle wie ChatGPT oder DALL-E gemeint, sondern auch Meta’s Llama kann verwendet werden. Somit kann man Modelle nach eigenem Geschmack auswählen und miteinander kombinieren. Außerdem hat man hier auch Zugriff auf alte und neue Modelle, die je nach Anwendungszweck und Preisvorstellung ausgewählt werden können.

Was kann das Azure KI Studio?

Es ist vor allem dazu gedacht, Assistenten und KI-Lösungen für die eigenen Anwendungszwecke maßzuschneidern. Es geht dabei primär um Chatbots oder z.B. auch Coding Assistenten, welche auf die eigenen Gegebenheiten ausgerichtet werden. Zum Anpassen gehören dabei zudem auch die Verbindung mit eigenen Daten und auch einem Fine Tuning, um die beste Genauigkeit zu erreichen.

Wie ist es aufgebaut?

Bevor es weitergeht, welche Anwendungen sind eigentlich von Microsoft vorgesehen?

Erstellen von KI-Assistenten

Hier kann man, wie man es auch schon von Azure OpenAI kennt, eine Verbindung mit einem GPT-Modell also, wie zum Beispiel ChatGPT aufbauen. Zudem kann man diese Sprachmodelle dann bspw. als Codinghilfen trainieren und unternehmensweit ausrollen.

Erstellen eines eigenen Co-Piloten

Copiloten sind schon für alle möglichen Anwendungen vorhanden, aber jetzt kann man einen speziell für sich bauen. Den Co-Piloten fehlt oft die Einsicht in die eigenen Daten. Mit dem Azure KI Studio kann man dieses Problem jetzt beheben.

Multimodalität

Ihrer App fehlt die menschliche Interaktion? Dann kann man hier diese Lücke schließen. Hier können Apps mit dem entsprechenden Chatinterface ausgerüstet werden.

Azure KI SDK

Der Zugriff über ein SDK (Software Development Kit), sodass die eigene Umgebung genutzt werden kann und man sich auf vertrautem Terrain bewegt.

Warum sollte ich das Azure KI Studio nutzen?

Was unterscheidet einen Chatbot vom Azure KI Studio von bspw. ChatGPT? Das zugrundeliegende Sprachmodell kann natürlich ChatGPT sein, aber die Konfigurationen machen den Unterschied. So kann durch einen Prompt z.B. festgelegt werden, dass nur Antworten gegeben werden, wenn die Informationen wirklich vorhanden sind. Außerdem kann auch eine Quellenangabe verlangt werden. Der wohl größte Unterschied zu der Internetseite, bei der man kostenlos mit ChatGPT chatten kann, ist die Verbindung mit eigenen Daten. Natürlich kann ChatGPT online nicht auf die eigenen Daten zugreifen, aber das Modell kann in Azure mit den eigenen Daten verbunden werden. Somit ist eine Sprachinteraktion mit passenden Antworten auf die eigenen Daten gewährleistet.

Was macht das Azure KI Studio besonders?

Die herausragenden Eigenschaften vom Azure KI Studio sind die detaillierten Möglichkeiten. Es ist nicht die Lösung für einfache Probleme, bei denen Fehler passieren dürfen, sondern für die Probleme, die eine feinere bzw. detailliertere Lösung brauchen. Durch das Fine Tuning, die Anbindungen eigener Daten und den Prompt-Flow kann man hier an vielen Stellschrauben spielen und auch auf die kleinen Details achten.

Ein Anwendungsbeispiel

Jeder kennt die Chatbots, die auf vielen Internetseiten vertreten sind. Die Chatbots sind meist recht simple gehalten und können aus einer vorgefertigten Anzahl an Antworten auswählen. Mit einem Sprachmodell kann man diese Bots jetzt drastisch verbessern. Ich würde jetzt die Anleitungen für leichtere Supportfälle hinterlegen und z.B. auch entsprechende Ansprechpartner für sehr spezifische Fälle. Dann gebe ich dem Bot die Anweisung, keine Mitbewerber zu nennen und einen besonders freundlichen Ton zu verwenden. Zusätzlich sollte die verwendete Sprache einfach sein.

Dieser Chatbot kann jetzt eingebunden werden und verbessert die User-Experience durch eine deutlich agilere und menschlichere Konversation.

Kann ich Bilder automatisch generieren?

Wie zu Beginn erwähnt, kann das Azure KI Studio auch z.B. DALL-E verwenden. Damit lassen sich z.B. bestimmte Stile bei Bildern im Voraus wählen, welche dann immer automatisch zum Generieren verwendet werden.

Wie sieht die Zukunft aus?

Das Azure KI Studio befindet sich zum Zeitpunkt dieses Artikels noch in der Vorschau. Deshalb können sich noch einige Dinge ändern. Gerade das KI-Umfeld wird derzeit rasant weiterentwickelt. Somit fließen neue Änderungen in das Azure KI Studio fast so schnell ein wie in Microsoft Fabric. Der allgemeine Überblick, wie er hier gegeben wurde, bleibt dabei natürlich bestehen. Meiner persönlichen Einschätzung nach werden wir hier in Zukunft viele neue und leistungsfähigere Modelle sehen. Wir sind alle gerade noch am Anfang und dabei herauszufinden, wofür wir Sprachmodelle überall nutzen können. Gerade deshalb sollte man am besten jetzt schon mit kleineren Anwendungen anfangen. Wenn es einen großen Durchbruch bei der Verwendung gibt, möchte man ja nicht erst anfangen müssen zu lernen, wie das Tool selbst funktioniert.

Fazit

Das Azure KI Studio ist ein unglaublich leistungsfähiges neues Werkzeug, welches gerade noch am Anfang steht. Anders als andere KI-Lösungen von Microsoft ist es jedoch deutlich komplizierter und spezialisierter, sodass es sich vor allem für sehr spezielle Probleme, bspw. jene mit einer kleinen Fehlertoleranz, eignet.

Der Beitrag Azure KI Studio erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

ML Studio vs Databricks

Tobias Adler — Tue, 15 Aug 2023 08:57:15 +0000

Maschinelles Lernen (ML) ist heutzutage in viele Aspekte der Unternehmens-IT integriert. Zum Beispiel verwenden Unternehmen ML um die Datenanalyse zu beschleunigen, die Datenverarbeitung zu verbessern und die Entscheidungsfindung zu erleichtern. Microsoft Azure ML und Databricks bieten beide erstklassige ML-Tools um diese Funktionen umzusetzen und haben wie üblich viele Gemeinsamkeiten und Unterschiede. Doch welcher Dienst eignet sich für Ihren Anwendungsfall am besten? Diese Frage behandeln wir im Folgenden Beitrag.

Azure ML vs Databricks Gemeinsamkeiten

Azure Machine Learning Studio (oder auch „ML Studio“) ist ein Teil des Azure-Ökosystems und wurde von Microsoft entwickelt, um sowohl Anfängern als auch erfahrenen Data Scientists den Einstieg in maschinelles Lernen zu erleichtern. Databricks ist eine unabhänige Firma, die von den ursprünglichen Schöpfern von Apache Spark gegründet wurde. Apache Spark ist ein Open-Source-Framework für Cluster-Computing, dass eine einfache Programmschnitstelle für die verteilte Datenverarbeitung bietet. Databricks basiert auf Apache Spark und ist speziell für große Datenanalysen, maschinelles Lernen und fortschrittliche Datenverarbeitung optimiert. Da beide Tools über Funktionen zur Datenanalyse und -Verarbeitung verfügen, gibt es Überschneidungen der Funktionen der beiden Plattformen. Das sind die grundlegenden Gemeinsamkeiten zwischen ML Studio und Databricks:

Datenverarbeitung: Sowohl in der ML Studio-Entwicklung als auch auf der Databricks-Plattform spielt die Datenverarbeitung eine zentrale Rolle. Daten müssen häufig bereinigt, transformiert und aggregiert sein, bevor man sie mit ML-Modellen analysieren kann.
Skalierbarkeit: Databricks basiert auf Apache Spark, einem Framework, mit dem man große Datenmengen in verteilten Umgebungen verarbeiten kann. Das maschinelle Lernen kann ebenfalls von dieser Skalierbarkeit profitieren, insbesondere bei großen Datensätzen oder komplexen Modellen. Auch ML Studio ist für das verarbeiten von großen Datenmengen ausgelegt. Durch die Elastischen Compute-Ressourcen ist es Benutzern möglich, ihre Compute instanzen je nach Bedarf zu skalieren. Außerdem integriert sich das ML Studio nahtlos in andere Azure Dienste, wie zum Beispiel den Azure Data Lake, welcher für die Speicherung von großen Datenmengen optimiert wurde.
Integration von ML-Frameworks: Sowohl Databricks als auch ML Studio unterstützen eine breite Palette von Frameworks für maschinelles Lernen, einschließlich TensorFlow, Keras und PyTorch. Dies gibt den Benutzern Flexibilität und Auswahlmöglichkeiten, je nachdem, welches Framework sie für ihre Projekte bevorzugen.

Azure ML vs Databricks Unterschiede

Obwohl es Überschneidungen in den Funktionen von Databricks und Azure ML Studio gibt, haben sie unterschiedliche Ursprünge, Stärken und Hauptzwecke. Die gemeinsame Verfügbarkeit beider Dienste in Azure ermöglicht es Benutzern, je nach Projektanforderungen und Vorlieben das passende Werkzeug auszuwählen. Das sind die grundlegenden Unterschiede der beiden Plattformen:

Ursprung und Hauptfokus: ML Studio ist ein von Microsoft entwickeltes Produkt und dient als integrierte Umgebung für maschinelles Lernen. Es ist benutzerfreundlich und zielt darauf ab, den Prozess des Trainings, Testens und Deployments von ML-Modellen zu vereinfachen. Databricks ist ein Unternehmen das von den Schöpfern von Apache Spark entwickelt wurde und ist somit auf die Big Data-Verarbeitung und Analyse mit Spark ausgerichtet.

Benutzeroberfläche: ML Studio bietet eine Drag-and-Drop-Oberfläche, die es besonders für Einsteiger einfach macht, Daten zu verarbeiten und ML-Modelle zu erstellen. Databricks verwendet für die Datenanalyse und das maschinelle Lernen hauptsächlich interaktive Notebooks. Das macht es für die Entwickler und Data Scientists sehr flexibel.

Datenverarbeitung: Auch wenn ML Studio die Fähigkeit zur Datenverarbeitung und -transformation bietet, ist sein Hauptaugenmerk auf das maschinelle Lernen ausgerichtet. Als eine auf Spark basierende Plattform steht Databricks wiederum an der Spitze der Tools für die Verarbeitung und Analyse großer Datenmengen.

Deployment: ML Studio bietet integrierte Tools für das Deployment von ML-Modellen als Webdienste innerhalb des Azure-Ökosystems. Bei Databricks gibt es zwar Möglichkeiten für das Deployment, dennoch benötigt man oft eine Integration mit anderen Azure Diensten, um Modelle in Produktion zu bringen.

Fazit

Zusammenfassend lässt sich sagen, dass sowohl Azure Databricks als auch ML Studio leistungsstarke Werkzeuge im Arsenal eines Data Scientist sind. Während Databricks mit seiner Spark-Integration und Fähigkeit zur Verarbeitung von Big Data besonders punktet, bietet ML Studio eine intuitive Benutzeroberfläche und eine End-to-End-Plattform für den maschinellen Lernzyklus. Obwohl es Gemeinsamkeiten wie die Fähigkeit zur Durchführung von ML-Operationen gibt, zeichnen sie sich durch unterschiedliche Stärken und Anwendungsfälle aus. Die Wahl zwischen den beiden hängt letztlich von den spezifischen Anforderungen, Datenmengen und dem gewünschten Workflow eines Projekts ab. Wenn es sich um ein Projekt mit sehr großen Datenmengen handelt, bietet sich Databricks als Plattform für die Datenanalyse an. Handelt es sich aber um ein Projekt, bei dem Sie möglichst schnell einen Prototyp erstellen müssen, dann wäre ML Studio das Tool der Wahl.

Unsere Spezialisten

Wir von arelium haben viel Erfahrung im Bereich der Big-Data Verarbeitung und -analyse. Unsere Experten haben schon sowohl Kunden bei der Analyse von großen Datenmengen mit Databricks, als auch bei dem erstellen von Prototypen für ML-Modelle mit ML Studio unterstützt. Sie verfügen in ihrem Unternehmen über große Datenmengen und wollen noch mehr Informationen aus diesen Daten ziehen? Sprechen Sie uns an und unsere Experten helfen Ihnen gerne weiter.

Der Beitrag ML Studio vs Databricks erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Data Analytics

Tobias Adler — Thu, 27 Apr 2023 10:00:36 +0000

Mit Data Analytics die richtigen Entscheidungen treffen!

In der heutigen Zeit fallen bei Unternehmen riesige Massen an Daten an. Data Analytics beschäftigt sich mit der Analyse dieser Daten, um den größten Nutzen aus ihnen zu ziehen. Die Massen an Daten in Unternehmen wird immer größer. Es gibt verschiedene Methoden, die diese großen Mengen an Daten analysieren können.

Um die Unternehmensdaten zu analysieren und so das meiste aus den Daten rauszuholen gibt es verschiedene Ansätze. Wir arbeiten z.B. an der Datenbereitstellung, der Datenvisualisierung, der statistische Analyse, dem maschinelle Lernen und dem Datamining. Mit der Datenvisualisierung können beispielsweise Daten in ansprechenden Formaten dargestellt werden, um Muster in Datensätzen zu veranschaulichen. Erst die Darstellung von Daten ermöglicht es neue Möglichkeiten zu sehen und weitere Analysen anzustoßen.

Datenvisualisierung

Durch Datenvisualisierung können komplexe Daten ansprechend und leicht verständlich präsentiert werden. Oftmals sind die Ergebnisse von Analysemethoden visualisiert. Dadurch können Benutzer Abhängigkeiten und Zusammenhänge zwischen verschiedenen Variablen, Abweichungen und Außreisern erkennen. Außerdem entstehen bessere Entscheidungen im Team, weil die Visualisierung der Daten die Kommunikation und Zusammenarbeit von Kollegen und Abteilungen verbessert. Für die Datenvisualisierung gibt es verschiedene Tools, wie zum Beispiel Tableau, Qlik View und Power BI .

Alle drei sind Tools um Daten zu visualisieren, dennoch haben alle Tools unterschiedliche Stärken und Schwächen. Qlik View ist aufgrund seiner Komplexität eher schwieriger zu erlernen. Tableau und Power BI hingegen sind für ihre Benutzerfreundlichkeit und einfache Bedienung bekannt. Trotzdem stehen

Was ist Microsoft Power BI?

DefinitionPower BI ist eine Business Intelligence-Plattform von Microsoft, die es Anwendern ermöglicht, Daten aus(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Power BI und Tableau QlikView in den Punkten Datenanalyse und Datenvisualisierung in nichts nach. Alle drei Tools bieten eine Vielzahl an Datenanalyse- und Datenvisualisierungsfunktionen.

Datenvisualisierung mit Power BI

Mit modernen Tools wie

Was ist Microsoft Power BI?

DefinitionPower BI ist eine Business Intelligence-Plattform von Microsoft, die es Anwendern ermöglicht, Daten aus(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Power BI lassen sich immer bessere Berichte erstellen. Natürlich können Farben und Highlights genutzt werden um den Leser sinnvoll durch die Berichte zu leiten. Zudem sind die interaktiven Möglichkeiten hilfreich, um ganz neue und tiefere Einblicke in die Daten zu gewinnen.

Statistische Analyse

Die statische Analyse bezieht sich im Bereich der

Was ist Data Analytics?

DefinitionData Analytics bezieht sich auf die Anwendung von Techniken und Tools, um Daten zu sammeln, zu analysieren und(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Data Analytics darauf, Muster und Trends in Datensätzen zu identifizieren. Im nächsten Schritt trifft man auf diesen Erkenntnissen fundierte Entscheidungen und Vorhersagen. Zur statistischen Analyse von Daten gibt es mehrere Ansätze. Mit der deskriptiven Statistik werden die Daten durch statistische Maße wie Mittelwert, Varianzen und Standardabweichungen beschrieben und zusammengefasst.

Deskriptive Statistik

Sie beschäftigt sich mit der Schätzung von Parametern, um Rückschlüsse auf die Gesamtheit zu ziehen. Hierzu zieht man Stichproben aus der Gesamtheit. Ein Parameter ist eine charakteristische Eigenschaft der Gesamtheit, wie zum Beispiel der Mittelwert oder die Standardabweichung. Mit altbewehrten Mitteln wie dem

Was ist ein Hypothesentest?

DefinitionDer Hypothesentest ist ein wichtiger Schritt in der Inferenzstatistik. Er ist ein statistischer Test, um zu(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Hypothesentest oder der Regressionsanalyse kann man erste Analysen durchführen. Diese Analysen liefern oft schon fundamentale und nützliche Ergebnisse, aber in der Praxis ist mit noch ausgereifteren Methoden mehr möglich.

Statistische Analyse in der Cloud

Die immer größere Rechenleistung und Verfügbarkeit von Daten ermöglicht es auch vollautomatisierte Auswertungen für Unternehmen zu designen. Mehr und mehr Unternehmen erkennen diesen Umstand und so wird es immer wichtiger fortgeschrittene Techniken anzuwenden. Somit ist man der Konkurrenz immer einen Schritt voraus. Deshalb haben wir noch weitere Teilgebiete vorbereitet.

Data Mining

Eine weitere Data Analytics Technik, um Muster und Zusammenhänge in großen Datenmengen zu erkennen, ist das Data Mining. Data Mining beinhaltet somit die Anwendung von statistischen und mathematischen Techniken. Die Anwendung von künstlicher Intelligenz und Machine Learning spielen dabei eine entscheidende Rolle. Der Prozess des Data Mining besteht aus folgenden Schritten:

Datenauswahl

Der erste Schritt im Data Mining-Prozess besteht darin, die relevanten Daten aus einer großen Datenmenge auszuwählen. Dieser Schritt ist wichtig, da er sicherstellt, dass zur Analyse nur relevante und geeignete Daten bereitstehen, was Zeit und Ressourcen spart.

Datenvorbearbeitung

Die Datenvorbereitung ist ein wichtiger Schritt um die Rohdaten in eine geeignete Form zu bringen, damit sie für die Datenanalyse bereit sind.

Datenreinigung

Im nächsten Schritt werden die ausgewählten Daten auf Fehler und Inkonsistenzen überprüft. Infolgedessen behebt man diese. Die Datenreinigung kann manuell oder automatisch erfolgen.

Data Analytics

Die Datenanalyse ist der wichtigste Schritt im Data-Mining-Prozess, bei dem die vorverarbeiteten Daten untersucht werden, um Muster, Zusammenhänge und Erkenntnisse zu identifizieren. Es gibt verschiedene Ansätze bei der Datenanalyse. Zum Beispiel können wir, in der Praxis, die Daten mithilfe eines Künstlichen Neuronalen Netzes (KNN) analysieren. Ein KNN ist ein mathematisches Modell, das aus einer großen Anzahl von miteinander verbundenen Neuronen besteht, die in Schichten organisiert sind. Jedes Neuron nimmt Eingabedaten auf, verarbeitet sie und gibt sie an das nächste Neuron weiter. Das Netz benötigt zum trainieren eine große Menge an Trainingsdaten. Dann werden die echten Daten in die Eingabeschicht des KNN eingespeist und von dort durch die Verarbeitungsschichten geleitet.

Wie funktioniert das KNN eigentlich?

Jedes Neuron wendet beim Empfangen der Daten eine Aktivierungsfunktion an. Dadurch wird die Summe der gewichteten Eingabedaten des Neurons in einen Wert transformiert. Dieser Wert wird dann an die nächste Schicht weitergegeben. Während des Trainingsprozesses wird die Rückgabepropagation verwendet, um die Gewichte der Verbindung zwischen den Neuronen zu aktualisieren und dadurch die Vorhersagegenauigkeit zu verbessern. Zum Schluss werden die Werte an die Ausgabeschicht gegeben, wo sie dem Nutzer in einer verständlichen Form präsentiert werden.

Machine Learning

Ein weiterer Data Analytics Ansatz ist Machine Learning. Im Wesentlichen geht es darum, einen Algorithmus so zu trainieren, dass es automatisch aus Vorhersagen und Entscheidungen treffen kann. Dieses Verfahren wird oft von Kunden nachgefragt. Es hilft um besser zu verstehen, man Kosten sparen und Gewinne machen kann.
Wie auch bei der Datenanalyse mit einem Künstlichen Neuronalen Netz ist auch hier der erste Schritt die Sammlung und Bereinigung von Rohdaten. Danach werden die wichtigsten Merkmale der Daten identifiziert und ein Modell erstellt. Mit diesem kann man die Beziehung zwischen den Merkmalen und dem Ziel der Analyse beschreiben.
Ein mögliches Modell ist zum Beispiel das Reinforcement Learning. Bei dieser Methode lernt der Algorithmus in einer bestimmten Umgebung Entscheidungen zu treffen, um einen Belohnungswert zu Maximieren. Auf diese Weise lernt der Algorithmus selber, welche Aktionen in einer bestimmten Situation am besten sind. Außerdem kann er abschätzen, mit welchen Aktionen er seine Aussagen optimieren kann.

Beispiel Reinforcement Learning

Kommen wir zu einem Beispiel für Reinforcement Learning. Ein Unternehmen möchte den optimalen Preis für seine Produkte bestimmen. Der RL-Agent würde in diesem Fall die Daten analysieren, um den Preis zu finden. Dieser führt dann zu einer maximalen Belohnung (in diesem Fall zu einem höheren Umsatz). Der RL-Agent würde dann seine Entscheidungen verbessern, indem er die Auswirkungen seiner Aktionen auf die Belohnung analysiert. Auf Basis dieser Analyse kann er dann bessere Entscheidungen treffen.

Eine benutzerfreundliche Möglichkeit diese Modelle zu erstellen ist z.B. das ML-Studio von Microsoft. Unser Data Engineer Emil Vincazovic hat auch dazu schon einen Blog-Beitrag verfasst.

Fazit

Data Analytics ist schon seit langem ein wichtiger Bestandteil der Business Welt. Neue Technologien wie

Was ist Microsoft Power BI?

DefinitionPower BI ist eine Business Intelligence-Plattform von Microsoft, die es Anwendern ermöglicht, Daten aus(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Power BI und allem voran auch Machine Learning ermöglichen es immer bessere Ergebnisse zu erzielen. Mit dem richtigen Fachwissen oder der richtigen Hilfe an Ihrer Seite, können völlig neue Möglichkeiten entstehen. In der modernen Welt kriegen Unternehmen Probleme wenn sie sich nicht mit

Was ist Data Analytics?

DefinitionData Analytics bezieht sich auf die Anwendung von Techniken und Tools, um Daten zu sammeln, zu analysieren und(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Data Analytics auseinander setzen.

Unsere Spezialisten

Wir, als arelium, haben über ein Jahrzehnt Erfahrung mit

Was ist Data Analytics?

DefinitionData Analytics bezieht sich auf die Anwendung von Techniken und Tools, um Daten zu sammeln, zu analysieren und(...)

" attributes="[{"attribute":"data-cmtooltip", "format":"html"}]">Data Analytics Lösungen wie z.B. mit Machine Learning. In vielen einzelnen Projekten haben wir die Möglichkeiten von Machine Learning nutzen können, um Kunden maßgeschneiderte Lösungen zu präsentieren. Wenn Sie neugierig geworden sind sprechen Sie uns gerne an. Somit können wir Ihnen helfen zu verstehen wie Sie optimal von dieser Technologie profitieren können.

Der Beitrag Data Analytics erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Azure Machine Learning Studio

Emil Vincazovic — Thu, 06 Apr 2023 10:00:18 +0000

Das Azure Machine Learning Studio

Das Azure ML Studio ist ein cloudbasiertes ML-Framework. In der von Microsoft zur Verfügung gestellten Umgebung ist es leicht möglich, ML-Pipelines aufzubauen. Die Plattform bietet eine intuitive grafische Oberfläche. Somit ist es auch unerfahrenen Benutzern möglich, ML-Projekte zu erstellen. Das Framework ist sehr flexibel. und vor allem die Auswahl der Verbindungen ist enorm groß. Zusätzlich zu den gängigen Datenquellen wie bswp. dem SQL Server, besteht die Möglichkeit, alle Azure Dienste an das ML-Studio anzubinden. Da es ein Clouddienst ist, besteht außerdem kein Problem mit der Skalierung. Wenn Modelle umfangreicher werden oder die Datenmenge sich erhöht, kann man problemlos die Rechenressourcen der Cloud skalieren. Mehr zur vertikalen und horizontalen Skalierung, gibt es in dem Blogbeitrag zu Azure Synapse Analytics.

Auch der Nachteil der langen Rechenzeit von ML-Modellen wird mit dem Machine Learning Studio sehr gut aufgefangen. Dadurch, dass man verschiedene Compute-Instanzen und sogar Compute-Cluster erstellen kann, wird die Rechenzeit reduziert. Die Kosten steigen jedoch mit gestiegener Rechenpower an.

Machine Learning

Machine Learning ist ein Teilgebiet der künstlichen Intelligenz. Es hat die Fähigkeit durch Erfahrung und Beispiele Aufgaben zu erledigen, ohne dass man den Algorithmus explizit auf eine Aufgabe programmiert hat. Die Algorithmen erkennen Muster innerhalb der Daten. Ein einfaches Beispiel des Machine Learning ist die Betrugserkennung bei Bankdaten. Da Machine Learning Algorithmen meist mit strukturierten Daten arbeiten, bieten sich Bankdaten an. Aber auch Vorhersagemodelle lassen sich mit dem Machine Learning wunderbar entwickeln. So könnte beispielsweise die Frage beantwortet werden, wie viel ein Kunde für ein bestimmtes Produkt bereit wäre zu bezahlen.

Prinzipiell wird das Machine Learning in drei Hauptkategorien unterteilt:

Überwachtes Lernen (Supervised Learning)
Unüberwachtes Lernen (Unsupervised Learning)
Verstärkendes Lernen (Reinforcement Learning)

Wann welche Kategorie eingesetzt wird ist abhängig von der Datenlage und dem zu analysierenden Vorhaben.

Überwachtes lernen
Bei dem überwachtem Lernen nutzt der Algorithmus bekannte Daten, um daraus Muster und Zusammenhänge zu erkennen. Wichtig hierbei ist zu erwähnen, dass der Algorithmus immer im Zusammenhang mit einer Zielvariable lernt. Diese Zielvariable versucht der Algorithmus richtig vorauszusagen. Dabei kann es sich um eine Klasse oder um einen numerischen Wert handeln.
Beispiele für überwachtes Lernen sind Risikobewertungen, Kundenprognosen oder Klassifizierungen.
Unüberwachtes Lernen
Bei dem unüberwachtem Lernen bekommt der Algorithmus keine Trainingsdaten. Er soll anhand von dem gesamten Datensatz interessante Zusammenhänge oder auch versteckte Gruppen entdecken. Der Unterschied zum überwachtem Lernen ist, dass das Unsupervised Learning nicht darauf ausgelegt ist eine Vorhersage zu treffen. Somit ist es deutlich schwieriger das Modell am Ende zu bewerten. Es bleibt nichts anderes übrig, als anhand von sogenannten „weichen Faktoren“ das Ergebnis zu interpretieren.
Beispiele für unüberwachtes Lernen sind Clusteranalysen, Visualisierungen von großen Datenmengen oder auch Erstellung von ML-Features.
Verstärkendes Lernen
Das verstärkende Lernen ist eine ganz besondere Form des Machine Learning. Hier interagiert ein Algorithmus mit seiner Umgebung. Daraufhin wird er von einer Kostenfunktion bzw. eines Belohnungssystems bewertet. Im Anschluss an die Bewertung soll der Algorithmus selbstständig eine Strategie zur Lösung des Problems erlernen. Somit kann der Algorithmus die Belohnung selbstständig maximieren. Es wird von Anfang an nicht gezeigt, welche Aktion die Richtige ist. Durch viele iterative Durchläufe lernt der Algorithmus selbstständig die beste Lösung.
Beispiele für das verstärkende Lernen sind Spiel-KIs, Einsatz in der Robotik oder auch autonome Fahrzeuge.

Grobes Schema eines ML Prozesses

Um die Funktionen des Machine Learning Studios zu verstehen, sollte man sich erst einmal über den Prozess in einer ML-Pipeline Gedanken machen. Im Folgenden wird das Schema eines ML-Prozesses vorgestellt. Zu den Unterpunkten wird die Verbindung zu anderen Azure Ressourcen gezogen. Des Weiteren gibt es einige Erklärungen was während den Schritten passiert.

1. Rohdaten importieren

Zu Beginn einer ML-Pipeline importiert man die Rohdaten.

Hierbei besteht beispielsweise die Möglichkeit auf eine csv-Datei in einem Azure Blob Storage bzw. einem Data Lake zuzugreifen. Auch die Nutzung einer Azure SQL Datenbank ist möglich.

2. Daten bearbeiten

Im nächsten Schritt müssen die Daten bearbeitet werden. Dies liegt hauptsächlich daran, dass ein ML-Algorithmus nur numerische Werte akzeptiert. Somit muss man die Datentypen anpassen. Außerdem skaliert man die Werte, um Verzerrungen in den Ergebnissen zu minimieren.

Hier besteht die Möglichkeit bei komplizierten Datenbearbeitungen Azure Synapse Analytics Notebooks zu nutzen. Die Azure Data Factory könnte man bspw. bei einfacheren Data Flows nutzen.

3. Splitten in Trainings-, Test- und Validierungsdaten

Im nächsten Schritt muss der nun saubere Datensatz aufgeteilt werden. Wir benötigen einen Trainings-, einen Test- und einen Validierungsdatensatz.

Das Splitten in verschiedene Datensätze kann theoretisch auch mit den beiden Azure Tools Synapse oder der Data Factory erfolgen. Allerdings kann dies auch im Machine Learning Studio passieren.

4. Algorithmus wählen

Je nach Anwendungsfall sollte man sich im Voraus schon Gedanken über den Algorithmus machen. Handelt es sich beispielsweise um ein Klassifizierungsproblem, fallen einige Algorithmen automatisch raus.

Die endgültige Entscheidung über den Algorithmus sollte im Azure ML Studio getroffen werden. Dort werden viele Hilfestellungen zur Wahl angeboten. Außerdem kann es passieren, dass wenn man einen speziellen Algorithmus nutzen will, dieser in einigen Funktionen des Frameworks nicht gegeben ist.

5. Trainieren des Modells

Das Modell wird mit den in Schritt 3 generierten Trainingsdaten trainiert. Somit „gewöhnen“ wir den Algorithmus an unsere Daten.

Dieser Schritt erfolgt ausschließlich im Azure Machine Learning Studio.

6. Testen des Modells

Das trainierte Modell aus Schritt 5, wird mit den in Schritt 3 generierten Testdaten getestet. Die Performancebewertung des Modells steht hierbei im Vordergrund.

Auch diesen Schritt führt man ausschließlich im Azure Machine Learning Studio durch.

7. Validieren des Modells

Das getestete Modell aus Schritt 6 wird nun mit den in Schritt 3 generierten Validierungsdaten validiert. Damit kann man sicherstellen, dass der Algorithmus nicht zu sehr an die Test- bzw. die Trainingsdaten angepasst ist und eine Verallgemeinerungsfähigkeit noch existiert.

Auch die Validierung des Modells erfolgt im Azure Machine Learning Studio. Dieser Schritt wird teilweise automatisch vom Framework ausgeführt.

8. Weiteres Training / Deployment

Fällt das Ergebnis der Validierung (Schritt 7) positiv aus, sollte man das Modell einsetzen. Sowohl bei einem positivem als auch bei einem negativen Ergebnis muss das Modell weiter trainiert werden. Mit zunehmender Zeit und zusätzlichem Training verbessert sich das Modell.

Das weitere Training findet im ML-Studio statt. Auch das Deployment kann darüber erfolgen.

9. Nutzung des Modells

Die Nutzung des Modells kann überall erfolgen.

Es bietet sich an, das Modell vor allem in die Analysedienste Synapse und die Azure Data Factory einzubinden. Aber auch eine Verbindung zu Power BI oder anderen Microsoft Tools ist einfach möglich.

Die drei Varianten zum Aufsetzen einer Pipeline

Im Azure ML Studio gibt es 3 Möglichkeiten eine Pipeline aufzusetzen. Im Folgenden sieht man die drei Varianten.

Automatisiertes ML

Das Auto-ML Feature im Azure ML-Studio kann jedermann benutzen. Die Erstellung einer ML-Pipeline erfolgt hier über ein Durchklicken durch ein Menü. Dabei benötigt man kein Vorwissen zur Nutzung. Schritte 1-8 übernimmt das Auto-ML Feature automatisch. Es gilt einige Dinge zu beachten: Zum einen muss man die Verbindung vom Azure ML Studio mit dem richtigen Speicherkonto herstellen können. Zum Anderen ist die Entscheidung wichtig, welche Metriken wichtig für das Ergebnis sind. Des Weiteren sollte man Verständnis für die Metriken und andere Probleme, wie bspw. das Problem des unbalancierten Datensatzes, haben.

Designer

Mit dem Designer kann man per Drag-and-Drop eine ML-Pipeline aufsetzen. Allerdings ist es hier problematischer als beim Auto-ML Feature. Da ein ML-Algorithmus nur numerische Werte akzeptiert, muss man die Daten vorher umwandeln. Diese Möglichkeit besteht jedoch im Designer nur bedingt! Somit sollte man die Daten vorher bearbeiten. Hier kommen, wie oben erwähnt, einige andere Azure Produkte zum Einsatz.

Notebooks

Die Notebooks sind die mit Abstand mächtigste Variante im Azure ML Studio um eine ML-Pipeline aufzusetzen. Hier sind dem Anwender keine Grenzen gesetzt. Allerdings benötigt man hier viele Fähigkeiten. Sowohl theoretisches Wissen über die Funktion im ML als auch Programmierkenntnisse in Python sind hier notwendig. Der Vorteil ist, dass man Schritte 1-8 in den Notebooks ohne Probleme durchführen kann. Man benötigt lediglich noch die Verbindung zu einem Speicherkonto in Azure.

Im Folgenden ist eine Tabelle mit den Vor- und Nachteilen der verschiedenen Varianten zu sehen. Es gilt zu beachten, dass hier bei weitem nicht alle Punkte aufgelistet sind. Die Tabelle dient lediglich als kleine Zusammenfassung der wichtigsten Eigenschaften der drei Varianten.

Ein beispielhafter ML-Workflow:

Wie oben erwähnt, führen bei einer ML-Pipeline viele Wege zum Ziel. Im Folgenden ist ein beispielhafter ML-Workflow zu sehen. Der Workflow besteht lediglich aus Azure Produkten. Dies hat natürlich den Vorteil, dass die Konnektoren nahezu perfekt aufeinander abgestimmt sind.

Unsere Spezialisten

Auch im Bereich des Machine Learning haben wir als arelium zahlreiche Kundenprojekte betreut. Darunter eine Machbarkeitsstudie zur Betrugserkennung mit dem Azure ML Studio. Hier haben wir zusammen mit dem Kunden eine auf ihr System maßgeschneiderte Lösung ausgearbeitet. Wenn wir Ihre Neugierde geweckt haben, kontaktieren Sie uns gerne. Wir helfen Ihnen zu verstehen, wie Sie die Technologie nutzen können und helfen bei der Implementierung.
Mehr Informationen zu diesem Thema, finden Sie auch auf unserem YouTube-Kanal.

Der Beitrag Azure Machine Learning Studio erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.

Azure Synapse Workshop for free

Tobias Adler — Wed, 14 Dec 2022 09:02:14 +0000

Warum Azure Synapse so wichtig ist

In der heutigen Zeit ist es extrem wichtig, Daten die im Arbeitsalltag entstehen, zu speichern, zu organisieren und die richtigen Schlüsse aus den gesammelten Daten zu ziehen. Bei den meisten Unternehmen werden für unterschiedlichste Geschäftsprozesse viele verschiedene Tools und Applikationen benutzt. Azure Synapse hingegen ist ein Anwendung, mit der Sie alle Daten aus verschiedensten Quellen verarbeiten können, um sie dann zentral an einem Ort zu speichern. Und damit Sie das Meiste aus ihren Daten rausholen können, bieten wir von der arelium GmbH einen kostenlosen Workshop am Azure Marketplace an, um all Ihre Fragen zu beantworten. Somit sind auch Sie für die Zeit des Cloud-Computing gewappnet.

Beispielarchitektur mit Azure Synapse als zentrales Element

Hier bleibt keine Frage offen

Bei diesem Workshop können sich Interessierte eine Stunde lang mit einem unserer erfahrenen Data Engineers unterhalten. Hier werden dann alle Fragen zum Thema Azure Synapse geklärt. Somit steht einer Implementierung in ihrem Unternehmen nichts mehr im Weg. In diesem Gespräch können Sie uns allgemeine Fragen zu Azure Synapse stellen und uns Ihre aktuelle Umgebung schildern. Unsere Experten werden Ihnen dann Lösungen zu Ihren Problemen liefern, Ihre aktuelle Umgebung beurteilen und Ihnen ein leistungsstarkes Konzept vorschlagen, mit dem Sie Zeit und Kosten einsparen können. Bei diesem Gespräch handelt es sich also um eine Komplettlösung. Das Beste daran ist, dass dieses Erstgespräch Sie nichts kostet. Sie kriegen einen Einblick in die Welt von Azure Synapse.

Wann findet der nächste Workshop statt?

Da es sich bei diesem Workshop um keinen einmaligen Termin handelt, liegt das ganz bei Ihnen. Bei diesem Seminar geht es darum, Ihre Wünsche in der einstündigen Session zu erfüllen und Ihnen das Thema Synapse näher zu bringen. Wenn Sie dieses kostenfreie Angebot wahrnehmen möchten, melden Sie sich über info@arelium.de zur Vereinbarung eines Termins mit einem unserer Spezialisten.

Der Beitrag Azure Synapse Workshop for free erschien zuerst auf arelium - Wir holen mehr aus deinen Daten.