Data Fabric vs. Data Mesh: Hauptunterschiede und Ähnlichkeiten

Data Fabric und Data Mesh streben beide danach, die Daten zu organisieren, die über die Datenbanken oder Data Lakes verteilt sind. Data Fabric ist sehr technologiezentriert, und Data Mesh konzentriert sich auf organisatorische Veränderungen.

Jedes Data-First-Unternehmen strebt danach oder ist bereits dabei, ein Self-Service-Business-Intelligence-Modell einzuführen. Viele dieser Unternehmen sind immer noch nicht in der Lage, ihre Daten vollständig über ihre Plattform zugänglich zu machen und sie für alle ihre Benutzer in verschiedenen Branchen zu skalieren. Für diese Unternehmen Daten, die sich in Silos in einem Data Warehouse oder einem Data Lake befinden, ohne oder mit begrenzten Unterstützungsmöglichkeiten, wie und wann die Teams es benötigen. Hier kommen Datentechnologien wie Data Mesh und Data Fabric ins Spiel.

Bei oberflächlicher Betrachtung mögen beide grundsätzlich ähnlich aussehen. Schließlich entstehen Maschen aus Stoffen. In Anbetracht ihrer Auswirkungen auf jedes IT-System kann es sich lohnen, den Unterschied zwischen diesen beiden Angeboten zu kennen, um das richtige Produkt für Ihr Unternehmen zu finden. In vielen Fällen findet man das Beste aus beiden Welten, ein Entitätszentrierte Datenstruktur kann die Datenproduktkonzepte von Data Mesh integrieren, und die Dezentralisierung der Datentechnik könnte genau das sein, was die Organisation braucht.

Siehe auch: Führungskräfte müssen Data Fabrics im Jahr 2022 zu einer Priorität machen

Datenstruktur

Noel Yuhanna, ein Forrester-Analyst, war einer der ersten, der eine Definition für Data Fabric einführte. Datenverwaltungstools haben einen langen Weg von Datenbanken zu Data Warehouses und dann Data Lakes zurückgelegt, je nach Komplexität der Geschäftslösungen. Data Fabric kann als logischer nächster Schritt im Datenmanagementprozess betrachtet werden.

Data Fabric ist im Kern ein metadatengesteuerter Prozess, der darauf abzielt, eine breite Palette von Datenquellen und Tools auf einheitliche und Self-Service-Weise zu verbinden. Da die Größe der in den Organisationen gespeicherten Daten weiter zunimmt, steigt auch die Anzahl der Silos, die diese Daten speichern. Auch die Art der Daten ist sehr unterschiedlich, da es sich um Transaktions- oder Betriebsdaten handeln kann.

Wenn die Datenstruktur über diesen Repositories, Data Lakes oder Warehouses bereitgestellt wird, schafft dies Klarheit in Bezug auf die Zentralisierung von Daten im gesamten Unternehmen. Es erleichtert die Datenbereitstellung für die nachgelagerten Verbraucher, seien es Dateningenieure, QA-Managementingenieure oder Analysten. Es ist jedoch zu beachten, dass die Verwaltung dieser Daten zwar zentralisiert ist, die Zugriffsorte jedoch dieselben bleiben.

Data Fabric ist die #1 Gartner-Technologietrend für 2022 aufgrund seiner Fähigkeit, fast 70 % der Entwicklerarbeit im Datenlebenszyklus wiederherzustellen. Im Gegensatz zu manuellen Integrationsprozessen bietet Data Fabric einen erheblichen Vorteil durch die Vorteile, die sich aus der Verarbeitung dieser Daten ergeben.

Siehe auch: Data Fabric Success: Beantwortet Abfragen den fehlenden Stich

Datennetz

Zhamak Dehghani, ein ThoughtWorks-Berater, definierte zuerst das Konzept des Datennetzes. Im Grunde versucht es, das gleiche Problem zu lösen, auf das Data Fabric abzielt – die Verwaltung von Daten, die im gesamten Unternehmen isoliert sind. Der Unterschied besteht jedoch darin, dass in einem Datennetz verteilte Teams die Kontrolle und den Zugriff haben können, um ihre Daten in ihren Silos nach eigenem Ermessen zu verwalten.

Der Grund für den Vorstoß in Richtung Data Mesh ist die Lösung der Synchronisierungsprobleme zwischen den Data Lakes und den Data Warehouses. Die von Dehghani vorgestellte logische Architektur konzentriert sich darauf, dass die Daten basierend auf Daten gefiltert werden, die von den Benutzern und Datenquellen gemeinsam genutzt werden, anstatt sie für die Transformation fest zu codieren. In einem Datennetz werden die Daten ungefähr im gleichen Format wie die Quelle gehalten, und diese Daten werden dann von domänenspezifischen Teams verwendet, um sie nach eigenem Ermessen in ein Datenprodukt zu formen.

Der Hauptvorteil, den das Datennetz bietet, besteht darin, dass die Self-Service-Infrastructure-as-a-Platform den Teams, die Daten anfordern, zusammen mit Überwachung, Protokollierung, Alarmierung und Standardisierung einen einheitlichen Standardprozess zur Verfügung stellt und der auch domänenunabhängig ist.

Datennetze vs. Datenstrukturen

Zusammenfassend sind sowohl Data Fabrics als auch Meshes Datenverwaltungsarchitekturen. Der Unterschied zwischen ihnen besteht darin, dass Data Fabric ein technologieunabhängiges Framework ist, das Datenprodukte als eine seiner vielen Ausgaben liefern kann, während Data Mesh eine Architektur ist, die nur Datenprodukte produziert, die spezifisch für Geschäftsdomänen sind.

Data Fabric und Data Mesh streben beide danach, Organisation in die Daten zu bringen, die über die Datenbanken oder Data Lakes verteilt sind, Data Fabric ist sehr technologiezentriert und Data Mesh konzentriert sich auf organisatorische Veränderungen. Mesh ist für den Wandel in organisatorischen Veränderungen auf Menschen und Teams angewiesen, und Fabric ist ein architektonischer Ansatz zur Handhabung komplexer Daten und Metadaten.

In Bezug auf ihr Design nutzt Data Fabric die Metadaten und das zentralisierte Data Engineering entsprechend der Gesamterfahrung der Datenkonsumenten in der Organisation, während Data Mesh das Fachwissen nutzt, das die Teams in verschiedenen Bereichen haben, um es zu erstellen und zu entwerfen lieferbar: ein geschäftsorientiertes Datenprodukt.

Mit den Worten von Yuhanna: „Ein Datennetz ist im Grunde eine API-gesteuerte [solution] für Entwickler, im Gegensatz zu [data] Stoff,” [data fabric] ist das Gegenteil von Data Mesh, bei dem Sie Code für die APIs an die Schnittstelle schreiben. Andererseits ist Data Fabric Low-Code, No-Code, da die API-Integration innerhalb der Fabric stattfindet.“

Die Ähnlichkeiten zwischen Data Meshes und Data Fabrics

Es ist wichtig zu wissen, in welchen Aspekten sich diese beiden Angebote ähneln. Beide basieren auf fast fünf Jahrzehnten Erfahrung im Datenmanagement. Beide können voneinander profitieren und die Datenpraktiken des anderen nutzen. In vielen Fällen sind auch die Implementierungs- und Wartungskosten beider Frameworks ähnlich. Die Ähnlichkeiten in den Architekturprinzipien liegen in der Geschäftsdomänenbasis, der Datenproduktausgabe, der fortlaufenden Datenermittlung und dem Diagramm des Datenverhaltens.

Fazit

Obwohl die Anwendungsfälle und die Architektur von Data Fabric und Data Mesh variieren können, sind sie letztendlich immer noch Architektur-Frameworks und keine Architekturen an sich. Die Architektur entsteht, wenn die Anforderungen richtig definiert, die Daten verstanden und die Prozesse in der Organisation berücksichtigt werden. Es ist sogar praktisch, die beste Datenstruktur und das beste Datennetz in die endgültige Architektur aufzunehmen. Es wäre ratsam herauszufinden, welches dieser beiden Architektur-Frameworks für Ihr System am besten geeignet ist.

Leave a Comment

Your email address will not be published.