Was ist Datenarchitektur? Komponenten, Prinzipien und Beispiele

Datenarchitektur ist ein Rahmenwerk, wie IT-Infrastruktur Ihre Datenstrategie unterstützt. Das Ziel jeder Datenarchitektur ist es, die Infrastruktur des Unternehmens zu zeigen, einschließlich der Erfassung, Transport, Speicherung, Abfrage und Absicherung von Daten. Die Datenarchitektur ist die Grundlage jeder Datenstrategie. KI-Technologie verändert Dateninfrastrukturen radikal, insbesondere die Datenarchitektur und Strategien zur Datenverarbeitung. Die Datenarchitektur definiert, wie Ihre Organisation Daten erfasst, wie sie gespeichert und verwaltet werden und wie diese Daten genutzt werden. KI-Anwendungen verlangen bessere Methoden zur Verarbeitung riesiger Datenmengen sowie eine Steigerung der Rechenleistung. Um mit ausgefeilten KI-Anwendungen umzugehen, muss Ihre Dateninfrastruktur Agilität unterstützen – sowohl für schnell ändernde Geschäftsanforderungen als auch für das schnelle Tempo der KI-Innovation. Ihre Datenarchitektur muss hocheffizient, widerstandsfähig und stark sein und zudem Skalierbarkeit bieten. Wie können Sie diese Anforderungen erfüllen? In diesem Artikel betrachten wir:

• Definition der Datenarchitektur
• Architekturkomponenten
• Gängige Datenarchitektur-Frameworks
• Datenstandards
• Der Wechsel zu neuer Architektur

Fangen wir an.

Was ist eine Datenarchitektur?

Datenarchitektur ist die Struktur und Organisation, wie Sie Daten erfassen, speichern und verwalten und letztlich wie Ihre Systeme darauf zugreifen und sie nutzen. Datenarchitektur-Komponenten umfassen Datenmodelle, Regeln und Richtlinien, Datenzugriffs- und Sicherheitstechnologien sowie analytische Prozesse und Ausgaben. Die Datenarchitektur löst das "Wie" zur Umsetzung Ihrer Datenstrategie.

Beispiele für Datenarchitekturen

Verschiedene Beispiele für Datenarchitekturen sind:

• Eine Datei als .csv auf einer lokalen Festplatte zu speichern und die Datei auf dem Computer einer Person in Tableau einzulesen, um sie zu analysieren.
• Streaming-Daten von einer Reihe von Kassen werden in die Buchhaltung übertragen.
• Daten in einem groß angelegten Data Lake zu sammeln und dann Big-Data-Tools wie Spark oder Hadoop zu verwenden, um sie zu verarbeiten und zu analysieren.
• Datenerfassung und Platzierung dort, wo sie von verschiedenen Geschäftseinheiten auf einer Plattform verwaltet werden können.
• Eine Unternehmensdatenarchitektur kombiniert alles von .csv Dateien über Data Lakes und Warehouses bis hin zu Streaming-Daten und nutzt Datenintegrationsrahmen und Business-Intelligence-Tools.

Warum ist Datenarchitektur wichtig?

Die Datenarchitektur ist zu 100 % dafür verantwortlich, die Freiheit eines Unternehmens zu erhöhen, sich weltweit zu bewegen. Wenn Agilität nötig ist, um einen Zusammenbruch in ruhigen Saisons zu vermeiden oder die spontane Beliebtheit eines neuen Produkts zu nutzen, gilt: Je fortschrittlicher die Datenarchitektur, desto fähiger ist das Unternehmen, aktiv zu werden. Ausdrücklich ist Datenarchitektur wichtig, weil sie:

• Das gibt ein vollständigeres Bild davon, was im Unternehmen passiert
• Schafft ein besseres Verständnis der Unternehmensdaten
• Bietet Protokolle an, mit denen Daten von ihrer Quelle zur Analyse und Nutzung durch ihre Zielgruppen übertragen werden
• Stellt sicher, dass ein System zur Sicherung der Daten vorhanden ist
• Verleiht allen Teams die Möglichkeit, datenbasierte Entscheidungen zu treffen

Schlüsselkomponenten der Datenarchitektur

Die architektonischen Komponenten der heutigen Datenarchitekturwelt sind:

• Datenpipelines: Bezieht sich auf die Methoden, die verwendet werden, um Rohdaten in einen Datenspeicher zu bringen, typischerweise mit einer Transformation oder Verarbeitung.
• Cloud-Speicher: Dieses Modell zur Datenerfassung und -speicherung basiert auf entfernten Geräten, auf die Sie über ein Netzwerk zugreifen können.
• Application Programming Interfaces (APIs): Dieses Regelwerk stellt bestehende Funktionen zur Verfügung, für die Verbindung mit, die Kommunikation mit und das Teilen von Software.
• KI- und ML-Modelle: Diese Programmsätze finden Muster in den Daten, um Entscheidungen zu treffen oder Vorhersagen zur Lösung von Aufgaben zu treffen.
• Datenstrom: Bezieht sich auf das kontinuierliche Übertragen von Daten von der Quelle oder den Quellen zur Verarbeitung in Ausgaben.
• Kubernetes: Dieses Open-Source-System automatisiert die Bereitstellung, Skalierung und Verwaltung von Anwendungen in Containern zur Effizienzsteigerung.
• Cloud Computing: Beinhaltet die Bereitstellung von Rechendiensten auf entfernten Geräten, die über das Internet zugänglich und verwaltet werden.
• Echtzeit-Analysen: Verwendet Daten, Software und Hardware, um Daten sofort nach der Generierung zu analysieren.

Gängige Datenarchitektur-Frameworks

Ein Datenarchitektur-Framework ist ein strukturierter Ansatz zur Definition Ihrer Datenstrategie, einschließlich der Organisation, Verarbeitung und Dokumentation von Daten.

• Das Open Group Architectural Framework (TOGAF): Ein modularer Ansatz zur Schaffung eines Hierarchie- und Inhaltsrahmens, der Redundanz und Ineffizienz eliminiert und gleichzeitig die Datennutzbarkeit erhöht.
• Data Management – Body of Knowledge (DAMA-DMBOK2): Wendet Best Practices für Datenverwaltung, -qualität und -sicherheit an.
• Das Zachman-Framework: Bietet eine logische Matrixstruktur, die sowohl automatisierte als auch manuelle Systeme unterstützt, um die IT-Abteilung mit den Geschäftszielen in Einklang zu bringen.

Was sind Datenstandards?

Datenstandards sind die übergeordneten Standards einer Datenarchitektur, die man auf Bereiche wie Datenschemata und Sicherheit anwendet.

Datenschemata

Ein Datenschema definiert, wie man Daten innerhalb einer Datenbank organisiert, einschließlich der Angabe von Format, Beziehungen und Standards für Speicherung und Zugriff. Das Datenschema lautet:

• Jede einzelne Einheit sollte erfasst werden. Das Schema für Kontaktinformationen könnte zum Beispiel Name, Telefonnummer, E-Mail-Adresse und Arbeitsplatz enthalten.
• Die Art der Daten, die jedes Teil sein sollte. Zum Beispiel ist der Name Textdaten, die Telefonnummer Ganzzahldaten, E-Mail ist Textdaten und der Arbeitsplatz ist Textdaten.
• Die Beziehung dieser Entität zu anderen in der Datenbank, zum Beispiel woher sie kommt und wohin sie geht.

Die meisten Unternehmen aktualisieren ihr Datenschema entsprechend den sich ändernden Geschäftsbedürfnissen, Anwendungen und Datenmodellen. Da Daten immer allgegenwärtiger werden, verlagern sich Unternehmen von lokalen Datenbanken hin zu skalierbaren, cloudnativen relationalen Datenbanken. Man kann Daten aus einem Netzwerk von Datenquellen problemlos in die heutigen relationalen (NoSQL)-Datenbanken einfügen, ohne auf eine feste Hierarchie beschränkt zu sein. Außerdem können diese relationalen Datenbanken viel größer werden und Daten dynamisch durch Integrationen mit Analysetools hinzufügen, die mit herkömmlichen SQL-Datenbanken nicht möglich sind. Das Aktualisieren und Anpassen Ihres Datenschemas oder dessen "Versionierung" ist entscheidend. Die Versionierung des Datenschemas hilft dabei, zu standardisieren, was gefunden werden muss, wo und die Möglichkeit, zu fragen, wann sich ein Datensatz an einem Ort befand. (Erkunden Sie die Datenspeicherung von Datenbank über Lager bis See und von heiß zu kalt.)

Datensicherheit

Datenstandards helfen außerdem, die Sicherheitsregeln für die Architektur festzulegen. Diese können in der Architektur und im Schema visualisiert werden, indem gezeigt wird, welche Daten wohin übergeben werden und wie die Daten gesichert werden, wenn sie von Punkt A nach Punkt B transportiert werden. Sicherheitsprotokolle können Folgendes umfassen:

• Verschlüsselung von Daten während der Reise
• Einschränkung des Zugangs für Einzelpersonen
• Anonymisierung von Daten, um den Wert der Informationen beim Erhalt durch die empfangende Partei zu verringern
• Zusätzliche Aktionen

Umstellung auf neue Architektur

KI treibt die Trends in der Datenarchitektur voran, spiegelt die Notwendigkeit wider, Daten in Echtzeit zu verarbeiten, riesige Datenmengen aus verschiedenen Quellen in vielfältigen Formaten zu verarbeiten und hochentwickelte Abfragen und Analysen zu unterstützen. Trends umfassen:

• Die Dezentralisierung des Datenmanagements und der Übergang von zentralen Data Warehouses oder sogar Data Lakes hin zu domänen- oder abteilungsspezifischen Datensammlungen, die alle auf einer einzigen Plattform verwaltet werden.
• Die Vereinheitlichung von Datenintegrationen, manchmal auch Data Fabric genannt, nutzt KI und Automatisierung, um Daten plattformübergreifend in hybriden oder Multi-Cloud-Umgebungen zu verbinden.
• Verarbeitung in Echtzeit oder laufender Streaming, um Anwendungen wie Betrugsschutz, die Funktion von IoT und den Betrieb von KI zu unterstützen.
• Wir steuern Datenmanagemententscheidungen mit KI im Mittelpunkt, um die Grundlagen von Governance, Qualitätsprüfung und Optimierung zu automatisieren.
• Verwendung verteilter Datenbanken und mehrerer Modelle, um globale Skalierbarkeit mit hoher Failover-Resilienz zu gewährleisten.
• Entwurf für Cybersicherheit und Einhaltung unter Berücksichtigung verschiedener Rahmenwerke und Vorschriften.

Wenn man an alles im Zusammenhang mit Daten denkt – was wohl alles ist – sollte man immer die Datenarchitektur berücksichtigen.

Verwandte Literatur

• BMC Business of IT Blog
• BMC Machine Learning & Big Data Blog
• BMC Guides, das mehrteilige Tutorials zu verschiedenen Datenprodukten anbietet
• Datenethik für Unternehmen
• 3 Schlüssel zum Aufbau widerstandsfähiger Datenpipelines
• 5 Fragen, die Sie zu Daten in Ihrer SaaS-Umgebung stellen sollten

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.