Datenqualität erklärt: Messung, Durchsetzung und Verbesserung der Datenqualität

Daten steuern Geschäftsentscheidungen, die bestimmen, wie gut Organisationen in der realen Welt funktionieren. Täglich werden riesige Datenmengen generiert, aber nicht alle Daten sind in ihrer Rohform zuverlässig, um eine geschäftskritische Geschäftsentscheidung zu treffen. Heute haben Daten ein Glaubwürdigkeitsproblem. Geschäftsleiter und Entscheidungsträger müssen die Auswirkungen der Datenqualität verstehen. In diesem Artikel werden wir besprechen:

• Datenqualität, insbesondere im Unternehmen
• Messung der Datenqualität
• Durchsetzung der Datenqualität, einschließlich Einstieg und Schlüsselrollen
• Verbesserung der Datenqualität

Fangen wir an!

Was ist Datenqualität?

Datenqualität bezeichnet die Eigenschaften, die die Zuverlässigkeit von Informationen bestimmen, um einen beabsichtigten Zweck zu erfüllen (oft umfassen diese im Geschäftsleben Planung, Entscheidungsfindung und Abläufe). Datenqualität bezeichnet den Nutzen von Daten als Funktion von Attributen, die ihre Eignung und Zuverlässigkeit zur Erfüllung der beabsichtigten Nutzung bestimmen. Diese Attribute – in Form von Kennzahlen, KPIs und anderen qualitativen oder quantitativen Anforderungen – können subjektiv und für eine einzigartige Menge von Anwendungsfällen und Kontext gerechtfertigt sein. Falls das unklar erscheint, liegt das daran, dass Daten je nach Perspektive unterschiedlich wahrgenommen werden. Schließlich kann die Definition eines Qualitätsessens zum Beispiel anders sein als bei einem Michelin-Sterne-Koch. Betrachten Sie Datenqualität aus folgenden Perspektiven:

• Verbraucher
• Geschäft
• Wissenschaftlich
• Standards
• Weitere Perspektiven

Um die Qualität eines Datensatzes zu verstehen, ist ein guter Ausgangspunkt, den Grad zu verstehen, in dem er mit einem gewünschten Zustand verglichen wird. Zum Beispiel kann ein fehlerfreier Datensatz, konsistent im Format und vollständig in seinen Funktionen alle Anforderungen oder Erwartungen erfüllen, die die Datenqualität bestimmen. (Verstehen Sie, wie Datenqualität im Vergleich zur Datenintegrität steht.)

Datenqualität im Unternehmen

Lassen Sie uns nun die Datenqualität aus einer Standardperspektive betrachten, da sie insbesondere in den Domänen wie Folgendes weit verbreitet ist:

• Datenbankverwaltung
• Big Data
• Enterprise IT

Schauen wir uns zunächst die Definition von 'Qualität' gemäß dem ISO 9000:2015-Standard an:

Qualität ist das Ausmaß, in dem die inhärenten Eigenschaften eines Objekts den Anforderungen entsprechen.

Wir können diese Definition auf Daten und deren Nutzung in der IT-Branche anwenden. Im Bereich des Datenbankmanagements beschreibt der Begriff 'Dimensionen' die Eigenschaften oder messbaren Merkmale eines Datensatzes. Die Qualität der Daten unterliegt auch externen und externen Faktoren wie Verfügbarkeit und Compliance. Hier ist also eine ganzheitliche und standardbasierte Definition von Qualitätsdaten in Big-Data-Anwendungen:

Datenqualität ist das Ausmaß, in dem Datendimensionen Anforderungen erfüllen.

Es ist wichtig zu beachten, dass sich der Begriff Dimensionen nicht auf die in Datensätzen verwendeten Kategorien bezieht. Stattdessen geht es um die messbaren Merkmale, die bestimmte Eigenschaften des Datensatzes beschreiben. Im Vergleich zum gewünschten Datenzustand kann man diese Eigenschaften nutzen, um die Datenqualität messbar zu verstehen und zu quantifizieren.

Zum Beispiel sind einige der gängigen Dimensionen der Datenqualität:

• Genauigkeit. Der Grad der Nähe zu echten Daten.
• Verfügbarkeit. Das Ausmaß, in dem die Daten von Benutzern oder Systemen abgerufen werden können.
• Vollständigkeit. Das Ausmaß, in dem alle Datenattribute, Datensätze, Dateien, Werte und Metadaten vorhanden und beschrieben sind.
• Compliance. Inwieweit die Daten den geltenden Gesetzen entsprechen.
• Konsistenz. Inwieweit Daten über mehrere Datensätze oder Bereiche hinweg definierten Regeln entsprechen.
• Integrität. Das Ausmaß der Abwesenheit von Korruption, Manipulation, Verlust, Leckage oder unbefugtem Zugriff auf den Datensatz.
• Latenz. Die Verzögerung bei der Produktion und Verfügbarkeit von Daten.
• Objektivität. Das Ausmaß, mit dem Daten erstellt und ohne Verzerrung bewertet werden können.
• Plausibilität. Das Ausmaß, in dem der Datensatz für reale Szenarien relevant ist.
• Redundanz. Das Vorhandensein logisch identischer Informationen in den Daten.
• Rückverfolgbarkeit. Die Fähigkeit, die Abstammung von Daten zu überprüfen.
• Gültigkeit. Das Ausmaß, in dem die Daten den bestehenden Regeln entsprechen.
• Volatilität. Das Ausmaß, in dem sich die Datensatzwerte im Laufe der Zeit ändern.

DAMA-NL bietet eine detaillierte Liste von 60 Datenqualitätsdimensionen, die als PDF verfügbar sind.

Warum Qualitätsdaten so wichtig sind

Okay, also verstehen wir, was Datenqualität ist – schauen wir uns nun an, warum Sie sie brauchen:

• Kostenoptimierung. Schlechte Datenqualität ist schlecht für das Unternehmen und hat erhebliche Kosten in Bezug auf Zeit und Aufwand. Tatsächlich schätzt Gartner , dass die finanzielle Auswirkung der durchschnittlichen finanziellen Auswirkung schlechter Datenqualität auf Organisationen etwa 15 Millionen Dollar pro Jahr beträgt. Eine weitere Studie von Ovum zeigt, dass schlechte Datenqualität das Unternehmen mindestens 30 % des Umsatzes kostet.
• Effektives, innovativeres Marketing. Genaue, schnelle Daten sind entscheidend, um Entscheidungen darüber zu treffen, an wen man vermarktet – und wie. Das führt zu besserer Zielansprache und effektiveren Marketingkampagnen, die die richtigen Zielgruppen erreichen.
• Bessere Entscheidungsfindung. Ein Unternehmen ist nur so gut wie seine Fähigkeit, präzise Entscheidungen rechtzeitig zu treffen – was von den vorhandenen Eingaben getrieben wird. Je besser die Datenqualität, desto zuversichtlicher sind Unternehmensleiter darin, Risiken in den Ergebnissen zu mindern und effiziente Entscheidungen zu fördern.
• Produktivität. Laut Forrester "verbringen fast ein Drittel der Analysten mehr als 40 Prozent ihrer Zeit damit, ihre Analysedaten zu prüfen und zu validieren, bevor sie für strategische Entscheidungen verwendet werden können." Wenn ein Datenmanagementprozess also konsistente, hochwertige Daten liefert, kann mehr Automatisierung erfolgen.
• Compliance. Das Sammeln, Speichern und Verwenden von Daten bringt Compliance-Vorschriften und Verantwortlichkeiten mit sich, was oft zu fortlaufenden, routinemäßigen Prozessen führt. Dashboard-ähnliche Analysen, die auf guten Daten basieren, sind zu einer wichtigen Möglichkeit geworden, wie Organisationen ihre Compliance-Lage auf einen Blick verstehen können.

Wie man die Datenqualität misst

Jetzt, da Sie wissen, was Sie von Ihren Daten erwarten – und warum – sind Sie bereit, mit der Messung der Datenqualität zu beginnen.

Datenprofilierung

Datenprofilierung ist ein guter Ausgangspunkt, um Ihre Daten zu messen. Es handelt sich um eine geradlinige Bewertung, bei der jedes Datenobjekt in Ihrem System betrachtet und festgestellt wird, ob es vollständig und genau ist. Dies ist oft eine vorläufige Maßnahme für Unternehmen, die bestehende Daten verwenden, aber einen Ansatz für das Datenqualitätsmanagement anstreben.

Datenqualitätsbewertungsrahmen

Eine komplexere Methode, Daten zu bewerten, ist ein Data Quality Assessment Framework (DQAF). Der DQAF-Prozessablauf beginnt wie Datenprofilierung, aber die Daten werden anhand bestimmter spezifischer Eigenschaften guter Daten gemessen. Diese sind:

• Integrität. Wie schneiden die Daten im Vergleich zu vorab festgelegten Qualitätsstandards ab?
• Vollständigkeit. Wie viel der Daten wurde bereits erhoben?
• Validität. Sind die Daten mit den Werten eines gegebenen Datensatzes übereinstimmend?
• Einzigartigkeit. Wie oft erscheint ein Datensatz in einem Satz?
• Genauigkeit. Wie genau sind die Daten?
• Konsistenz. Haben in verschiedenen Datensätzen die gleichen Daten denselben Wert?

Mit diesen Grundprinzipien guter Daten als Grundlage können Data Engineers und Data Scientists Daten mit ihren eigenen realen Standards für jede einzelne analysieren. Zum Beispiel kann eine Dateneinheit, die auf Aktualität bewertet wird, anhand des Bereichs von besten bis durchschnittlichen Lieferzeiten innerhalb der Organisation betrachtet werden.

Datenqualitätsmetriken

Es gibt einige standardisierte Methoden zur Datenanalyse, wie oben beschrieben. Aber es ist auch wichtig, dass Organisationen eigene Kennzahlen entwickeln, um die Datenqualität zu beurteilen. Hier sind einige Beispiele für Datenqualitätskennzahlen:

• Das Daten-zu-Fehler-Verhältnis analysiert die Anzahl der Fehler in einem Datensatz unter Berücksichtigung seiner Größe.
• Leere Werte bewerten, wie viel des Datensatzes leere Werte enthält.
• Der Prozentsatz der "dunklen Daten" oder unbrauchbaren Daten zeigt, wie viele Daten in einem bestimmten Satz nutzbar sind.
• Das Zeit-Wert-Verhältnis zeigt an, wie lange Sie benötigen, um wichtige Daten nach der Eingabe ins System zu verwenden und darauf zuzugreifen. Es kann Ihnen anzeigen, ob die eingegebenen Daten nützlich sind.

(Erfahren Sie mehr über dunkle Daten.)

Wie man die Datenqualität durchsetzt

Datenqualitätsmanagement (DQM) ist ein Prinzip, bei dem alle kritischen Ressourcen eines Unternehmens – Menschen, Prozesse und Technologie – harmonisch zusammenarbeiten, um gute Daten zu erstellen. Genauer gesagt ist Datenqualitätsmanagement eine Reihe von Prozessen, die darauf abzielen, die Datenqualität zu verbessern, mit dem Ziel, vordefinierte Geschäftsergebnisse umsetzbar zu erreichen. Datenqualität erfordert eine Grundlage für optimalen Erfolg. Diese Kernsäulen umfassen Folgende:

• Die richtige Organisationsstruktur
• Ein definierter Standard für Datenqualität
• Routinemäßige Datenprofilierungsprüfungen zur Qualitätssicherung
• Datenberichterstattung und -überwachung
• Prozesse zur Korrektur von Fehlern in fehlerhaften und unvollständigen Daten

Anfang

Wenn Sie wie viele Unternehmen sind, ist es wahrscheinlich, dass Sie sich gerade erst mit Big Data einleben. Hier sind unsere Empfehlungen zur Umsetzung einer Strategie, die sich auf Datenqualität konzentriert;

• Bewerten Sie die aktuellen Datenbeschäftigungen. Ein ehrlicher Blick auf Ihren aktuellen Stand der Datenmanagementfähigkeiten ist notwendig, bevor Sie weitermachen.
• Setzen Sie Benchmarks für Daten. Dies wird die Grundlage Ihrer neuen DQM-Praktiken sein. Um die richtigen Benchmarks zu setzen, müssen Organisationen bewerten, was ihnen wichtig ist. Werden Daten verwendet, um Kunden zu superbedienen oder um ein besseres Nutzererlebnis auf der Unternehmenswebsite zu schaffen? Zuerst sollten Sie geschäftliche Zwecke für Daten bestimmen und von dort aus rückwärts arbeiten.
• Gewährleisten Sie die organisatorische Infrastruktur. Ein geeignetes Datenmanagementsystem bedeutet, die richtigen Köpfe zu haben, die der Herausforderung gewachsen sind, die Datenqualität zu gewährleisten. Für viele Organisationen bedeutet das, Mitarbeiter zu befördern oder sogar neue Mitarbeiter einzustellen.

DQM-Rollen & Verantwortlichkeiten

Eine Organisation, die sich verpflichtet hat, ihre Daten von hoher Qualität zu gewährleisten, sollte folgende Rollen als Teil ihres Datenteams in Betracht ziehen:

• Der DQM-Programmmanager gibt den Ton hinsichtlich der Datenqualität an und hilft dabei, Anforderungen an die Datenqualität festzulegen. Diese Person ist außerdem dafür verantwortlich, die täglichen Aufgaben des Datenqualitätsmanagements im Griff zu behalten, sicherzustellen, dass das Team im Zeitplan, im Budget und die Einhaltung vorgegebener Datenqualitätsstandards bleibt.
• Der Organization Change Manager ist maßgeblich an der Veränderung des Change Managements beteiligt, die eintritt, wenn Daten effektiv genutzt werden, und diese Person trifft Entscheidungen über die Dateninfrastruktur und -prozesse.
• Data Analyst/Business Analyst interpretiert und berichtet über Daten.
• Der Data Steward ist mit der Verwaltung von Daten als Unternehmensvermögen beauftragt.

Hebeltechnologie

Datenqualitätslösungen können den Prozess erleichtern. Die Nutzung der richtigen Technologie für ein Unternehmensunternehmen erhöht die Effizienz und Datenqualität für Mitarbeiter und Endnutzer.

Verbesserung der Datenqualität: Best Practices

Die Datenqualität kann auf viele Arten verbessert werden. Die Datenqualität hängt davon ab, wie Sie die Qualitätsattribute und -dimensionen ausgewählt, definiert und gemessen haben. Im Geschäftsumfeld gibt es viele Möglichkeiten, die Datenqualität zu messen und durchzusetzen. IT-Organisationen können folgende Schritte unternehmen, um sicherzustellen, dass die Datenqualität objektiv hoch ist und verwendet wird, um Modelle zu trainieren, die eine profitable Geschäftswirkung erzielen:

• Finden Sie die am besten geeigneten Datenqualitätsdimensionen aus geschäftlicher, operativer und nutzerischer Perspektive. Nicht alle 60 Datenqualitätsdimensionen sind für jeden Anwendungsfall notwendig. Wahrscheinlich sind selbst die oben genannten 12 zu viele für einen Anwendungsfall.
• Beziehen Sie jede Datenqualitätsdimension mit einem größeren Ziel und einem größeren Ziel in Beziehung. Dieses Ziel kann immateriell sein, wie Nutzerzufriedenheit und Markentreue. Die Dimensionen können stark mit mehreren Zielen korreliert sein – die IT sollte bestimmen, wie jede Dimension optimiert werden kann, um den größeren Satz an Zielen zu maximieren.
• Legen Sie die richtigen KPIs, Kennzahlen und Indikatoren fest, um jede Datenqualitätsdimension genau zu messen. Wählen Sie die richtigen Kennzahlen aus und verstehen Sie, wie Sie sie richtig benchmarken.
• Verbessern Sie die Datenqualität an der Quelle. Setzen Sie Datenbereinigungspraktiken am Rand des Netzwerks durch, wo Daten generiert werden (wenn möglich).
• Beseitigen Sie die Ursachen, die Fehler und Qualitätslücken verursachen. Sie könnten eine Abkürzung nehmen, wenn Sie einen fehlerhaften Datenpunkt finden, und ihn manuell korrigieren, aber das bedeutet, dass Sie nicht verhindert haben, was das Problem ursprünglich verursacht hat. Die Ursachenanalyse ist eine notwendige und lohnende Praxis für Daten.
• Kommunizieren Sie mit den Stakeholdern und Partnern, die an der Datenbereitstellung beteiligt sind. Die Datenbereinigung kann eine Verlagerung der Verantwortung an der Quelle erfordern, die möglicherweise extern zur Organisation liegt. Indem sie die richtigen Botschaften an Datenerzeuger vermitteln, können Organisationen Wege finden, hochwertige Daten zu beschaffen, die allen in der Datenlieferpipeline zugutekommen.

Identifizieren und verstehen Sie schließlich die Muster, Erkenntnisse und Abstraktionen, die in den Daten verborgen sind, anstatt Modelle einzusetzen, die Rohdaten in vordefinierte Funktionen umwandeln, die für die realen Geschäftsziele nur begrenzt relevant sind.

Verwandte Literatur

• BMC Machine Learning & Big Data Blog
• Datenanalyse vs. Datenanalyse: Was ist der Unterschied?
• 3 Schlüssel zum Aufbau widerstandsfähiger Datenpipelines
• Datenmanagement vs. Data Governance: Hauptunterschiede
• Big Data vs. Analytics vs. Data Science: Was ist der Unterschied?
• Data Visualization Guide, eine Reihe von Tutorials zu Diagrammen, Diagrammen, Tableau Online und mehr

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.