Datenaufnahme: Definition, Werkzeuge und Pipeline

Datenaufnahme ist der Prozess, Daten aus mehreren Quellen abzurufen und zu importieren und an einen einzigen Ort zu übertragen, wo sie bei Bedarf gespeichert und analysiert werden können.

Verschiedene Geschäftsbeteiligte benötigen Zugriff auf Daten für eine Vielzahl von Anforderungen; Dieses Bedürfnis steht im Zentrum von Data Operations.  Ob es sich nun um Supply-Chain-Manager handelt, die datengetriebene Einkaufsentscheidungen treffen möchten, Betriebsleiter, die Fertigungsprozesse zur Optimierung priorisieren, oder Marketingfachleute, die bessere Prognosen für eine kommende Einkaufssaison wünschen – die Transparenz vielfältiger Datenquellen ist für moderne Unternehmen entscheidend geworden.

Die Herausforderung besteht darin, Daten aus vielen verschiedenen Quellen und Formaten in eine einzige Datenbank zu bringen. Die Lösung dieser Herausforderung steht im Zentrum der Datenaufnahme.

Chargenverarbeitung

Bei diesem Ansatz sammelt die Datenaufnahmeschicht schrittweise aus den Datenquellen und sendet die Daten in Chargen an das zu speichernde System. Datenchargen können in Intervallen in Minuten, Stunden oder sogar Wochen gesendet werden. Die Daten werden nach Zeitplan oder bestimmten Kriterien priorisiert, etwa wann bestimmte Schwellenwerte erreicht sind oder bestimmte Bedingungen ausgelöst werden. 

Dies ist die am häufigsten verfügbare Art der Datenaufnahme. Es ist relativ einfach und kostengünstig und eignet sich für die Erfassung spezifischer Datenpunkte für periodische Deep-Dive-Analysen. Allerdings ist es für Szenarien, die Echtzeit-Datenaktualisierungen erfordern, unzureichend.  

Echtzeitverarbeitung

Bei Echtzeit- oder Streaming-Aufnahme werden Daten sofort nach der Erstellung an der Quelle ins zentrale System verarbeitet. Dieser Ansatz ist teurer, da die Datenerfassungslösung die Quellen kontinuierlich auf neue Daten überwachen muss. Sie ist jedoch äußerst nützlich in Situationen, in denen zeitkritischer Zugriff erforderlich ist.

Hybridverarbeitung

Dieser Ansatz kombiniert Elemente der Echtzeit- und Batchverarbeitung. Je nach Szenario könnte ein hybrider Ansatz namens Micro-Batching angewandt werden. Dies erfolgt eine Batch-Verarbeitung mit einer viel schnelleren Geschwindigkeit als üblich (Intervalle können bis zu Millisekunden gemessen werden).

Eine weitere hybride Methode ist die auf Lambda-Architektur basierende Datenaufnahme. Dieser Ansatz umfasst drei verschiedene Schichten:

• Die Batch-Schicht wird im klassischen Batch-Modus verarbeitet und bietet einen vollständigen Überblick über den gesamten Datenkörper.
• Die Geschwindigkeitsschicht bietet Echtzeit-Transparenz in spezifische Daten, die sofort verarbeitet und analysiert werden müssen.
• Die Serving-Schicht kombiniert Ergebnisse aus der Batch- und Geschwindigkeitsschicht und bietet so eine einheitliche Ansicht sowohl zeitsensitiver Informationen als auch das vollständigere Datenbild.

Erstellen Sie Data Service Level Agreements (SLAs)

Der beste Ausgangspunkt – insbesondere um Ihren optimalen Aufnahmeansatz zu bestimmen – ist, Anwendungsfallanforderungen von Ihren Datenkonsumenten zu sammeln und rückwärts ein Daten-SLA zu entwickeln, das Themen wie:

• Was ist der geschäftliche Bedarf?
• Was sind die Erwartungen an die Daten, und wann müssen die Daten diese erfüllen?
• Wie wissen wir, wann der SLA erfüllt ist, und wie wird die Reaktion ausfallen, wenn der SLA nicht eingehalten wird?

Im Rahmen dessen sollten Sie versuchen, die Herausforderungen durch die entwickelten Anwendungsfälle zu skizzieren und entsprechend zu planen. Identifizieren Sie die spezifischen Quellsysteme, die Ihnen zur Verfügung stehen, und stellen Sie sicher, dass Sie wissen, wie Sie Daten daraus extrahieren können.

Automatisierte Datenerfassung

Mit zunehmendem Datenvolumen und Komplexität sind die Zeiten, in denen man auf manuelle Aufnahmelösungen zur Kuratierung einer so riesigen Menge unstrukturierter Daten angewiesen war, vorbei. Automatisierte Datenerfassungslösungen haben sich als Zeitersparnis erwiesen, Produktivitätssteigerung und Reduzierung manueller Schritte im Datenerfassungsprozess erwiesen.

Darüber hinaus bietet die Automatisierung die zusätzlichen Vorteile architektonischer Konsistenz, konsolidiertes Management, Sicherheit und Fehlermanagement. All dies trägt zu einer verkürzten Datenverarbeitungszeit bei.

Führen Sie Datenqualitätsprüfungen zum Zeitpunkt der Ausgabe durch – aber tun Sie dies vorsichtig

Der beste Zeitpunkt, um festzustellen, ob Sie ein Qualitätskontrollproblem haben, ist zum Zeitpunkt der Einnahme. Obwohl es keine skalierbare Möglichkeit gibt, Tests für jede mögliche Datenkorruption in der Pipeline zu erstellen, implementieren einige Organisationen Daten-Circuit Breaker, die den Datenaufnahmeprozess stoppen, wenn die Daten bestimmte Qualitätskontrollen nicht bestehen. Allerdings gibt es hier inhärente Kompromisse. Setzen Sie Ihre Datenqualitätsschwellen zu hoch, könnten Sie den Datenzugriff unnötig behindern; Setzt man sie zu niedrig, könnte Ihr gesamtes Data Warehouse kompromittiert werden.

Geben Sie hier Ihr Bestes, um ein Gleichgewicht bei der Installation Ihres Leistungsschalters zu finden. Und nutzen Sie Datenvisualisierung und Beobachtbarkeit, um Qualitätsprobleme frühzeitig im Prozess zu erkennen, damit Sie sie lösen können, bevor sie weit verbreitet werden.