Echtzeit vs. Batch-Verarbeitung vs. Stream-Verarbeitung

Bei der konstanten Innovationsrate können Entwickler erwarten, in jedem Zeitraum Terabytes und sogar Petabytes an Daten zu analysieren. (Daten ziehen schließlich mehr Daten an.)

Das bietet natürlich zahlreiche Vorteile. Aber was soll man mit all diesen Daten machen? Es kann schwierig sein, den besten Weg zu finden, diese Technologien zu beschleunigen und zu beschleunigen, besonders wenn Reaktionen schnell ablaufen müssen.

Für digital-first-Unternehmen stellt sich immer mehr die Frage, wie man Echtzeitverarbeitung, Batchverarbeitung und Stream-Verarbeitung am besten einsetzt. Dieser Beitrag wird die grundlegenden Unterschiede zwischen diesen Datenverarbeitungsarten erklären.

Chargenverarbeitung

Stromverarbeitung

Echtzeit-Datenverarbeitung und Betriebssysteme

Echtzeitbetriebssysteme beziehen sich typischerweise auf die Reaktionen auf Daten. Ein System kann als Echtzeit kategorisiert werden, wenn es garantieren kann, dass die Reaktion innerhalb einer engen realen Frist erfolgt, meist innerhalb von Sekunden oder Millisekunden.

Eines der besten Beispiele für ein Echtzeitsystem sind solche, die am Aktienmarkt verwendet werden. Wenn ein Aktienkurs innerhalb von 10 Millisekunden nach der Platzierung aus dem Netzwerk stammt, gilt dies als Echtzeitprozess. Ob dies durch eine Softwarearchitektur erreicht wurde, die Stream-Verarbeitung nutzt, oder nur durch Hardware-Verarbeitung, ist irrelevant; die Garantie der engen Frist macht es Realzeit.

Herausforderungen mit Echtzeitbetriebssystemen

Auch wenn diese Art von System wie ein echter Wendepunkt klingt, ist die Realität, dass Echtzeitsysteme mit gängigen Softwaresystemen extrem schwer umzusetzen sind. Wenn diese Systeme die Kontrolle über die Programmausführung übernehmen, bringt sie eine völlig neue Ebene der Abstraktion mit sich.

Das bedeutet, dass die Unterscheidung zwischen dem Kontrollfluss Ihres Programms und dem Quellcode nicht mehr erkennbar ist, da das Echtzeitsystem entscheidet, welche Aufgabe es in diesem Moment ausführt. Das ist vorteilhaft, da es eine höhere Produktivität mit höherer Abstraktion ermöglicht und das Design komplexer Systeme erleichtert, aber insgesamt weniger Kontrolle bedeutet, was schwer zu debuggen und zu validieren sein kann.

Eine weitere häufige Herausforderung bei Echtzeitbetriebssystemen ist, dass die Aufgaben keine isolierten Einheiten sind. Das System entscheidet, welche geplant wird, und sendet Aufgaben mit höherer Priorität vor niedrigeren Aufgaben, wodurch deren Ausführung verzögert wird, bis alle Aufgaben mit höherer Priorität abgeschlossen sind.

Immer häufiger setzen einige Softwaresysteme auf eine Art Echtzeitverarbeitung, bei der die Frist nicht so absolut ist, sondern vielmehr eine Wahrscheinlichkeit. Bekannt als Soft Real-Time-Systeme, können sie ihre Frist meist oder im Allgemeinen einhalten, obwohl die Leistung nachlässt, wenn zu viele Fristen verpasst werden.

Anwendungsfälle für Echtzeitverarbeitung

Wenn Sie kontinuierlich Daten eingeben und verarbeiten und einen stetigen Datenstrom verarbeiten, benötigen Sie Echtzeitverarbeitung. Hier sind einige reale Situationen, in denen Echtzeitverarbeitung notwendig ist.

• Geldautomaten (ATMs): Um das Kundenerlebnis zu verbessern, die Effizienz des Backoffice und die Analysefunktionen zu steigern und Betrug zu reduzieren, setzen Banken auf Echtzeitverarbeitung. Die Verarbeitung von Geldautomatentransaktionen, das sofortige Buchen auf das Konto und die Anpassung des Kontostands in Echtzeit erfordern eine sichere und effiziente Validierung der Benutzerdatendaten, Kontostandsprüfungen und eine spontane Transaktionsautorisierung.
• Flugverkehrskontrolle: Die sichere Steuerung und Bewegung von Flugzeugen in einem überfüllten Raum erfordert die Nutzung von Daten aus mehreren Quellen wie Radar, Satellitenbildern, Sensornetzwerken und Flugzeugkommunikation. Fortschrittliche Technologien wie KI benötigen Echtzeitdaten, um ein aktuelles Lagebewusstsein, eine Frühwarnung vor potenziellen Konflikten sowie die Fähigkeit zur Optimierung von Flugrouten und zur Verwaltung des Luftraums zu gewährleisten. Das Ideal ist es, proaktive Entscheidungen vorhersagen zu können, die Kollisionen vermeiden und Staus minimieren.
• Antiblockiersysteme (ABS): Der Sicherheitsvorteil des Fahrzeugs durch automatisiertes und optimiertes Bremsen erfordert Echtzeitdaten. Informationen über Reifen-zu-Straßen-Bedingungen müssen sofort vorhanden sein. Sobald der Radschlupf erkannt wird, reguliert das System die dynamische Bremskraft. Die Geschwindigkeit auf Geraden, Kurven und Winkeln sowie die Empfindlichkeit gegenüber Straßenoberfläche und Bedingungen wie Feuchtigkeit, Eis und Öl sind alles Datenpunkte, auf die das System sofort erkennen, analysieren und reagieren muss, um Radblockieren zu verhindern, die Fahrzeugkontrolle aufrechtzuerhalten und die Bremswege in Notbremssituationen zu verringern.

Batch-Verarbeitung ist die Verarbeitung eines großen Datenvolumens auf einmal. Die Daten bestehen leicht aus Millionen von Datensätzen für einen Tag und können auf verschiedene Arten gespeichert werden (Datei, Datensatz usw.). Die Jobs werden typischerweise gleichzeitig in ununterbrochener, fortlaufender Reihenfolge erledigt.

Ein typisches Beispiel für eine Batch-Datenverarbeitung sind alle Transaktionen, die ein Finanzunternehmen im Laufe einer Woche einreicht. Die Batch-Datenverarbeitung ist eine äußerst effiziente Methode, große Datenmengen zu verarbeiten, die über einen bestimmten Zeitraum gesammelt werden. Sie hilft auch, die Betriebskosten zu senken, die Unternehmen für Arbeitskräfte aufwenden könnten, da sie keine spezialisierten Dateneingabe-Mitarbeiter benötigt, um den Betrieb zu unterstützen. Sie kann offline genutzt werden und gibt Managern die vollständige Kontrolle darüber, wann die Verarbeitung beginnt – sei es über Nacht oder am Ende einer Woche oder am Lohnzeitraum.

Herausforderungen bei der Nutzung von Chargenverarbeitung

Wie bei allem gibt es einige Nachteile bei der Nutzung von Batch-Processing-Software. Eines der größten Probleme, die Unternehmen sehen, ist, dass das Debuggen dieser Systeme schwierig sein kann. Wenn Sie kein eigenes IT-Team oder keinen Fachmann haben, kann es nachteilig sein, das System bei einem Fehler zu beheben, was dazu führt, dass ein externer Berater zur Unterstützung benötigt wird.

Ein weiteres Problem bei der Batch-Verarbeitung ist, dass Unternehmen sie in der Regel einsetzen, um Geld zu sparen, aber die Software und Schulungen erfordern anfangs eine beträchtliche Ausgabe. Manager müssen darin geschult werden, Folgendes zu verstehen:

• Wie man eine Charge plant
• Was sie auslöst
• Was bestimmte Benachrichtigungen bedeuten

(Erfahren Sie mehr über moderne Batch-Verarbeitung.)

Anwendungsfälle für Batch-Datenverarbeitung

Für weniger zeitkritische Aufgaben kann die Batch-Verarbeitung eine effiziente Option sein. Wenn es keine Rolle spielt, dass die Verarbeitung Stunden oder sogar Tage dauern kann, brauchen Sie keine Echtzeit- oder nahezu Echtzeit-Optionen.

• Tagesabschluss-Berichte: Finanzinstitute erstellen typischerweise End-of-Day-Berichte, die Bankbuchdaten enthalten, wie Startsaldo, Einzahlungen, Abhebungen und Überweisungen, die in einem Endsaldo für den Geschäftstag gipfeln. Der Bericht unterstützt die Genauigkeit, indem er Fehler markiert und die Systemintegrität sicherstellt. Er hilft Managern, die operative Effizienz zu verbessern und aufrechtzuerhalten, und bietet eine gesetzlich vorgeschriebene Prüfspur. Die Aktivitäten finden den ganzen Tag statt, aber die Verarbeitung des Berichts und die Analyse erfolgen nach Ende des Banktages auf einem einzigen Zeitpunkt.
• Datenwarehousing: Daten in Data Warehouses werden typischerweise in geplanten und regelmäßigen Extraktions-, Transformations- und Ladeprozessen (ETL) verwaltet. Regelmäßige Aktualisierungen sind eine effiziente Möglichkeit, große Datenmengen zu verarbeiten und gleichzeitig sicherzustellen, dass das Data Warehouse für analytische Zwecke mit den neuesten Informationen auf dem neuesten Stand gehalten wird.
• Gehaltsabrechnung: Die Gehaltsabrechnungen des Unternehmens werden in der Regel in einem regelmäßigen Rhythmus durchgeführt, typischerweise alle zwei Wochen oder monatlich. Die Verwendung von Batch-Bearbeitung vereinfacht und beschleunigt die Arbeit bei der Erhebung von Zeiterfassungsdaten, der Berechnung von Gehältern, Steuern und anderen Abzügen sowie der Generierung von Gehaltsschecks.

Stream-Verarbeitung ist der Prozess, nahezu augenblicklich Daten zu analysieren, die von einem Gerät zum anderen gestreamt werden .

Diese Methode der kontinuierlichen Berechnung findet statt, während die Daten durch das System fließen, ohne dass die Ausgabe zeitlich begrenzt wird. Mit dem nahezu sofortigen Fluss benötigen Systeme keine großen Datenmengen, die gespeichert werden.

Die Verarbeitung von Stream-Daten ist äußerst vorteilhaft, wenn die Ereignisse, die Sie verfolgen möchten, häufig und zeitnah beieinander stattfinden. Am besten ist es auch, das Ereignis sofort erkannt und schnell beantwortet werden zu lassen. Stream-Verarbeitung ist daher für Aufgaben wie Betrugserkennung und Cybersicherheit nützlich. Wenn Transaktionsdaten stream-verarbeitet werden, können betrügerische Transaktionen erkannt und gestoppt werden, bevor sie überhaupt abgeschlossen sind.

Datenstromprozess

Hier sind Details, um zu veranschaulichen, wie der Datenstromprozess funktioniert.

• Ereignisgesteuert: Wenn etwas Relevantes passiert, löst das Ereignis eine Funktion aus. Es kann sein, auf einen Link auf einer Website zu klicken oder, im Fall von IoT-Geräten, ein intelligentes Beleuchtungssystem den Sonnenuntergang und das Verdunkeln eines Raumes zu erkennen.
• Datenfluss: Daten werden so verarbeitet, wie sie kommen, um Arbeitsabläufe ohne Unterbrechung zu unterstützen. Beispiele sind Fahrdienst-Apps, Aktienhandelsplattformen und Mehrspielerspiele.
• Zeitstempel: Dieser Prozess ist hilfreich, wenn man mit Daten in einer Zeitreihe umgeht, wie Logs, Transaktionsflüsse und Aufgabenflüsse.
• Kontinuierlich und heterogen: Hilfreich beim Umgang mit verschiedenen Datenarten in unterschiedlichen Formaten aus mehreren kontinuierlichen Quellen, das heißt, sie ändern sich innerhalb eines Bereichs, wie zum Beispiel Zeit. Außentemperatur und Windgeschwindigkeit sind Beispiele.

Datenstrom-Eigenschaften

• Niedrige Latenz: Obwohl nicht null, ist die Verarbeitungszeit in Sekunden, sogar Millisekunden messbar.
• Skalierbarkeit: Der Prozess unterstützt ein unerwartetes und rasches Wachstum der verarbeiteten Datenmenge.
• Fehlertoleranz: Der Ansatz erfordert hohe Betriebszeiten mit minimalem, sogar null, Datenverlustrisiko.
• Zustandsverwaltung: Sitzungsverfolgung, Fenster und Zählen von Ereignissen in einem Zeitfenster beim Verfolgen, Speichern und Verarbeiten von Daten.
• Verteilte Verarbeitung: Dieser Ansatz stellt sicher, dass Workloads von mehreren Knoten bearbeitet werden, um Fehlertoleranz und Skalierbarkeit zu gewährleisten.
• Integration mit anderen Systemen: Die Möglichkeit, Daten mit anderen Plattformen zu verbinden und auszutauschen, einschließlich anderer Datenbanken, Nachrichtenwarteschlangen und Analysetools.

Herausforderungen bei der Stromverarbeitung

Eine der größten Herausforderungen, denen Organisationen bei der Stream-Verarbeitung gegenüberstehen, ist, dass die langfristige Datenausgaberate des Systems genauso schnell oder sogar schneller sein muss als die langfristige Dateneingaberate, sonst bekommt das System Probleme mit Speicher und Speicher.

Eine weitere Herausforderung besteht darin, den besten Weg zu finden, mit der riesigen Datenmenge umzugehen, die erzeugt und verschoben wird. Um den Datenfluss im System auf dem höchstmöglichen optimalen Niveau zu halten, ist es notwendig, dass Organisationen einen Plan erstellen, wie die Anzahl der Kopien reduziert, wie Rechenkernel gezielt werden und wie die Cache-Hierarchie bestmöglich genutzt werden kann.

Anwendungsfälle für Stream-Verarbeitung

Stream-Verarbeitung ist in mehreren Kernfunktionen hilfreich.

• Betrugserkennung: Verfolgen und überwachen Sie Transaktionen in Echtzeit und markieren Sie Aktivitäten und verdächtige Ereignisse. Indem Sie potenziellen Betrug schnell identifizieren, können Sie Maßnahmen ergreifen, um entweder eine Transaktion zu validieren oder möglicherweise den Betrüger oder dessen umfassendere Cyberkriminalitäts-Exploit zu identifizieren.
• Netzwerküberwachung: Es ist entscheidend, Anomalien im Netzwerkverkehr zu erkennen, die entweder auf Fehlfunktionen oder Fehlverhalten hinweisen können. Ständige Überwachung kann Probleme schnell erkennen und beheben.
• Prädiktive Wartung: Die Überwachung von Geräten und Systemen in Echtzeit erkennt Probleme frühzeitig, anstatt auf einen Ausfall zu warten, der zu kostspieligen Ausfallzeiten führen könnte. Dies macht die Wartung effizienter und den Betrieb kostengünstiger.
• Störungserkennung: Die Überwachung der Cybersicherheit ermöglicht es, unbefugten Zugriff in Echtzeit zu erkennen. Ein schnelles Reagieren kann den verursachten Schaden begrenzen, und Daten helfen Ihrer Organisation, die Vorschriften einzuhalten. Sie werden auch die Taktiken, Techniken und Verfahren von Kriminellen besser verstehen, um künftig bessere Schutzmaßnahmen zu entwickeln.

Fazit

Obwohl all diese Systeme Vorteile haben, sollten Organisationen letztlich die potenziellen Vorteile jedes einzelnen abwägen, um zu entscheiden, welche Methode am besten für den Anwendungsfall geeignet ist.

Zusätzliche Ressourcen

• BMC Workload Automation Blog
• BMC Big Data Blog
• Anfängerleitfaden zur Arbeitsplatzautomatisierung
• Was ist ein Batch-Job?
• Was ist eine Datenpipeline?

Verwalten Sie SL für Ihre Batch-Dienste Joe Goldberg von BMC Software

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.