Auf einen Blick: ETL ist aufgrund seiner Komplexität und hohen Kosten für die Migration von Großrechnern ungeeignet, was es für moderne Anforderungen ineffizient macht. ELT, das zuerst Rohdaten lädt, bietet insbesondere in Cloud-Umgebungen mehr Flexibilität und Effizienz.
- ETL hat Probleme mit unstrukturierten Daten und verursacht hohe Verarbeitungskosten.
- ELT erhöht die Flexibilität und unterstützt cloudbasierte Datenstrategien effektiver.
ETL (Extract, Transform, and Load) ist der falsche Ansatz für die Mainframe-Datenmigration, da es für strukturierte Datenbank-zu-Datenbank-Übertragungen entwickelt wurde – nicht für die flexible, cloud-taugliche Datenübertragung, die moderne Mainframe-Umgebungen erfordern. Die Komplexität, der Arbeitsaufwand, die Verarbeitungskosten und die Unfähigkeit, unstrukturierte Daten zu verarbeiten, machen es zu einer schlechten Wahl für Organisationen, die heute Mainframe-Datenmigration anstreben. ELT (Extract, Load, and Transform), das Rohdaten zuerst an ihr Ziel bringt und dort transformiert, passt besser dazu, wie die Mainframe-Modernisierung tatsächlich funktioniert.
Veränderung ist gut – ein vertrautes Mantra, aber nicht immer leicht umzusetzen. Wenn es darum geht, auf eine neue Art des Datenumgangs umzusteigen, schauen Großrechnerorganisationen, die sich ihren Platz durch die IT-Äquivalent unternehmensweiter Versicherungspolicen (robust, zuverlässig und risikoscheu) verdient haben, ganz natürlich mit Vorsicht auf neue Konzepte wie Extraktion, Laden und Transformieren (ELT).
Als leichtere und schnellere Alternative zu traditionelleren Datenverarbeitungsverfahren wie Extract, Transform and Load (ETL) positioniert, lädt ELT definitiv zu einer genaueren Prüfung ein. Und diese genaue Prüfung kann sich lohnen.
Die von SearchDataManagement.com bereitgestellten Definitionen besagen, dass ELT "ein Datenintegrationsprozess ist, bei dem Rohdaten von einem Quellserver auf ein Datensystem (wie ein Data Warehouse oder Data Lake) auf einem Zielserver übertragen und anschließend die Informationen für nachgelagerte Anwendungen vorbereitet werden." Im Gegensatz dazu definiert eine andere Quelle ETL als "drei Datenbankfunktionen, die in einem Tool kombiniert werden, um Daten aus einer Datenbank zu ziehen und in eine andere Datenbank zu legen."
Der entscheidende funktionale Unterschied besteht darin, dass ETL sich ausschließlich auf den Datenbank-zu-Datenbank-Transfer konzentriert, während ELT offen und flexibel ist. In der Großrechnerwelt ist ETL ein Werkzeug mit einem begrenzteren Fokus – ELT konzentriert sich darauf, die Zukunft anzukurbeln.
Warum scheitert ETL bei der Mainframe-Datenmigration?
ETL bleibt in fünf Schlüsseldimensionen unzureichend: Komplexität, Arbeitsintensität, Verarbeitungsengpässe, strukturelle Festigkeit und hohe Verarbeitungskosten. Hier ein genauerer Blick auf jede einzelne.
1. ETL ist zu komplex
ETL war ursprünglich nicht dafür ausgelegt, alle Aufgaben zu übernehmen, die es jetzt erledigen soll. In den Anfangstagen wurde ETL oft angewendet, um Daten aus einer relationalen Struktur zu ziehen und in eine andere relationale Struktur einzufügen – einschließlich der Reinigung der Daten unterwegs.
Zum Beispiel kann ein traditionelles relationales Datenbankmanagementsystem (RDBMS) durch numerische Daten, bei denen es Alphadaten erwartet, oder durch das Vorhandensein veralteter Adressabkürzungen verwirrt werden . ETL ist für diese Art von mühsamer, feldbezogener Datenprüfung, "Reinigung" und Bewegung optimiert – aber nicht für die Versorgung einer Hadoop-Datenbank oder moderner Data Lake. ETL wurde nicht erfunden, um alle Arten der Datenherkunft und aller heutigen Nutzungsmöglichkeiten zu nutzen.
2. ETL ist arbeitsintensiv
Da der ETL-Prozess auf Transformation herum aufgebaut ist, hängt alles von der rechtzeitigen Abschluss dieses Transformationsschritts ab. Bei größeren Datenmengen – denken Sie an Big Data – können die erforderlichen Transformationszeiten unpraktisch oder unpraktisch werden, wodurch ETL zu einem funktionalen und rechnerischen Engpass wird.
3. ETL-Forderungsstruktur
Da der ETL-Prozess auf Transformation herum aufgebaut ist, hängt alles von der rechtzeitigen Abschluss dieses Transformationsschritts ab. Bei größeren Datenmengen – denken Sie an Big Data – können die erforderlichen Transformationszeiten unpraktisch oder unpraktisch werden, wodurch ETL zu einem funktionalen und rechnerischen Engpass wird.
4.ETL verlangt Struktur
ETL ist nicht für unstrukturierte Daten konzipiert und kann bei der Handhabung mehr Komplexität als Wert hinzufügen. ETL funktioniert am besten für traditionelle Datenbanken, hilft aber nicht viel bei den riesigen Wellen unstrukturierter Daten, die Organisationen heute verarbeiten müssen.
5. ETL hat hohe Verarbeitungskosten
ETL ist besonders herausfordernd für Mainframes, da Mainframe-Workloads in der Regel MSU-Verarbeitungskosten (Million Service Unit) verursachen – was Systeme belastet, die gleichzeitig Echtzeit-Workloads verarbeiten müssen. ELT hingegen kann größtenteils mit den Fähigkeiten integrierter zIIP-Engines realisiert werden , was die MSU-Kosten senkt, wobei zusätzliche Verarbeitung an einem gewählten Cloud-Ziel abgewickelt wird. Als Reaktion auf die hohen Verarbeitungskosten von ETL haben viele Organisationen die Datentransformationsphase bereits in die Cloud verlegt, um Analyse-Workloads und die Erstellung von Data Lake zu unterstützen.
Warum ist ELT der bessere Weg für Mainframe-Organisationen?
Es wäre falsch, eine Entscheidung zwischen ETL und ELT zu sehr zu vereinfachen – es gibt zu viele bewegliche Teile und Entscheidungspunkte, um sie abzuwägen. Aber die wichtigste Erkenntnis ist diese: ELT spricht die sich entwickelnden IT-Paradigmen an, für die ETL nie entwickelt wurde.
ELT ist ideal, um riesige Datenmengen in die Cloud zu übertragen – typischerweise in einen Data Lake, der darauf ausgelegt ist, alle verfügbaren Daten zu erfassen, damit moderne Analytik funktionieren kann. Deshalb wächst ELT und findet insbesondere im Großrechner-Umfeld Fortschritte. ELT stellt vielleicht den besten Weg dar, um die Übertragung von Mainframe-Daten in die Cloud im großen Maßstab zu beschleunigen und macht ELT zu einem wichtigen Werkzeug für IT-Organisationen, die auf Modernisierung und die Maximierung des Werts ihrer bestehenden Investitionen abzielen.
Häufig gestellte Fragen
Was ist ETL und warum wird es in Großrechnerumgebungen verwendet?
ETL (Extract, Transform, and Load) ist eine Datenintegrationsmethode, die Daten aus einer Quelle zieht, sie an ein Zielschema umwandelt und in eine Zieldatenbank lädt. Mainframes haben sich historisch auf ETL verlassen, weil es gut für die strukturierte RDBMS-zu-RDBMS-Datenbewegung geeignet war, die vor Cloud- und Big-Data-Workloads dominierte.
Was ist der Unterschied zwischen ETL und ELT?
ETL transformiert Daten, bevor sie in das Zielsystem geladen werden. ELT lädt zuerst Rohdaten zum Ziel und transformiert sie dort, wobei die Rechenleistung des Zielsystems genutzt wird. ELT ist flexibler und besser geeignet für moderne Cloud-Umgebungen und Datenseen als ETL.
Warum wird ETL zu einem Engpass für die Mainframe-Datenmigration?
ETL erfordert, dass alle Transformationen abgeschlossen sind, bevor die Daten zu ihrem Ziel gelangen können. Im Maßstab moderner Großrechner-Datenvolumina erzeugt diese Abhängigkeit von sequentiellen Transformationen Verzögerungen, die ETL unpraktisch machen. ELT umgeht den Engpass, indem es die Last- und Transformationsschritte vollständig trennt.
Was ist eine zIIP-Engine und wie senkt sie die Mainframe-Verarbeitungskosten?
Ein zIIP (IBM Z Integrated Information Processor) ist eine Spezial-Engine auf IBM-Großrechnern, die darauf ausgelegt ist, zulässige Arbeitslasten von allgemeinen Prozessoren zu entlasten und so die MSU-Gebühren zu senken. ELT-Workloads sind oft für zIIP-Verarbeitung geeignet, was ELT für Mainframe-Datenmigrationsprojekte deutlich kosteneffizienter macht als ETL.
Wann macht ETL gegenüber ELT überhaupt noch Sinn?
ETL bleibt für strukturierte Datenbank-zu-Datenbank-Migrationen geeignet , bei denen Schema-Ausrichtung und Datenqualitätstransformation erfolgen müssen, bevor die Daten ihr Ziel erreichen – insbesondere wenn Datenvolumina handhabbar sind und das Zielsystem vorumgewandelte Daten benötigt. Für großflächige, cloudgebundene Mainframe-Modernisierung ist ELT im Allgemeinen die bessere Wahl.
Die in diesem Beitrag geäußerten Ansichten und Meinungen sind die des Autors und spiegeln nicht unbedingt die offizielle Position von BMC wider.
Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.