Was ist Reverse ETL? Eine Definition

Reverse ETL definiert

Reverse ETL überträgt Daten aus Ihrem Data Warehouse und sendet sie an Ihre Geschäftsanwendungen. Die Daten in Ihrem Lager sind sauber, verarbeitet, genau und vollständig und stellen sicher, dass alle Ihre Anwendungen – und die Geschäftsfunktionen, die sie nutzen – aus demselben hochwertigen Datensatz arbeiten.

Reverse ETL kann sich sowohl auf den Prozess der Datenübertragung als auch auf die Softwaretools beziehen, die die Arbeit ausführen. Während diese Arbeit typischerweise manuell über Datenanfragen an die IT durchgeführt wurde, entstehen robuste Reverse-ETL-Produkte, die diesen Prozess automatisieren.

Wer braucht Reverse ETL?

Viele moderne Organisationen speichern ihre Daten in Lagern und setzen eine große Anzahl von Anwendungen ein. Viele davon können nicht die Ressourcen und das Fachwissen bereitstellen, um die benötigten Pipelines manuell zu bauen und zu warten. Diese Organisationen würden von einem Reverse-ETL-Tool profitieren, das so viel wie möglich vom Prozess automatisiert.

Organisationen jedoch, die ihre eigenen Pipelines bauen möchten – und bereit sind, die dafür benötigten Ressourcen bereitzustellen – benötigen möglicherweise kein Reverse-ETL-Tool. Kleinere Organisationen benötigen möglicherweise auch kein Reverse-ETL-Tool, da sie nicht genug Daten speichern oder verschieben, um eines zu benötigen.

Kann Reverse ETL überwacht werden?

Reverse-ETL-Prozesse und -Tools werden häufig überwacht, um sicherzustellen, dass sie erwartungsgemäß funktionieren und die richtigen Daten zur richtigen Zeit an die richtigen Systeme liefern.

Organisationen können automatische Flags, Warnungen und Benachrichtigungen einrichten, die ausgelöst werden, wenn ein Problem auftritt, wie zum Beispiel fehlgeschlagene Synchronisationen, Konvertierungen, Mapping oder andere grundlegende Fehler.

Was ist der Unterschied zwischen ETL und reverse ETL?

ETL und umgekehrtes ETL werden oft verwechselt. Sie folgen demselben Prozess, und der Hauptunterschied ist, in welche Richtung sich die Daten bewegen. Im ETL werden Daten von Geschäftsanwendungen und anderen Quellen ins Data Warehouse übertragen, rückwärts werden ETL-Daten vom Data Warehouse zu Geschäftsanwendungen oder anderen Zielen weitergeleitet.

Konkret werden im Standard-ETL-Prozess Rohdaten aus einer Quelle extrahiert.

1. Bei ETL werden Daten aus einer Rohquelle extrahiert, in der sie erzeugt oder gespeichert werden. Diese Quelle kann alles sein, von einer Anwendung über eine Website bis hin zu einer Excel-Datei, die Drittanbieterdaten speichert, die von einer externen Instanz gekauft wurden.

2. Diese Daten werden dann transformiert und speicherbereit gemacht. In diesem Stadium können die Daten bereinigt, dedupliziert, aggregiert, neu formatiert oder anderweitig verändert werden, um die Speicheranforderungen des Data Warehouse und/oder spezifische Anforderungen der Organisation zu erfüllen.

3. Schließlich werden die Daten in das Data Warehouse oder ein anderes Ziel geladen, wo sie für die Nutzung in Geschäftsanwendungen gespeichert werden. Sobald die Daten gespeichert sind, benötigt sie eine Form von Reverse ETL, um innerhalb einer Geschäftsanwendung wieder in eine nutzbare Form zurückzukehren.

Zusammengefasst: Reverse ETL und ETL sind kein Entweder/Oder – Organisationen benötigen beide Prozesse. Der eine bringt Daten in ein Warehouse, der andere nimmt Daten aus dem Warehouse und bringt sie zu Anwendungen, was zu unterschiedlichen Reverse-ETL- und ETL-Anwendungsfällen führt.

Alternative zu Reverse ETL

Reverse-ETL-Tools sind nicht die einzige Möglichkeit, Daten vom Data Warehouse zu Anwendungen zu transportieren, aber sie sind oft die effizienteste Option. Weitere Alternativen sind:

• Manuelle Übertragungen: Ein IT-Mitarbeiter geht manuell in das Data Warehouse, findet die benötigten Daten, lädt sie herunter und lädt sie direkt in die Anwendung hoch.
• Individuelle Integrationen: Für jede Anwendung, die Zugriff auf Daten im Data Warehouse benötigt, werden individuelle Punkt-zu-Punkt-Pipelines erstellt.
• CDP oder Integrationsplattform als Service (iPaaS): Sie verwenden vorgefertigte Connectoren zur Datenübertragung, bieten aber begrenzte Funktionalität und Anpassungsmöglichkeiten.

Es gibt Anwendungsfälle, in denen diese Alternativen eine bessere Wahl als umgekehrtes ETL sein können. Reverse ETL bietet jedoch die beste Kombination aus Anpassung, Effizienz und Skalierbarkeit, um die unzähligen Datenpipelines zu erstellen, die moderne Organisationen benötigen.