Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + Oozie
Dein Oozie-Workflow startet, bevor eine einzige Aktion ausgeführt wird – und er kann scheitern, wenn etwas stromaufwärts kaputtgeht. Ein HDFS-Datensatz kommt zu spät an. Eine Hive-Transformation verpasst ihr Verarbeitungsfenster. Control-M orchestriert die gesamte Kette: HDFS-Datenankunft, Hive-Transformation, Oozie-Workflow-Ausführung und Downstream-Lieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
SPÄTE HDFS-DATEN
Dein Workflow um 2:00 Uhr morgens ist bereit. Der HDFS-Datensatz ist es nicht.
Control-M kann HDFS auf die erforderliche Datei und die Mindestgröße überwachen, bevor die abhängige Verarbeitung freigegeben wird. Die maximalen Wartekriterien gelten für die abhängige Oozie-Verarbeitung, bis die Datei vollständig ankommt – sodass eine fehlende oder verspätete Ankunft als kontrollierte, sichtbare Wartezeit oder Timeout auftritt, anstatt die nachgelagerte Verarbeitung mit unverfügbaren Daten starten zu lassen.
WORKFLOW-AUSFALL
Eine Oozie-Aktion ist gescheitert. Alles stromabwärts hängt immer noch davon ab.
Control-M verfolgt den Oozie-Job innerhalb des größeren Workflows und kann verhindern, dass abhängige Jobs nach einem Fehler fortgesetzt werden. Rerun-from-point-of-failure startet den Workflow bei der fehlgeschlagenen Aktion neu, sodass der bereits abgeschlossene Teil des Workflows nicht erneut ausgeführt wird.
EIGENTUMSDRIFT
Die Eigenschaften von gestern haben funktioniert. Der heutige Eingabepfad benötigt einen anderen Wert.
Control-M reicht den Oozie-Workflow über seine Job-Properties-Datei ein und kann einzelne Eigenschaftswerte zur Ausführungszeit hinzufügen oder überschreiben. Teams können ändernde Eingaben parametrisieren, ohne für jede Produktionsvariante separate Workflow-Definitionen zu führen.
CROSS-TOOL-ABHÄNGIGKEITEN
Oozie hat erfolgreich abgeschlossen. Der Enterprise-Workflow hat noch drei Schritte übrig.
Control-M verbindet die Hadoop-Verarbeitung mit Jobs außerhalb des Oozie-Workflows und wendet Planungskriterien und Abhängigkeiten auf den gesamten Geschäftsprozess an. Downstream-Datenbank-, Dateiübertragungs-, Anwendungs- oder Analysearbeiten können auf den korrekten Upstream-Abschlusszustand warten.
WORKFLOW-SICHTBARKEIT
Der Oozie-Workflow läuft. Der Betrieb benötigt jetzt Transparenz auf Aktionsebene.
Der Oozie Extractor ruft regelmäßig übereinstimmende Workflows vom Oozie-Server ab und überträgt deren Aktionen als eingereichte Jobs in Control-M. Operations erhält zentrale Transparenz über diese Aktionen zusammen mit dem umliegenden Unternehmensworkflow, anstatt Oozie isoliert zu überwachen.
Control-M + Oozie
Control-M + Oozie
|
workload.types |
Oozie-Workflows · Workflow-Aktionen · Hadoop-Jobs · Hive-Jobs · Spark-Jobs · MapReduce-Jobs · HDFS-Verarbeitung |
|
trigger.type |
Zeitplan · Vorgelagerte Auftragsabschluss · Ankunft der HDFS-Datei · Mindestdateigröße · Control-M-Abhängigkeit · Workflow-Einreichung |
|
cross_tool.deps |
HDFS-Dateibeobachter · Hive-Job · Spark-Job · MapReduce-Job · Sqoop-Job · Enterprise Control-M-Jobs · Downstream-Lieferung |
|
cloud.platforms |
Hadoop-Cluster · Linux Control-M Agent · Oozie-Server · HDFS. |
|
error_handling |
Vom Fehlerpunkt aus erneut ausgeführt · Vorbefehls-Ausfallbehandlung · Nachbefehls-Fehlerbehandlung · Abhängigkeitsgating · SLA-Überwachung · Downstream-Kaskadenverhinderung |
|
Durchsatz |
verteilte Hadoop-Verarbeitung · geplante Batch-Pipelines · Workflows mit großen Daten · parallele Hadoop-Aktionen · zentral orchestrierte Arbeitslasten |
|
Beobachtbarkeit |
Oozie-Extraktor · Sichtbarkeit von Workflow-Aktionen · Control-M-Überwachungsdomäne · Jobausgabe · Aktivitätsprotokoll · Ausführungsstatistiken · SLA-Verfolgung |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über Oozie, HDFS, Hive, Spark, MapReduce, Sqoop und Unternehmensanwendungen in einem einzigen Job-Flow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung über alle hinweg.
- Cross-Tool-Abhängigkeit: HDFS-Ankunft → Hive-Transformation → Oozie-Workflow → Downstream-Analysen
- Datenbewusste Auslöser: HDFS-Dateiankunft, Mindestdateigröße, Upstream-Fertigstellung, Zeitplan
|
Oozie |
Workflow-Einreichung · Eigenschaftsüberschreibungen · Fehlerpunkt-Wiederholung · Workflow-Extraktion |
|
HDFS |
Dateibeobachtung · Mindestgrößenkriterien · Wartezeitabbruch · HDFS-Befehle |
|
Bienenstock |
Skriptausführung · Parameter · Hadoop-Abhängigkeiten · Ausführungsüberwachung |
|
Spark |
Python-Ausführung · Java/Scala-Ausführung · Abhängigkeiten · Zentralisierte Planung |
|
MapReduce |
Java MapReduce-Ausführung · Streaming-Jobs · Argumente · Workflow-Abhängigkeiten |
|
Sqoop |
Sqoop-Befehlsausführung · Datenbewegungsorchestrierung · Upstream/Downstream-Abhängigkeiten |
|
Unternehmens-Arbeitsabläufe |
plattformübergreifende Abhängigkeiten · Planung · SLA-Management · Zentralisierte Überwachung |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die darüberliegende Schicht.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
ARBEITSABLÄUFE ÜBERWACHEN
Siehe Oozie-Workflows in der größeren Produktionspipeline.
Oozie zeigt, was in seinen Arbeitsabläufen passiert, aber auch Data-Engineering-Teams benötigen Transparenz in die umgebenden Aufgaben. Control-M bringt die Ausführung von Oozie in eine zentrale Überwachung mit Upstream- und Downstream-Workflow-Kontext:
-
Oozie Workflow-Aktionssichtbarkeit
-
Upstream- und Downstream-Abhängigkeiten
-
Jobausgabe und Aktivitätsprotokolle
-
Laufzeit- und Ausführungsstatistiken
-
End-to-End-Workflow-Status
SLA-SICHERUNG
Verwaltung von Oozie-Pipelines gegen End-to-End-SLAs
Ein erfolgreicher Oozie-Workflow garantiert nicht, dass die gesamte Datenpipeline rechtzeitig abgeschlossen wird. Control-M verbindet die Hadoop-Verarbeitung mit Unternehmensplanung und SLA-Management und hilft Teams, die Lieferverpflichtungen im gesamten Workflow zu verwalten:
-
End-to-End-SLA-Tracking
-
Plattformübergreifende Abhängigkeitskontrolle
-
Fortgeschrittene Terminvereinbarungskriterien
-
Ausfallbewusstes Downstream-Gating
-
Zentralisierte Produktionsüberwachung