Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + OCI-Datenfluss
Ihr OCI Data Flow Workflow startet, bevor eine Apache Spark-Anwendung überhaupt ausgeführt wird – und er kann scheitern, wenn etwas stromaufwärts kaputtgeht. Ein OCI Object Storage Objekt kommt verspätet an. Eine OCI Data Integration Aufgabe endet nach ihrem Verarbeitungsfenster. Control-M orchestriert die gesamte Kette: Object Storage Data Arrival Return, OCI Data Integration Transformation, OCI Data Flow Ausführung und Downstream Delivery.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
Das sind keine Randfälle. Sie sind die normalen Betriebsbedingungen für Teams, die OCI Data Flow Workloads über mehrere Tools hinweg ausführen. So geht Control-M mit jedem einzelnen um.
ANKUNFT DER OBJEKTSPEICHERUNG
Die Objektspeicher-Daten kamen spät an. Dein Spark-Durchlauf begann trotzdem.
Control-M hält den OCI Data Flow-Job, bis die Upstream-Datenabhängigkeiten erfüllt sind, und gibt dann den Spark-Run am richtigen Punkt im Workflow frei – wodurch vorzeitige Ausführung, unvollständige Eingaben und nachgelagerte Nachbearbeitung vermieden werden.
KREUZ-SERVICE-ABHÄNGIGKEIT
OCI Data Integration wurde spät abgeschlossen. Data Flow wartet noch.
Control-M koordiniert Abhängigkeiten zwischen OCI Data Integration, OCI Data Flow und umliegenden Jobs in einem Workflow. Ein erfolgreicher Upstream-Abschluss gibt den Spark-Run automatisch frei, wodurch getrennte Zeitpläne und manuelle Übergaben eliminiert werden.
FEHLERWIEDERHERSTELLUNG
Dein Spark-Run ist um 2:13 Uhr morgens gescheitert. Downstream-Aufträge haben weiter gewartet.
Control-M überwacht den Status, die Ergebnisse und die Ausgabe von OCI-Datenflussjobs, identifiziert eine erfolglose Ausführung und verhindert, dass abhängige Arbeit fortgesetzt wird. Konfigurierbare Workflow-Wiederherstellung und Benachrichtigungen bieten Operatoren einen kontrollierten Weg zur Lösung, bevor Fehler kaskaden.
LAUFZEITKONFIGURATION
Der heutige Spark-Run erfordert andere Argumente und Executor-Fähigkeiten.
Control-M kann zusätzliche Details zum OCI-Datenflusslauf weitergeben, darunter Argumente, Parameter, Konfiguration, Treiber- und Executor-Formen sowie Executor-Anzahl. Teams können sich ändernde Laufzeitanforderungen operationalisieren, ohne den Spark-Lauf von seinem End-to-End-Workflow zu trennen.
SLA-RISIKO
Die Analyseübergabe um 7:00 Uhr morgens steht bevor. Spark läuft noch.
Control-M verbindet den OCI Data Flow-Job mit dem End-to-End-Workflow-SLA und bietet zentrale Überwachung und Benachrichtigungen rund um kritische Fristen. Teams sehen den Spark im Geschäftsprozesskontext laufen und können eingreifen, bevor die nachgelagerte Lieferung übersehen wird.
INTEGRATIONSFAKTEN
Control-M + OCI-Datenfluss
|
workload.types |
Apache Spark Anwendungen · Batchverarbeitung · Spark SQL · PySpark · Java/Scala Spark · Maschinelles Lernen Workloads · Spark Streaming |
|
trigger.type |
Vorgelagerte Jobabschluss · Ankunft der Objektspeicherdaten · API-gesteuerter Workflow · Zeitplan · Control-M-Ereignis · Abhängigkeitsbedingung |
|
cross_tool.deps |
OCI-Datenintegrationsaufgabe · OCI-Objektspeicherlieferung · Apache Airflow DAG · Datenbankauftrag · REST-API-Aufruf · Downstream-Analyseauftrag |
|
cloud.platforms |
Oracle-Cloud-Infrastruktur · OCI-Datenfluss · OCI-Objektspeicherung · OCI-Datenintegration · Control-M SaaS |
|
error_handling |
Status-Abfrage · Fehlertoleranz · Downstream-Kaskadenprävention · Workflow-Wiederherstellung · SLA-Überwachung · Control-M-Warnungen |
|
Durchsatz |
großflächige Datensätze · serverlose Spark-Verarbeitung · Batch-Workloads · langjähriges Spark-Streaming · konfigurierbare Executoren · konfigurierbare Treiber- und Executor-Formen |
|
Beobachtbarkeit |
Laufstatus · Laufinformationen · Auftragsergebnisse · Auftragsausgabe · End-to-End-Workflow-Überwachung · SLA-Sichtbarkeit · Control-M-Auditkontext |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über OCI Data Flow, OCI Data Integration, OCI Object Storage, Airflow, Datenbanken und Cloud-Services in einem einzigen Jobflow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung in allen Bereichen.
- Cross-Tool-Abhängigkeit: OCI Object Storage → OCI Data Integration → OCI Data Flow → Analytics Handoff
- Datenbewusste Trigger: Objektspeicherankunft, API-Ereignis, Upstream-Jobabschluss, Abhängigkeitsbedingung
|
OCI-Datenfluss |
Zünden Spark läuft · Pass Run Konfiguration · Monitor Status · Abfrage von Run-Informationen · Koordiniere SLAs |
|
OCI-Datenintegration |
Trigger-Datenaufgaben · koordiniere Upstream-Transformationen · manage Workflow-Abhängigkeiten |
|
OCI-Objektspeicherung |
Ankunft der Koordinatendaten · Anwendungsartefakte · Spark-Ein- und Ausgänge |
|
Apache-Luftstrom |
DAGs auslösen · DAG-Abschluss koordinieren · DAGs mit Unternehmensabhängigkeiten verbinden |
|
Datenbanken |
Koordinatenextraktion · Gatter Funkenverarbeitung · Auslösen von nachgelagerten Lasten |
|
REST-APIs |
Dienste aufrufen · API-gesteuerte Abhängigkeiten koordinieren · externe Anwendungen verbinden |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die Schicht darüber.
Der Einwand ist häufig: "Wir sind bereits auf Airflow." Das Problem ist nicht, was Airflow macht – sondern was vor und nach Airflow passiert. Genau hier versagen Pipelines tatsächlich.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachen Sie OCI-Datenfluss im Workflow-Kontext.
OCI Data Flow bietet native Run-Level-Überwachung, aber Produktionspipelines enden selten bei Spark. Control-M fügt eine zentralisierte Ansicht über den umliegenden Workflow hinzu und verbindet die Data Flow-Ausführung mit Upstream-Abhängigkeiten, Downstream-Jobs und operativen Ergebnissen:
-
OCI Data Flow Laufstatus
-
Jobergebnisse und Output
-
Upstream- und Downstream-Abhängigkeiten
-
End-to-End-Workflow-Status
-
Zentralisierte operative Alarme
SLA-SICHERUNG
Halten Sie die OCI-Datenfluss-Pipelines im Zeitplan
Ein erfolgreicher Spark-Run kann für den Prozess, der davon abhängig ist, immer noch zu spät eintreffen. Control-M ermöglicht es Teams, SLA-Jobs an OCI Data Flow-Workloads anzuhängen und die Ausführung mit Upstream- und Downstream-Abhängigkeiten zu koordinieren, um kritische Pipelines im Zeitplan zu halten:
-
SLA-Überwachung für den Datenfluss
-
Koordination von Abhängigkeiten zwischen Arbeitsplätzen
-
Fortgeschrittene Terminvereinbarungskriterien
-
Status des zentralisierten Arbeitsablaufs
-
Kontrollierte nachgelagerte Ausführung
Dokumentation
Bring Ordnung in komplexe Arbeitsabläufe
Erfahren Sie, wie Control-M Teams hilft, komplexe Prozesse mit größerer Transparenz, Koordination und Kontrolle zu orchestrieren.
