Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + GCP Datenfusion
Ihr GCP Data Fusion-Workflow startet, bevor eine einzige Pipeline oder Workflow-Vorlage ausgeführt wird – und er kann ausfallen, wenn etwas stromaufwärts kaputtgeht. Ein Cloud-Speicher-Objekt kommt zu spät an. Ein BigQuery-Ladeauftrag verpasst sein Verarbeitungsfenster. Control-M orchestriert die gesamte Kette: Ankunft von Cloud-Speicherdaten, BigQuery-Transformation, Ausführung von GCP Data Fusion und Downstream-Lieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
Das sind keine Randfälle. Sie sind die normalen Betriebsbedingungen für Teams, die GCP Data Fusion-Pipelines über mehrere Tools hinweg ausführen. So geht Control-M mit jedem einzelnen um.
CLOUD-SPEICHERUNG · ETL
Deine Cloud-Speicherdaten sind spät angekommen. Die 6:00-Uhr-Pipeline hat bereits begonnen.
Control-M macht die Datenankunft zu einer Upstream-Abhängigkeit, anstatt auf eine feste Startzeit der Pipeline zu setzen. Der GCP Data Fusion-Job wartet auf die erforderliche Bedingung vor der Ausführung, wodurch unvollständige Eingaben in die nachgelagerte Verarbeitung kaskadieren.
PIPELINE-AUSFALL
Data Fusion ist über Nacht ausgefallen. Die nachgelagerte BigQuery-Verarbeitung befindet sich weiterhin in der Warteschlange.
Control-M überwacht den Status des GCP Data Fusion Jobs, wendet definierte Fehlerbehandlungen an und verhindert, dass abhängige Jobs nach einem erfolglosen Durchlauf fortgesetzt werden. Operations erkennt den fehlgeschlagenen Schritt im weiteren Workflow, anstatt später schlechte Downstream-Ergebnisse zu entdecken.
LAUFZEITPARAMETER
Die heutige Partition hat sich geändert. Ihre Data Fusion-Pipeline benötigt die richtigen Laufzeitwerte.
Control-M übergibt JSON-basierte Laufzeitparameter in den GCP Data Fusion-Job, sodass der Workflow laufspezifische Werte liefern kann, ohne separate Job-Definitionen erstellen zu müssen. Die parametrisierte Ausführung hält wiederkehrende Pipelines wiederverwendbar, während jeder Lauf mit seinem Upstream-Kontext koordiniert wird.
SLA-RISIKO
Data Fusion läuft weiterhin. Die Analyseübergabe um 8:00 Uhr ist gefährdet.
Control-M verfolgt den GCP Data Fusion-Job als Teil des End-to-End-Workflows und verknüpft ihn mit dem SLA-Management. Teams können Zeitrisiken im Kontext identifizieren und handeln, bevor ein verzögerter ETL-Run zu einer verpassten Geschäftslieferung wird.
CROSS-TOOL-ABHÄNGIGKEIT
Data Fusion war erfolgreich. Ihr Downstream-Prozess benötigt noch eine zuverlässige Übergabe.
Control-M erkennt den Abschluss durch Jobstatusüberwachung und gibt konfigurierte nachgelagerte Abhängigkeiten erst frei, wenn die erforderlichen Bedingungen erfüllt sind. Data Fusion wird zu einem bestimmten Schritt im Produktionsfluss und nicht zu einer isolierten Pipeline, die eine separate Planungslogik erfordert.
INTEGRATIONSFAKTEN
Control-M + GCP Datenfusion
|
workload.types |
Batch-ETL-Pipelines · Ausführung einer einzelnen Pipeline · Workflow Vorlage Pipeline-Ausführung · parametrisierte Pipelines · Pipeline-Abbruch · Joblog-Abfrage durch Drittparteien |
|
trigger.type |
Zeitplan · vorgelagerte Auftragsabschluss · Dateiankunft · Control-M-Abhängigkeit · API-gesteuerte Einreichung · Workflow-Bedingungen |
|
cross_tool.deps |
Cloud-Speicherdatei-Ankunft · BigQuery-Job · GCP Composer DAG · GCP Dataflow-Job · REST-API-Aufruf · Downstream-Analyseauftrag · Dateizustellungsbestätigung |
|
cloud.platforms |
Google Cloud Platform · GCP Data Fusion · Cloud-Speicher · BigQuery · Cloud Composer · Dataproc |
|
error_handling |
Status-Abfrage · Fehlertoleranz · Pipeline-Abbruch · Downstream-Kaskadenverhinderung · Job-Log-Abfrage · SLA-Management · Abhängigkeitsbasierte Wiederherstellung |
|
Durchsatz |
Batch-Pipelines · Echtzeit-Datenfusions-Workloads · 50 gleichzeitige GCP-Datenfusionsjobs pro Agent · Konfigurierbare Status-Abfrage |
|
Beobachtbarkeit |
Pipeline-Status · Pipeline-Ergebnisse · Pipeline-Ausgabe · Drittanbieter-Joblogs · End-to-End-Abhängigkeitssichtbarkeit · SLA-Überwachung |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über GCP Data Fusion, Cloud Storage, BigQuery, Cloud Composer, Dataflow, Dateiübertragungen und Cloud-Dienste in einem einzigen Job-Flow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung über alle hinweg.
- Cross-Tool-Abhängigkeit: Cloud-Speicher → GCP Data Fusion-Pipeline → BigQuery-→ Analytics-Übergabe
- Datenbewusste Trigger: Dateiankunft, API-Ereignis, Upstream-Jobabschluss, Pipeline-Abschluss
|
GCP-Datenfusion |
Pipeline-Ausführung · Laufzeitparameter · Statusüberwachung · Logs · Fehlerbehandlung |
|
Cloud-Speicher |
Dateiankunftsabhängigkeit · Datenbereitschaft vorgelagert · Dateigesteuerte Workflow-Initiierung |
|
BigQuery |
Abfrageausführung · Datenverarbeitung · nachgelagerte Abhängigkeit · Analytische Übergabe |
|
GCP-Komponist |
DAG-Koordination · Upstream/Downstream-Abhängigkeiten · Cross-Workflow-Orchestrierung |
|
GCP-Datenfluss |
Batch-Verarbeitung · Streaming-Verarbeitung · Jobkoordination · Abhängigkeitsmanagement |
|
Dataproc |
Spark-Jobs · Hadoop-Workloads · Verarbeitungsabhängigkeiten · geplante Ausführung |
|
Dateiübertragungen |
Managed Transfer · Ankunftserkennung · Lieferbestätigung · Downstream-Freigabe |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die Schicht darüber.
Der Einwand ist häufig: "Wir sind bereits auf Airflow." Das Problem ist nicht, was Airflow macht – sondern was vor und nach Airflow passiert. Genau hier versagen Pipelines tatsächlich.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachen Sie die Ausführung von GCP Data Fusion im gesamten Workflow
GCP Data Fusion stellt Ausführungsinformationen auf Pipeline-Ebene bereit, aber Produktionsabhängigkeiten erstrecken sich oft über Dienste und Plattformen hinweg. Control-M bringt Data Fusion-Status, Ergebnisse, Ausgabe und umgebende Jobs in eine operative Ansicht, sodass Teams den gesamten Workflow verfolgen können:
-
Pipeline-Ausführungsstatus
-
Pipeline-Ergebnisse und -ausgaben
-
Abgerufene Jobprotokolle von Drittanbietern
-
Upstream- und Downstream-Abhängigkeiten
-
Durchgehende Workflow-Transparenz
SLA-SICHERUNG
Schütze Liefer-SLAs außerhalb der Data Fusion-Pipeline
Ein erfolgreicher Data Fusion-Lauf garantiert nicht, dass das vollständige Datenprodukt rechtzeitig ankommt. Control-M verbindet GCP Data Fusion-Jobs mit End-to-End-SLA-Management und verbindet die Pipeline-Ausführung mit der Upstream- und Downstream-Arbeit, die die Lieferung bestimmt:
-
End-to-End-SLA-Tracking
-
Plattformübergreifende Abhängigkeitssichtbarkeit
-
Upstream-Ausfalleindämmung
-
Nachgelagerte Ausführungssteuerung
-
Zentralisierte operative Überwachung
Dokumentation
Bring Ordnung in komplexe Arbeitsabläufe
Erfahren Sie, wie Control-M Teams hilft, komplexe Prozesse mit größerer Transparenz, Koordination und Kontrolle zu orchestrieren.
