Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + GCP Dataplex
Ihr GCP Dataplex-Workflow beginnt, bevor überhaupt ein Daten-Qualitätsscan ausgeführt wird – und er kann ausfallen, wenn etwas stromaufwärts kaputtgeht. Ein Cloud-Speicher-Datensatz kommt unvollständig ein. Eine BigQuery-Transformation zieht sich in die Länge. Control-M orchestriert die gesamte Kette: Cloud-Speicher-Aufnahme, BigQuery-Transformation, Dataplex-Ausführung und Downstream-Lieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
Das sind keine Randfälle. Sie sind die normalen Betriebsbedingungen für Teams, die GCP-Dataplex-Jobs über mehrere Tools ausführen. So geht Control-M mit jedem einzelnen um.
DATENQUALITÄT
Dein BigQuery-Laden ist abgeschlossen. Der Dataplex-Qualitätsscan ist nie gestartet.
Control-M modelliert den BigQuery-Job und den Dataplex-Scan als abhängige Workflow-Schritte und startet den vordefinierten Scan erst, nachdem die Upstream-Bedingung erfüllt ist. Eine verpasste Übergabe wird zu einem sichtbaren Workflow-Zustand statt zu einer stillen Datenqualitätslücke.
DURCHGEFALLENER SCAN
Der Datenscan um 2:00 Uhr morgens ist fehlgeschlagen. Die nachgelagerte Meldung wartet.
Control-M überwacht den Jobstatus, die Ergebnisse und die Ausgabe von Dataplex, wendet definierte Fehlerbehandlungen an und verhindert, dass abhängige Arbeit bei einem erfolglosen Durchlauf weiterläuft. Operations erkennt den fehlgeschlagenen Schritt im Kontext und kann den Workflow wiederherstellen, ohne die Kette neu aufzubauen.
FUNKENVERZÖGERUNG
Deine benutzerdefinierte Spark-Aufgabe hat sich verlängert. Jede nachgelagerte Abhängigkeit hat sich verschoben.
Control-M überwacht die Dataplex-Aufgabe im End-to-End-Workflow und verfolgt ihren Beitrag zu den Downstream-Lieferaufträgen. SLA-Überwachung macht die Auswirkungen der Verzögerung frühzeitig sichtbar, sodass Teams eingreifen können, bevor eine verspätete Spark-Aufgabe zu einem verspäteten Geschäftsergebnis wird.
PROFILÜBERGABE
Das Profil ist abgeschlossen. Ihr nächster BigQuery-Prozess wartet noch.
Control-M verfolgt den Abschluss des vordefinierten Data Profiling Scan und bewertet die nächste Workflow-Abhängigkeit automatisch. Wenn der erforderliche Zustand erreicht ist, wird die nachgelagerte Verarbeitung ohne separates Abfrageskript, Cron-Zeitplan oder manuelles Handoff durchgeführt.
STATUSUMFRAGE
Dataplex läuft noch. Dein Scheduler hat bereits einen Fehler angenommen.
Control-M bietet konfigurierbare Status-Polling-Häufigkeit und Fehlertoleranz für GCP-Dataplex-Jobs. Temporäre Status-Check-Probleme können vor dem Ende des Auftrags "Nicht OK" gelöst werden, wodurch falsche Fehler reduziert werden und der umliegende Produktionsworkflow zentralisiert kontrolliert bleibt.
INTEGRATIONSFAKTEN
Control-M + GCP Dataplex
|
workload.types |
Datenqualitätsaufgabe · Individuelle Spark-Aufgabe · Datenprofilierung · Datenqualitätsscan |
|
trigger.type |
Fortgeschrittener Zeitplan · Vorgelagerte Auftragsabschluss · Dateiankunft · API/Ereignisbedingung · Querschnittsabhängigkeit |
|
cross_tool.deps |
Google Cloud Storage · BigQuery · GCP Dataflow · GCP Data Fusion · Apache Airflow/Cloud Composer · Downstream-Analysen |
|
cloud.platforms |
Google Cloud Platform · Hybridumgebungen · Multi-Cloud-Workflows · Control-M SaaS · selbstgehostetes Control-M |
|
error_handling |
Status-Abfragefrequenz · Fehlertoleranz · Downstream-Kaskadenprävention · Abhängigkeitsbasierte Wiederherstellung · SLA-Überwachung · Warnungen |
|
Durchsatz |
bis zu 50 Dataplex-Jobs gleichzeitig pro Agent · Zentralisierte Planung · Ressourcenpools · Ressourcen sperren |
|
Beobachtbarkeit |
Dataplex-Jobstatus · Jobergebnisse · Jobausgabe · SLA-Tracking · End-to-End-Abhängigkeitssichtbarkeit · Workflow-Überwachung |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über GCP Dataplex, BigQuery, Cloud Storage, Cloud Composer, Dataflow und Cloud-Services in einem einzigen Jobflow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung in allen Bereichen.
- Cross-Tool-Abhängigkeit: Cloud-Speicher → BigQuery → GCP Dataplex → Analytics-Handoff
- Datenbewusste Trigger: Dateiankunft, API-Ereignis, BigQuery-Abschluss, Ergebnis eines Upstream-Auftrags
|
GCP Dataplex |
Datenqualitätsaufgabe · Benutzerdefinierte Spark-Aufgabe · Datenprofiling-Scan · Datenqualitätsscan · Statusüberwachung |
|
BigQuery |
Abfrageausführung · Transformationsabhängigkeiten · Upstream/Downstream-Sequenzierung |
|
Cloud-Speicher |
Dateiankunft · Aufnahmeabhängigkeiten · Datenübergaben |
|
Cloud Composer / Airflow |
DAG-Orchestrierung · Abschlussabhängigkeiten · Workflow-Koordination über mehrere DAG-Systeme |
|
GCP-Datenfluss |
Pipeline-Ausführung · Statusabhängigkeiten · Downstream-Sequenzierung |
|
GCP-Datenfusion |
Pipeline-Ausführung · Workflow-Abhängigkeiten · Zentrale Überwachung |
|
Downstream-Analysen |
Lieferabhängigkeiten · SLA-Koordination · Workflow-Abschluss |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die Schicht darüber.
Der Einwand ist häufig: "Wir sind bereits auf Airflow." Das Problem ist nicht, was Airflow macht – sondern was vor und nach Airflow passiert. Genau hier versagen Pipelines tatsächlich.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachen Sie Dataplex-Jobs über die gesamte Datenpipeline.
Dataplex zeigt die Ausführung innerhalb seines Google-Cloud-Kontexts; Produktionsabhängigkeiten gehen oft darüber hinaus. Control-M bietet eine zentrale Überwachung des Dataplex-Status, der Ergebnisse und der Ausgabe zusammen mit den Upstream- und Downstream-Jobs, die bestimmen, ob der gesamte Workflow erfolgreich ist:
-
Ausführungsstatus des Dataplex-Auftrags
-
Jobergebnisse und Output
-
Upstream- und Downstream-Abhängigkeiten
-
End-to-End-Workflow-Überwachung
-
Kontext plattformübergreifender Ausfall
SLA-SICHERUNG
Setze die Dataplex-Ausführung in das Geschäfts-SLA ein.
Ein erfolgreicher Dataplex-Scan beweist nicht, dass das vollständige Datenprodukt rechtzeitig angekommen ist. Control-M hängt das SLA-Management an Dataplex-Jobs an und verfolgt sie innerhalb des größeren Workflows, sodass Teams Verzögerungen erkennen, bevor Upstream- oder Downstream-Abhängigkeiten die Lieferung gefährden:
-
Dataplex SLA Jobanhang
-
End-to-End-SLA-Tracking
-
Prädiktive Verzögerungssichtbarkeit
-
Abhängigkeitsbewusster Workflow-Status
-
Zentralisierte operative Alarme
Dokumentation
Bring Ordnung in komplexe Arbeitsabläufe
Erfahren Sie, wie Control-M Teams hilft, komplexe Prozesse mit größerer Transparenz, Koordination und Kontrolle zu orchestrieren.
