Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + GCP Dataprep
Ihr GCP Dataprep-Workflow startet, bevor ein Flow überhaupt ausgeführt wird – und er kann scheitern, wenn etwas im Upstream kaputtgeht. Eine BigQuery-Staging-Tabelle ist noch nicht bereit. Eine Cloud-Storage-Lieferung landet nach dem Verarbeitungsfenster. Control-M orchestriert die gesamte Kette: Cloud-Speicher-Datenankunft, BigQuery-Staging, GCP Dataprep-Flow-Ausführung und Downstream-Analyselieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
Das sind keine Randfälle. Sie sind die normalen Betriebsbedingungen für Teams, die GCP Dataprep Flows über mehrere Tools ausführen. So handhebt Control-M jedes einzelne
VORSTROM-DATEN
Die Cloud-Speicher-Lieferung ist verspätet. Ihr Dataprep-Flow beginnt um 02:00 Uhr.
Control-M macht den Dataprep-Fluss von der vorgelagerten Lieferung abhängig, anstatt von einer isolierten Taktzeit. Der Fluss beginnt erst, nachdem seine Voraussetzung erfolgreich abgeschlossen ist, was eine vorzeitige Verarbeitung verhindert und eine weitere manuell neu gestartete Datenvorbereitung vermieden wird.
SCHEMA-DRIFT
Das Quellschema änderte sich über Nacht. Dein Vorbereitungsfluss sollte nicht blind weitergehen.
Control-M kann Laufzeitparameter zur Ausführungszeit an den Dataprep-Fluss übergeben, indem Parameter List oder Parameter File Definitionen verwendet werden. Wenn der Run fehlschlägt, erfasst Control-M den Job-Status und verhindert, dass die abhängige Verarbeitung mit einem ungültigen Upstream-Ergebnis fortgesetzt wird.
DOPPELTE AUSFÜHRUNG
Die Wiederherstellung startet den Fluss erneut. Die erste Anfrage läuft möglicherweise noch.
Control-M unterstützt ein Idempotenz-Token für die Ausführung von GCP Dataprep, das eine eindeutige Kennung bereitstellt, die garantiert, dass der Job nur einmal ausgeführt wird. Die Wiederherstellung kann fortgesetzt werden, ohne versehentlich eine doppelte Verarbeitung gegen denselben Fluss zu starten.
STATUSFEHLER
Dataprep reagiert nicht mehr. Der nachgelagerte BigQuery-Job wartet noch.
Control-M fragt den Status des Dataprep-Jobs mit einer konfigurierbaren Frequenz ab und wendet eine definierte Fehlertoleranz an, bevor der Job Not OK beendet wird. Downstream-Abhängigkeiten bleiben kontrolliert, anstatt auf einem unsicheren Ausführungszustand voranzuschreiten.
SLA-RISIKO
Der Fluss wurde verspätet abgeschlossen. Ihre Morgen-Analyselieferung ist jetzt gefährdet.
Control-M verbindet den Dataprep-Lauf mit seinem breiteren Arbeitsablauf und ermöglicht es den Teams, einen SLA-Job daran anzuhängen. Betreiber können den Lauf als Teil des End-to-End-Services bewerten, anstatt eine isolierte Vorbereitungsaufgabe zu beheben.
Control-M + GCP Dataprep
Control-M + GCP Dataprep
|
workload.types |
GCP Dataprep-Flows · Datenvorbereitungsjobs · Überschreibungen von Flussparametern · Laufzeitparameter-Überschreibungen (Parameterliste / Parameterdatei)· Laufzeit-Flussparameter-Überschreibungen |
|
trigger.type |
Zeitplan · Vorgelagerte Auftragsabschluss · Dateiankunftsabhängigkeit · API-gesteuerte Reihenfolge · Fortgeschrittene Planungskriterien · Control-M-Bedingungen |
|
cross_tool.deps |
GCP BigQuery Jobs · GCP Dataflow Jobs · Cloud-Speicherlieferung · Apache Airflow DAGs · Dateiübertragungen · Downstream-Analytics-Jobs |
|
cloud.platforms |
Google Cloud Platform · Control-M SaaS · Control-M selbstgehostete · hybride Umgebungen |
|
error_handling |
Status-Abfragefrequenz · Fehlertoleranz · Idempotenz-Token · Stop-on-Error-Parameter · Downstream-Abhängigkeitskontrolle · SLA-Überwachung |
|
Durchsatz |
50 gleichzeitige Dataprep-Jobs pro Agent · konfigurierbare Status-Abfrage · konfigurierbare Status-Abfragefrequenz· Fluss-Level-Ausführungssteuerung |
|
Beobachtbarkeit |
Überwachung des Jobstatus · Jobergebnisse · Jobausgabe · Überwachungsdomäne · SLA-Jobanhang · End-to-End-Sichtbarkeit von Abhängigkeiten |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über GCP Dataprep, BigQuery, Cloud Storage, Dataflow, Airflow und Analysedienste in einem einzigen Job-Flow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung in allen Bereichen.
- Cross-Tool-Abhängigkeit: Cloud-Speicher → BigQuery → GCP Dataprep → Analytics-Übergabe
- Datenbewusste Trigger: Dateiankunft, Abschluss des Upstream-Auftrags, Abschluss des Dataprep-Flusses, Abfrageergebnis
|
GCP Dataprep |
Flussausführung · Laufzeitparameter · Statusüberwachung · Idempotenzkontrolle |
|
GCP BigQuery |
Abfrage · laden · extrahieren · Ausführung gespeicherter Prozedur |
|
Google Cloud Storage |
Managed File Delivery · Upstream-Datenabhängigkeit · Downstream-Übergabe |
|
GCP-Datenfluss |
Ausführung der klassischen Vorlage · Ausführung der Flex-Vorlage · Statusüberwachung |
|
Apache-Luftstrom |
DAG-Koordination · Upstream-Abhängigkeitskontrolle · Downstream-Workflow-Übergabe |
|
Analytische Dienstleistungen |
Fertigstellungsabhängigkeit · geplante Lieferung · SLA-bewusste Übergabe |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die darüberliegende Schicht.
Der Einwand ist häufig: "Wir sind bereits auf Airflow." Das Problem ist nicht, was Airflow macht – sondern was vor und nach Airflow passiert. Dort versagen Pipelines tatsächlich.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraphen für Jobs, die in Ihrer Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
MONITOR-ANALYSEN
Überwachen Sie die Ausführung von GCP Dataprep in der größeren Pipeline
Die Ausführung von Dataprep ist nur eine Phase einer Produktionsdatenpipeline. Control-M bringt seinen Status, seine Ergebnisse und die Ausgabe in dieselbe operative Perspektive wie umliegende Jobs, um Datenteams zu helfen, Abhängigkeiten zu verstehen und den gesamten Workflow zu beheben:
-
Status der Ausführung von Dataprep-Aufträgen
-
Jobergebnisse und Output
-
Upstream- und Downstream-Abhängigkeiten
-
Plattformübergreifende Workflow-Sichtbarkeit
SLA-SICHERUNG
Halten Sie die Dataprep-Flows an die Liefer-SLAs ausgerichtet
Ein erfolgreicher Dataprep-Lauf kann für das unterstützte Geschäftsergebnis immer noch zu spät sein. Control-M verbindet Vorbereitungsaufträge mit End-to-End-Service-Verpflichtungen und gibt Teams die Planungs-, Abhängigkeits- und SLA-Kontrollen, die benötigt werden, um die nachgelagerte Lieferung zu schützen:
-
SLA-Jobbindung
-
Fortgeschrittene Terminvereinbarungskriterien
-
Komplexes Abhängigkeitsmanagement
-
End-to-End-Service-Sichtbarkeit
Dokumentation
Bring Ordnung in komplexe Arbeitsabläufe
Erfahren Sie, wie Control-M Teams hilft, komplexe Prozesse mit größerer Transparenz, Koordination und Kontrolle zu orchestrieren.
