Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + Spark
Dein Spark-Workflow startet, bevor ein PySpark-Skript oder eine Java/Scala-Anwendung überhaupt ausgeführt wird – und er kann ausfallen, wenn etwas stromaufwärts kaputtgeht. Eine HDFS-Partition kommt zu spät oder unter ihrer erwarteten Größe an. Eine Hive-Transformation verpasst ihr Verarbeitungsfenster. Control-M orchestriert die gesamte Kette: HDFS-Dateiankunft, Hive-Transformation, Spark-Ausführung und Snowflake-Auslieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
SPÄTE DATEN
Deine HDFS-Partition ist verspätet. Der 2:00 Uhr morgens. Der Spark-Auftrag ist fertig.
Control-M beobachtet die erforderliche HDFS-Datei und die Mindestgröße, bevor er den Spark-Job freigibt. Wenn die Ankunftskriterien innerhalb des definierten Fensters nicht erfüllt sind, scheitert der Beobachter, anstatt die Verarbeitung unvollständiger Daten zu starten.
JOBVERSAGEN
Dein Spark-Submission scheitert. Drei nachgelagerte Aufträge warten auf das Ergebnis.
Control-M verfolgt den Spark-Job als Teil des End-to-End-Workflows, verhindert, dass abhängige Jobs nach einem Ausfall fortgesetzt werden, und wendet definierte Wiederherstellungsmaßnahmen an, damit unvollständige Verarbeitung nicht auf die nachgelagerte Auslieferung übergeht.
LUFTSTROM · FUNKE
Dein Airflow DAG ist fertig. Die Spark-Arbeitslast hat immer noch nicht begonnen.
Control-M koordiniert die Abhängigkeit zwischen dem Airflow-DAG und der Spark-Verarbeitung und gibt den Spark-Job erst frei, wenn die Upstream-Bedingungen erfüllt sind – ohne auf getrennte Zeitpläne oder manuelle Übergaben zwischen den Orchestrierungsschichten angewiesen zu sein.
HDFS-VORBEREITUNG
Dein Spark-Code ist intakt. Ein HDFS-Vorbereitungsbefehl ist gerade fehlgeschlagen.
Control-M kann HDFS-Befehle vor oder nach der Ausführung von Spark ausführen und bestimmen, ob ein Befehlsfehler den Auftrag auslösen sollte. Vorbereitung und Bereinigung werden zu kontrollierten Teilen des Workflows statt versteckter Skriptabhängigkeiten.
SLA-RISIKO
Spark verarbeitet noch. Ihre Deadline für die Downstream-Analysen rückt näher.
Control-M verfolgt die Spark-Workload innerhalb des kompletten Geschäftsdienstes, führt SLA-Überwachung über abhängige Jobs durch und beseitigt Verzögerungen, bevor der End-to-End-Workflow seine erforderliche Abschlusszeit verpasst.
Steuerung-M + Funke
Steuerung-M + Funke
|
workload.types |
PySpark-Skripte · Java-Anwendungen · Scala-Anwendungen · Spark-Anwendungs-JARs · Anwendungsargumente · Spark-Befehlszeilenoptionen |
|
trigger.type |
Ankunft der HDFS-Datei · Mindestdateigröße · Jobabschluss vorgelagert · Zeitplan · Workflow-Abhängigkeit · Control-M-Ereignis |
|
cross_tool.deps |
Apache Airflow DAG · Hive Job · HDFS-Befehle · Schneeflockenauftrag · Databricks-Auftrag · GCP Dataproc · Nachgelagerte Dateizustellung |
|
cloud.platforms |
Hadoop/YARN-Cluster · On-Premises und cloudgehostete Hadoop · läuft parallel zu separaten Control-M-Integrationen für GCP Dataproc, Azure HDInsight, Amazon EMR und OCI Data Flow |
|
error_handling |
Fehlerbehandlung vor dem Befehl · Nachbefehlsfehlerbehandlung · Abhängigkeitsgating · Wiederholungsaktionen · Downstream-Kaskadenverhinderung · SLA-Warnung |
|
Durchsatz |
Verteilte Datenverarbeitung · Cluster-Workloads · Batch-Spark-Anwendungen · Job-Level-Orchestrierung · Keine Workflow-Planung pro Datensatz |
|
Beobachtbarkeit |
Jobstatus · Auftragsausgabe · YARN-aggregierte Logs · Workflow-Abhängigkeiten · SLA-Überwachung · End-to-End-Sichtbarkeit von Workflows |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über Spark, Airflow, HDFS, Hive, Snowflake, Dateiübertragungen und Cloud-Dienste in einem einzigen Job-Flow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung in allen Bereichen.
- Cross-Tool-Abhängigkeit: HDFS → Hive → Spark → Snowflake, orchestriert über verschiedene Control-M Jobtypen in einem Flow
- Datenbewusste Trigger: Dateiankunft, API-Ereignis, Airflow-Abschluss, Ergebnis eines Upstream-Auftrags
|
Spark |
PySpark-Ausführung · Java/Scala-Anwendungen · Argumente · Kommandozeilenoptionen · Jobüberwachung |
|
HDFS |
Dateibeobachtung · Mindestgrößenkriterien · Befehle · Vorbereitung · Aufräumen |
|
Bienenstock |
Skriptausführung · Parameter · Abhängigkeitskoordination · Auftragsüberwachung |
|
Apache-Luftstrom |
DAG-Auslöser · Statusüberwachung · Werkzeugübergreifende Abhängigkeitskoordination |
|
Schneeflocke |
SQL-Ausführung · Datenladen · gespeicherte Verfahren · nachgelagerte Workflow-Koordination |
|
GCP Dataproc |
Spark-Batch, Workflow-Vorlagen, serverlose Spark-Batches |
|
Azure HDInsight |
Spark-Batch-Ausführung, Anwendungsparameter, Spark-Logs |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die darüberliegende Schicht.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachen Sie die Ausführung von Spark innerhalb der vollständigen Datenpipeline.
Spark zeigt, was innerhalb einer Anwendung passiert; die Produktionspipeline erstreckt sich üblicherweise über Speicher-, Transformations-, Orchestrierungs- und Liefersysteme. Control-M bietet Datenteams eine operative Übersicht über die Jobs und Abhängigkeiten rund um Spark:
-
Spark-Job-Ausführungsstatus
-
Upstream- und Downstream-Abhängigkeiten
-
Auftragsausgabe und Protokolle
-
Durchgehende Workflow-Transparenz
-
Ausfall und Wiederherstellungsstatus
SLA-SICHERUNG
Managen Sie Spark gegen die Deadline, die wirklich zählt.
Eine erfolgreiche Spark-Anwendung kann je nach dem Geschäftsprozess immer noch zu spät sein. Control-M verbindet die Spark-Ausführung mit dem End-to-End-Service-SLA und hilft Teams, Verzögerungen zu erkennen und Abhängigkeiten zu verwalten, bevor die Lieferung verpasst wird:
-
End-to-End-SLA-Tracking
-
Erforderliche Fertigstellungszeit
-
Abhängigkeitsbewusste Workflow-Überwachung
-
Verzögerungs- und Ausfallsichtbarkeit
-
Koordinierte Bergungsmaßnahmen
