Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + Pig
Dein Pig-Workflow startet, bevor ein Pig Latin-Skript überhaupt ausgeführt wird – und es kann ausfallen, wenn etwas Upstream kaputtgeht. Ein HDFS-Dateibeobachter läuft ab, bevor die erwartete Partition eintrifft. Ein Sqoop-Import überschreitet sein geplantes Aufnahmefenster. Control-M orchestriert die gesamte Kette: HDFS-Datenankunft, Sqoop-Aufnahme, Pig-Ausführung und Downstream-Lieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
HDFS-DATENANKUNFT
Dein Pig-Skript ist bereit. Die HDFS-Partition ist es immer noch nicht.
Control-M verwendet die HDFS File Watcher-Kriterien, um auf die erforderliche Datei zu warten, bevor der Pig-Job freigegeben wird. Die Verarbeitung beginnt, wenn die erwartete HDFS-Eingabe verfügbar ist, anstatt zu einer beliebigen Uhrzeit, wodurch eine vorzeitige Ausführung bei fehlenden Daten verhindert wird.
SQOOP · PIG
Der Sqoop Import verspätete sich. Pig begann, bevor der Konsum fertig war.
Control-M modelliert das Sqoop Import- und Pig-Skript als abhängige Jobs und gibt Pig erst frei, nachdem der Upstream-Job erfolgreich abgeschlossen ist. Die Verarbeitungssequenz folgt dem tatsächlichen Ausführungszustand und nicht separaten Zeitplänen, wodurch verhindert wird, dass Pig mit unvollständigen importierten Daten ausgeführt wird.
HDFS-BEFEHLSFEHLER
Dein Input ist angekommen. Der HDFS-Vorbereitungsbefehl scheiterte, bevor Pig geflohen ist.
Control-M kann HDFS-Befehle vor dem Pig-Skript ausführen und mithilfe der Einstellung FailJobOnCommandFailure feststellen, ob ein fehlgeschlagener Pre-Befehl den Job fehlschlagen sollte. Vorbereitungs-Logik und Skriptausführung bleiben in einem kontrollierten Workflow und stoppen die nachgelagerte Verarbeitung, wenn die erforderliche HDFS-Operation nicht abgeschlossen ist.
FEHLERWIEDERHERSTELLUNG
Der Pig-Job ist über Nacht gescheitert. Die nachgelagerte Hive-Verarbeitung wartet noch.
Control-M erkennt den fehlgeschlagenen Jobzustand und verhindert, dass die abhängige Verarbeitung fortgesetzt wird, bis die Wiederherstellungsbedingungen erfüllt sind. Operatoren können den Fehler im End-to-End-Workflow-Kontext sehen und verhindern, dass eine fehlgeschlagene Pig-Transformation in die nachgelagerte Datenverarbeitung übergeht.
SLA-RISIKO
Pig hat erfolgreich abgeschlossen. Der Analytics-Übergabetermin um 6:00 Uhr ist immer noch verspätet.
Control-M verfolgt Pig innerhalb des End-to-End-Dienstes und überwacht die Abhängigkeiten, die die endgültige Lieferung bestimmen. SLA-Überwachung und prädiktive Verzögerungserkennung legen Risiken offen, bevor die nachgelagerte Übergabe ihr Ziel verfehlt, sodass die Betriebsteams Zeit zum Eingreifen haben.
Control-M + Pig
Control-M + Pig
|
workload.types |
Pig-lateinische Schriften · Hadoop-Batchverarbeitung · parametrisierte Pig-Jobs · HDFS-Datentransformationen |
|
trigger.type |
Ankunft der HDFS-Datei (HDFS-Dateibeobachter) · Zeitplan · Abschluss des vorgelagerten Auftrags · Control-M-Ereignis |
|
cross_tool.deps |
HDFS-Dateibeobachter · Sqoop Job · Hive-Job · MapReduce-Job · Downstream-Dateizustellung |
|
cloud.platforms |
Hadoop-Cluster · On-Premises-Infrastruktur · Hybridumgebungen · Selbstgehostetes Control-M · Control-M SaaS (Hadoop-Plug-in bereitgestellt) |
|
error_handling |
konfigurierbare Wiederherstellung · Upstream-Ausfall-Halten · Downstream-Kaskadenverhinderung · Vorbefehls-Ausfallbehandlung · Nach-Befehls-Ausfallbehandlung · SLA-Warnung |
|
Durchsatz |
großflächige Batch-Verarbeitung · verteilte Hadoop-Ausführung · parallele Datenverarbeitung · HDFS-Arbeitslasten mit hohem Volumen |
|
Beobachtbarkeit |
Jobausführungsstatus · Jobausgabe · Workflow-Überwachung · Abhängigkeitssichtbarkeit · SLA-Verfolgung · Historische Ausführungsaufzeichnungen |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Workflows über Pig, HDFS, Sqoop, Hive, Dateiübertragungen und Cloud-Dienste in einem einzigen Job-Flow – mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung über alle hinweg.
- Cross-Tool-Abhängigkeit: HDFS File Watcher → Sqoop Import → Pig-Skript → Hive Analytics Handoff
- Datenbewusste Auslöser: HDFS-Dateiankunft, Upstream-Jobabschluss, API-Ereignis, Dateizustellung
|
Schwein |
Ausführung von Pig Latin-Schrift · Parametrisierte Verarbeitung · Statusverfolgung |
|
HDFS |
Dateiankunftsüberwachung · Vor-/Post-Befehle · Datenbereitschaft |
|
Sqoop |
Importausführung · Abhängigkeitskoordination · Vervollständigungsverfolgung |
|
Bienenstock |
Downstream-Ausführung · Abhängigkeitskoordination · Analytische Übergabe |
|
MapReduce |
Verteilte Auftragsausführung · Statusverfolgung · Workflow-Abhängigkeiten |
|
Verwaltete Dateiübertragung |
Sichere Dateibewegung · Ankunft Überwachung · Lieferbestätigung |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die darüberliegende Schicht.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachen Sie Pig-Jobs und Abhängigkeiten an einem Ort.
Pig führt Transformationen innerhalb von Hadoop aus, aber Produktionspipelines umfassen typischerweise zusätzliche Jobs, Dateien und Verarbeitungswerkzeuge. Control-M bietet zentrale Workflow-Überwachung über diese Abhängigkeiten hinweg, sodass Datenteams den Ausführungsfortschritt sehen und erkennen können, wo eine Pipeline wartet oder ausfällt:
-
Ausführungsstatus der Pig Job
-
Upstream- und Downstream-Abhängigkeiten
-
Jobausgabe und Laufzeithistorie
-
Pipeline-Ausfälle und Wartezeiten
-
Durchgehende Workflow-Transparenz
SLA-SICHERUNG
Halten Sie die Pig-gesteuerten Datenpipelines im Zeitplan.
Ein erfolgreicher Pig-Job garantiert nicht, dass die vollständige Datenpipeline rechtzeitig abgeschlossen wird. Control-M verfolgt den umgebenden Arbeitsablauf und dessen Service-Level-Verpflichtungen, hilft Teams dabei, Verzögerungen zu erkennen und einzugreifen, bevor nachgelagerte Datenkonsumenten betroffen sind:
-
Prädiktive SLA-Verzögerungserkennung
-
End-to-End-Service-Sichtbarkeit
-
Abhängigkeitsbewusste Ausführung
-
Automatisierte Fehlerbehandlung
-
Zentralisierte operative Alarme