Sagen Sie uns, wie wir helfen können
Vertrieb & Preise
Speak to a rep about your business needs
Hilfe & Support
See our product support options
Allgemeine Anfragen und Standorte
Kontakt
Control-M + Hive
Dein Hive-Workflow startet, bevor ein Beeline-Job überhaupt ausgeführt wird – und er kann ausfallen, wenn etwas stromaufwärts kaputtgeht. Eine von einem HDFS-Dateibeobachter erwartete HDFS-Datei trifft nie ein. Ein Sqoop-Import wird spät abgeschlossen und lässt die Hive-Last warten. Control-M orchestriert die gesamte Kette: HDFS-Datenankunft, Sqoop-Erfassung, Hive-Ausführung und Downstream-Analyselieferung.
Häufige Workflow-Probleme
Klingt das nach deiner Woche?
HDFS-DATENANKUNFT
Dein Hive-Load um 2:00 Uhr morgens hat begonnen. Der HDFS-Eingang ist nie angekommen.
Control-M kann den Hive-Job von einem HDFS File Watcher abhängig machen, sodass die Ausführung auf die erforderlichen Daten wartet, anstatt auf eine feste Startzeit zu setzen. Die Abfrage beginnt erst, nachdem die Upstream-Dateibedingung erfüllt ist.
SQOOP · HIVE
Dein Sqoop-Import ist spät fertig. Das Hive-Skript ist schon fällig.
Control-M platziert Sqoop- und Hive-Jobs in derselben Planungsumgebung, bewertet die Fertigstellung des Upstream-Auftrags vor dem Freigabe des Hive-Schritts und bewahrt die Abhängigkeitskette, wenn die Aufnahme verspätet ist – wodurch eine spröde zeitbasierte Koordination vermieden wird.
FRAGEFEHL
Beeline hat einen Fehler zurückgegeben. Ihr Downstream-Analytics-Job darf nicht ausgeführt werden.
Control-M überwacht den Hive-Job als Teil des Workflows und verhindert, dass die abhängige Verarbeitung fortgesetzt wird, wenn die Voraussetzung fehlschlägt. Operatoren können die Wiederherstellung zentral verwalten, anstatt eine fehlgeschlagene Hive-Ausführung in die nachgelagerte Verarbeitung übergehen zu lassen.
SLA-RISIKO
Hive läuft immer noch. Ihre Morgen-Analyse-Lieferung nähert sich ihrem SLA.
Control-M kann SLA-Management an Hadoop-Workloads anhängen und den Hive-Job innerhalb des größeren Produktionsflusses verfolgen. Teams erhalten Transparenz über Verzögerungen und Abhängigkeiten, bevor eine verspätete Abfrage zu einer verspäteten Geschäftsdatenlieferung wird.
SICHERE AUSRICHTUNG
Die Arbeitsbelastung der Hive hat die Umgebung gewechselt. Zugangsdaten sind in einem anderen Skript vergraben.
Control-M verwendet ein Hadoop-Verbindungsprofil für die HiveServer2-Konnektivität, einschließlich Hive-Host, Hive-Port, Datenbankname, Hive-Benutzer, Passwort und des für die Kerberos-Authentifizierung erforderlichen Hive-Prinzipals. Verbindungsdetails bleiben von den Hive-Job-Definitionen getrennt, was wiederholte Verarbeitung von Zugangsdaten über geplante Arbeitslasten reduziert.
Control-M + Hive
Control-M + Hive
|
workload.types |
Hive-Beeline-Jobs · Hive-Skriptausführung · HiveQL-Abfragen · ETL-Verarbeitung · Data-Warehouse-Lädungen · Tabellen-/Partitionsoperationen |
|
trigger.type |
Ankunft der HDFS-Datei · Abschluss eines vorgelagerten Auftrags · Zeitplan · komplexe Abhängigkeit · Ressourcenverfügbarkeit · Workflow-Zustand |
|
cross_tool.deps |
HDFS-Dateibeobachter · Sqoop Job · Spark Job · MapReduce-Job · Pig Job · Oozie-Workflow · Downstream Control-M Job |
|
cloud.platforms |
Hadoop-Cluster (lokal oder cloudgehostet) · HDFS · HiveServer2 · Linux Control-M/Agent |
|
error_handling |
Überwachung des Jobstatus · Downstream-Abhängigkeitskontrolle · Fortschrittliche Terminplanungskriterien · Ressourcenkontrollen · SLA-Management · Zentralisierte Wiederherstellung |
|
Durchsatz |
verteilte Hadoop-Verarbeitung · große Datensätze · Batch-ETL · Hive SQL-Verarbeitung · gleichzeitige HiveServer2-Arbeitslasten |
|
Beobachtbarkeit |
zentralisierte Jobüberwachung · Sichtbarkeit von Workflow-Abhängigkeit · SLA-Tracking · Jobausgabe · Ausführungsstatus · historische Workflow-Datensätze |
End-to-End-Orchestrierung
Ein Produktionsworkflow. Jedes Tool im Stack.
Control-M orchestriert Arbeitsabläufe über Hive, HDFS, Sqoop und Spark – sowie verwandte Tools wie Airflow und verwaltete Dateiübertragungen – in einem einzigen Job-Flow, mit Abhängigkeitsverfolgung, SLA-Transparenz und automatisierter Wiederherstellung in allen Bereichen.
- Cross-Tool-Abhängigkeit: HDFS-Ankunft → Sqoop Import → Hive-Abfrage → Spark-Analytics
- Datenbewusste Auslöser: HDFS-Dateiankunft, Abschluss des Upstream-Auftrags, API-Ereignis, Abfrageabschluss
|
Bienenstock |
Direkter Jobausführung · Hive-Skriptausführung · Verbindungsprofile · Abhängigkeitsmanagement |
|
HDFS |
Dateiankunftsbeobachtung (HDFS File Watcher) · HDFS-Befehle · Upstream-Datenabhängigkeitssteuerung |
|
Sqoop |
Import/Export-Orchestrierung · Abhängigkeitssequenzierung · Jobüberwachung |
|
Spark |
Python-Jobs · Scala/Java-Jobs · Jobübergreifende Abhängigkeiten |
|
Luftstrom |
DAG-Ausführung · Statusüberwachung · Abhängigkeiten von Unternehmensworkflows |
|
Verwaltete Dateiübertragung |
Dateibewegung · Dateiankunftsabhängigkeiten · Sichere Übertragungsorchestrierung |
Koexistenz des Luftstroms
Control-M ersetzt deine Airflow DAGs nicht. Es verläuft die darüberliegende Schicht.
Der Luftstrom steuert seinen DAG. Control-M verwaltet alles Umliegende.
Luftstromregler
Orchestrierung auf DAG-Ebene innerhalb der Datenpipeline
- DAG-Level-Aufgabenorchestrierung innerhalb von Datenpipelines
- Python-Operatoren, Sensoren und Aufgabenabhängigkeiten
- Ausführungsgraph für Jobs, die in deiner Pipeline laufen
- Verwaltet erneute Versuche innerhalb eines einzigen DAG-Kontexts
Control-M fügt hinzu
Die Koordinationsschicht um deine DAGs herum
- Koordinationsschicht rund um DAGs – löst den Airflow basierend auf upstream-Bedingungen aus: Dateiankünfte, API-Ereignisse, andere Werkzeugabschlüsse
- Verfolgt den SLA-Beitrag jedes DAG über den gesamten End-to-End-Workflow, nicht nur über die eigene Routine
- Verwaltet die Fehlerwiederherstellung, wenn upstream-Abhängigkeiten ausfallen, bevor der Luftstrom überhaupt startet.
- Bestehende DAGs müssen nicht umgeschrieben oder migriert werden
PIPELINES ÜBERWACHEN
Überwachung der Hive-Ausführung über die gesamte Datenpipeline hinweg
HiveServer2 ermöglicht entfernten Clients, Abfragen auszuführen und Ergebnisse abzurufen, aber die Produktionslieferung hängt oft von der Arbeit außerhalb von Hive ab. Control-M bringt Hive-Jobs sowie die umliegenden Hadoop- und Unternehmensschritte in zentrale Workflow-Überwachung, damit Datenteams die Ausführung im Kontext verfolgen können:
-
Status der Ausführungsphase eines Schwarmjobs
-
Upstream- und Downstream-Abhängigkeiten
-
Zentralisierte Workflow-Überwachung
-
Joboutput und Ergebnisse
-
End-to-End-Transparenz der Pipeline
SLA-SICHERUNG
Halte die Hive-abhängigen Datenlieferungen im Zeitplan
Eine erfolgreiche Hive-Abfrage ist nur ein Meilenstein in einem End-to-End-Datendienst. Control-M fügt SLA-Management im gesamten Workflow hinzu und hilft Teams, Abhängigkeiten und Verzögerungen zu identifizieren, die die geplante Datenauslieferung gefährden:
-
End-to-End-SLA-Tracking
-
Prädiktive Verzögerungsdetektion
-
Komplexes Abhängigkeitsmanagement
-
Zentralisierte Ausfallsichtbarkeit
-
Fortgeschrittene Terminvereinbarungskriterien