Auf einen Blick: Die Integration von Control-M mit Amazon SageMaker verbessert maschinelles Lernen durch automatisierte Planung und Überwachung und ermöglicht so einen reibungsloseren Übergang vom Experimentieren zur Produktion.
- Control-M bietet sichere Konnektivität und einheitliche Jobplanung für Amazon SageMaker.
- Es ermöglicht eine effiziente Ausführung und Überwachung von ML-Workflows und gewährleistet Zuverlässigkeit und Leistung.
In der heutigen schnelllebigen digitalen Landschaft ist die Fähigkeit, die Kraft von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) zu nutzen, entscheidend für Unternehmen, die einen Wettbewerbsvorteil anstreben. Amazon SageMaker ist eine bahnbrechende ML-Plattform, die Unternehmen und Datenwissenschaftler befähigt, die Entwicklung komplexer KI-Modelle nahtlos zu navigieren. Eine ihrer herausragenden Eigenschaften ist die End-to-End-ML-Pipeline, die den gesamten Prozess von der Datenvorbereitung bis zur Modellbereitstellung optimiert. Die integrierte Jupyter Notebook-Plattform von Amazon SageMaker ermöglicht kollaborative und interaktive Modellentwicklung, während der Datenlabeling-Service die oft arbeitsintensive Aufgabe der Datenannotation vereinfacht.
Es verfügt außerdem über eine umfangreiche Bibliothek vorgefertigter Algorithmen und Deep-Learning-Frameworks, was es sowohl für Neueinsteiger als auch für erfahrene ML-Praktiker zugänglich macht. Die verwalteten Trainings- und Inferenzfähigkeiten von Amazon SageMaker bieten die Skalierbarkeit und Elastizität, die für reale KI-Implementierungen erforderlich sind. Darüber hinaus verbessern das automatische Modelltuning und robuste Überwachungstools die Effizienz und Zuverlässigkeit von KI-Modellen, sodass sie über die Zeit korrekt und aktuell bleiben. Insgesamt bietet Amazon SageMaker eine umfassende, skalierbare und benutzerfreundliche ML-Umgebung und ist damit eine Top-Wahl für Organisationen, die das Potenzial der KI nutzen möchten.
Amazon SageMaker und Control-M zusammenbringen
Amazon SageMaker vereinfacht den gesamten ML-Workflow und macht ihn für ein breiteres Nutzerfeld, einschließlich Data Scientists und Entwickler, zugänglich. Es bietet eine einheitliche Plattform zum Aufbau, Training und Bereitstellen von ML-Modellen. Um jedoch die Kraft von Amazon SageMaker wirklich zu nutzen, benötigen Unternehmen oft die Möglichkeit, ML-Workflows zu orchestrieren und zu automatisieren und sie nahtlos mit anderen Geschäftsprozessen zu integrieren. Hier kommt Control-M von BMC ins Spiel.
Control-M ist eine vielseitige Anwendungs- und Datenworkflow-Orchestrierungsplattform, die es Organisationen ermöglicht, ihre Daten- und KI-bezogenen Prozesse effizient zu automatisieren, zu überwachen und zu verwalten. Es kann nahtlos mit SageMaker integriert werden, um eine Brücke zwischen KI-Modellierung und -bereitstellung sowie Geschäftsabläufen zu schaffen.
In diesem Blog werden wir die nahtlose Integration zwischen Amazon SageMaker und Control-M sowie die transformative Wirkung auf Unternehmen untersuchen.
Amazon SageMaker befähigt Data Scientists und Entwickler, ML-Modelle in verschiedenen Umgebungen – On-Premises, Cloud oder Edge-Geräte – zu erstellen, zu trainieren und bereitzustellen. Eine End-to-End-Datenpipeline umfasst mehr als nur die KI- und ML-Funktionalität von Amazon SageMaker, bei der Daten aus mehreren Quellen aufgenommen, transformiert, aggregiert usw. werden, bevor ein Modell trainiert und KI/ML-Pipelines mit Amazon SageMaker ausgeführt werden. Control-M wird häufig zur Automatisierung und Orchestrierung von End-to-End-Datenpipelines verwendet. Ein gutes Beispiel für End-to-End-Orchestrierung wird im Blog "Orchestrating a Predictive Maintenance Data Pipeline" behandelt, der gemeinsam von Amazon Web Services (AWS) und BMC verfasst wurde.
Hier konzentrieren wir uns speziell auf die Integration von Amazon SageMaker mit Control-M. Wenn Sie Amazon SageMaker-Jobs in Ihre Datenpipeline oder komplexen Workflows von Control-M eingebettet haben, können Sie die Fähigkeiten von Control-M nutzen, um Amazon SageMaker effizient eine End-to-End-Datenpipeline auszuführen, die auch Amazon SageMaker-Pipelines umfasst.
Wichtige Funktionen
Control-M für Amazon SageMaker bietet:
- Sichere Konnektivität: Verbinden Sie sich sicher mit jedem Amazon SageMaker-Endpunkt, sodass keine expliziten Angaben zu Authentifizierungsdaten erforderlich sind
- Einheitliche Planung: Integrieren Sie Amazon SageMaker-Jobs nahtlos mit anderen Control-M-Jobs in einer einzigen Planungsumgebung und optimieren Sie Ihr Workflow-Management
- Pipeline-Ausführung: Führen Sie Amazon SageMaker-Pipelines mühelos aus und stellen Sie sicher, dass Ihre ML-Workflows reibungslos laufen
- Überwachung und SLA-Management: Behalten Sie den Status, die Ergebnisse und die Ergebnisse der Amazon SageMaker-Jobs innerhalb der Control-M-Monitoring-Domäne genau im Auge und fügen Sie Service Level Agreement (SLA)-Jobs Ihren Amazon SageMaker-Jobs für eine präzise Kontrolle an
- Erweiterte Funktionen: Nutzen Sie alle Control-M-Funktionen, einschließlich fortschrittlicher Terminkriterien, komplexer Abhängigkeiten, Ressourcenpools, Sperrressourcen und Variablen, um Ihre ML-Workflows effektiv zu orchestrieren
- Parallele Ausführung: Führen Sie bis zu 50 Amazon SageMaker-Jobs gleichzeitig pro Agent aus, was eine effiziente Auftragsausführung in großem Umfang ermöglicht
Control-M für Amazon SageMaker-Kompatibilität
Bevor Sie sich mit der Einrichtung von Control-M für Amazon SageMaker beschäftigen, ist es wichtig sicherzustellen, dass Ihre Umgebung die Kompatibilitätsanforderungen erfüllt:
- Control-M/EM: Version 9.0.20.200 oder höher
- Control-M/Agent: Version 9.0.20.200 oder höher
- Control-M Application Integrator: Version 9.0.20.200 oder höher
- Control-M Web: Version 9.0.20.200 oder höher
- Control-M Automation API: Version 9.0.20.250 oder höher
Bitte stellen Sie sicher, dass Sie für jede Voraussetzung die erforderlichen Installationsdateien zur Verfügung haben.
Ein Beispiel aus der Praxis:
Der Abalone-Datensatz, der aus dem UCI Machine Learning Repository stammt, wurde häufig in ML-Beispielen und Tutorials verwendet, um das Alter von Abalones anhand verschiedener Eigenschaften wie Größe, Gewicht und Geschlecht vorherzusagen. Das Alter der Abalones wird in der Regel durch eine körperliche Untersuchung ihrer Panzer bestimmt, die sowohl mühsam als auch aufdringlich sein kann. Mit ML können wir das Alter jedoch mit erheblicher Genauigkeit vorhersagen, ohne auf körperliche Untersuchungen zurückzugreifen.
Für diese Übung haben wir das Abalone-Tutorial von AWS verwendet. Dieses Tutorial führt die Nutzer effizient durch die Phasen der Datenvorverarbeitung, Schulung und Modellbewertung mit Amazon SageMaker.
Nachdem wir die Feinheiten des Tutorials verstanden hatten, trainierten wir das Amazon SageMaker-Modell mit dem Abalone-Datensatz und erreichten eine zufriedenstellende Genauigkeit. Außerdem entwickelten wir eine umfassende Continuous Integration and Continuous Delivery (CI/CD)-Pipeline, die das Modell-Retraining und die Aktualisierung von Endpunkten automatisiert. Dies vereinfachte nicht nur den Prozess der Modellbereitstellung, sondern stellte auch sicher, dass der Amazon SageMaker-Endpunkt für Inferenz stets mit dem neuesten trainierten Modell auf dem neuesten Stand war.
Einrichtung von Control-M für Amazon SageMaker
Lassen Sie uns nun anschauen, wie man Control-M für Amazon SageMaker einrichtet, das drei Hauptschritte umfasst:
- Erstellung eines Verbindungsprofils, das Control-M verwendet, um sich mit der Amazon SageMaker-Umgebung zu verbinden
- Definition eines Amazon SageMaker-Jobs in Control-M, der definiert, was wir innerhalb von Amazon SageMaker ausführen und überwachen wollen.
- Ausführung einer Amazon SageMaker-Pipeline mit Control-M
Schritt 1: Erstellen Sie ein Verbindungsprofil
Um zu beginnen, müssen Sie ein Verbindungsprofil für Amazon SageMaker definieren, das die notwendigen Parameter für die Authentifizierung und Kommunikation mit SageMaker enthält. Je nach Ihrer Einrichtung werden häufig zwei Authentifizierungsmethoden verwendet.
Beispiel 1: Authentifizierung mit AWS-Zugangsschlüssel und Geheimnis
Beispiel 2: Authentifizierung mit AWS IAM-Rolle aus der EC2-Instanz
Wählen Sie die Authentifizierungsmethode, die mit Ihrer Umgebung übereinstimmt. Es ist wichtig, den Amazon SageMaker-Jobtyp genau wie in den obigen Beispielen gezeigt anzugeben. Bitte beachten Sie, dass Amazon SageMaker großschreibungsabhängig ist, also achten Sie darauf, die korrekte Großschreibung zu verwenden.
Schritt 2: Definieren Sie einen Amazon SageMaker-Job
Sobald Sie das Verbindungsprofil eingerichtet haben, können Sie innerhalb von Control-M einen Amazon SageMaker-Jobtyp definieren, der es Ihnen ermöglicht, Amazon SageMaker-Pipelines effektiv auszuführen.
In diesem Beispiel haben wir einen Amazon SageMaker-Job definiert, der das zu verwendende Verbindungsprofil ("AWS-SAGEMAKER") angibt. Sie können zusätzliche Parameter wie den Namen der Pipeline, ein Idempotenz-Token, Parameter zum Weitergeben an den Job, Wiederholungseinstellungen und mehr konfigurieren. Für ein detailliertes Verständnis und Codeschnipsel siehe bitte die offizielle BMC-Dokumentation für Amazon SageMaker.
Schritt 3: Ausführung der Amazon SageMaker-Pipeline mit Control-M
Es ist wichtig zu beachten, dass der Name der Pipeline und der Endpunkt obligatorische JSON-Objekte innerhalb der Pipeline-Konfiguration sind. Durch das Ausführen des Befehls "ctm run" auf der pipeline.json-Datei wird die Ausführung der Pipeline innerhalb AWS aktiviert.
Zuerst führen wir "ctm build sagemakerjob.json" aus, um unsere JSON-Konfiguration zu validieren, und dann den Befehl "ctm run sagemakerjob.json", um die Pipeline auszuführen.
Wie im obigen Screenshot zu sehen ist, hat der Befehl "ctm run" den Amazon SageMaker-Job gestartet. Der nächste Screenshot zeigt die Pipeline, die von der Amazon SageMaker-Konsole läuft.
Im Control-M-Monitoring-Bereich haben Benutzer die Möglichkeit, Job-Ausgaben einzusehen. Dies ermöglicht eine einfache Nachverfolgung von Pipeline-Status und liefert Einblicke zur Fehlerbehebung bei Jobfehlern.
Dieser Beitrag erklärt, wie die Integration von Control-M SageMaker Teams ermöglicht, ML-Trainingspipelines parallel zu Unternehmensdaten-Workflows zu planen, zu überwachen und zu steuern – und so die Modelle von Experimenten zu zuverlässigen Produktionsabläufen zu bewegen.
Zusammenfassung
In diesem Blog haben wir demonstriert, wie man Control-M mit Amazon SageMaker integriert, um das volle Potenzial von AWS ML-Diensten freizusetzen und sie mühelos in Ihre bestehenden Anwendungs- und Datenworkflows zu integrieren. Diese Fusion erleichtert nicht nur das Management von ML-Jobs, sondern optimiert auch Ihre gesamten Automatisierungsprozesse.
Bleiben Sie dran für weitere Blogs zu Control-M- und BMC Control-M-Integrationen! Um mehr über Control-M-Integrationen zu erfahren, besuchen Sie unsere Website.
Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.