Wie Railinc dazu beiträgt, ein intelligenteres Schienennetz mit Automatisierung und Big Data aufzubauen

Railinc wurde 1999 gegründet, um IT-Dienstleistungen für die Association of American Railroads (AAR) bereitzustellen, und ist die innovativste und zuverlässigste Ressource für IT- und Informationsdienste in der Eisenbahnbranche. Heute unterstützt Railinc als hundertprozentige Tochtergesellschaft der AAR Geschäftsprozesse und liefert Business Intelligence, die der Güterbahnbranche hilft, die Produktivität zu steigern, die operative Effizienz zu steigern und ihre Kapitalrendite zu steigern. In den letzten Jahren haben die Teilnehmer der Bahnbranche die Chancen erkannt, die Big Data bietet. Als Reaktion auf den dringenden Bedarf an umsetzbaren Daten arbeiten wir mit Class I, Shortline- und Regionalbahnen sowie anderen Railinc-Kunden zusammen, um enorme Datenmengen an verschiedenen Punkten des Schienennetzes zu erfassen und unseren Kunden zu helfen:

• Gleislieferungen im nordamerikanischen Güterbahnnetz
• Erzielen Sie Effizienzsteigerungen bei Reparaturen von Eisenbahnwagen, Autovermietung und anderen Eisenbahnoperationen
• Überwachen Sie den Zustand der Ausrüstung, um den sicheren Transport der Fracht sicherzustellen
• Besser den Verkehr steuern, um die Eisenbahnwagen in Bewegung zu halten

Railinc ist nun die größte, einzige Quelle für Echtzeit- und genaue Interline-Schienendaten für das nordamerikanische Eisenbahnsystem. Diese Daten befähigen unsere Kunden, Effizienz zu steigern, Kosten zu steuern und die Gesundheit des nordamerikanischen Eisenbahnnetzes zu verbessern. Um weiterhin die Datenbedürfnisse unserer Kunden zu erfüllen, haben wir Big Data übernommen und ein früheres proprietäres Data Warehouse durch eine Open-Source-Umgebung ersetzt, die größere Flexibilität zu geringeren Kosten bietet. Vor zwei Jahren begannen wir mit dem Wechsel zu Hortonworks Hadoop als Rahmen zur Speicherung, Verarbeitung und Verwaltung der riesigen Datenmengen, die wir heute verarbeiten und die in Zukunft noch größere Datenmengen unterstützen. Control-M ist ein wesentlicher Bestandteil unserer Big-Data-Strategie. Railinc nutzt Control-M seit 11 Jahren, um komplexe Batch-Prozesse über mehrere Plattformen und Anwendungen hinweg zu planen und zu überwachen. Control-M für Hadoop ermöglicht es uns, Hadoop-Batchprozesse zu entwickeln, zu planen und zu überwachen, indem wir dieselbe vertraute Schnittstelle verwenden, die wir auch für unsere anderen Workloads verwenden.

Big Data bringt beispiellose Sichtbarkeit

Das nordamerikanische Eisenbahnnetz wird immer intelligenter, da Eisenbahnen fortschrittliche Technologien wie intelligente Sensoren entlang der Gleise einsetzen. Diese Sensoren liefern Daten wie Standort- und Bewegungsinformationen, die Kunden helfen, ihre Flotten zu verwalten, ihre Ausrüstung zu verfolgen, ETAs einzusehen, die Bewegung von Millionen von Triebwagen effizient zu koordinieren und die Lieferung der Ladung auf die Stunde zu timen. Andere Detektoren überwachen jedoch den physischen Zustand des Wagenmaterials, sodass Eisenbahnen und Wagenbesitzer Probleme wie eine defekte Bremse oder ein Rad mit platter Stelle erkennen können. Diese Daten ermöglichen es Railinc, eine Vorwarnung zu geben, um Reparaturen zu planen, bevor ein kleines Problem zu einer teuren Reparatur wird. Das Volumen ist enorm. Wir erfassen Daten von mehr als 40.000 Lokomotiven und 1,6 Millionen Triebwagen, die über 140.000 Meilen Gleise fahren. Die Daten stammen von Fahrzeugen von 1.700 verschiedenen Eisenbahnbesitzern, 560+ lokalen und regionalen Eisenbahnen sowie sieben Class-I-Eisenbahnen. Unser Datenlager enthält bereits 50 Terabyte Daten aus unterschiedlichen Quellen, und wir erwarten, dass dieses Volumen in den nächsten Jahren um fast 100 % steigen wird. Anwendungen der Railinc-Branche nutzen diese Daten, um Kunden einen effizienteren und wirtschaftlicheren Betrieb zu ermöglichen. Unsere Autovermietungsanwendungen unterstützen Aktivitäten rund um die für die Nutzung von Schienenfahrzeugen erhobenen und bezahlten Gebühren, was eine höhere Geräteauslastung und eine bessere Zahlungsgenauigkeit ermöglicht. Verkehrsmanagementanwendungen wie unser Clear Path™ System erleichtern den Transport von Zügen durch das Chicago Terminal, das verkehrsreichste Bahnportal Nordamerikas.

Control-M hilft, Big Data am Laufen zu halten

Um unsere Branchenanwendungen zu unterstützen, müssen wir täglich riesige Datenmengen aus vielen Quellen sammeln, sie durch verschiedene Systeme zur Analyse und Übersetzung in umsetzbare Informationen leiten lassen und Berichte an unsere Kunden erstellen und verteilen. Die Workflows, die die Daten dorthin bringen, wo sie gebraucht werden, sind hochkomplex mit zahlreichen Abhängigkeiten. Hier kommt Control-M ins Spiel. Es vereinfacht die Erstellung selbst der komplexesten Workloads. Mit der grafischen Oberfläche kann ich buchsbältlich die Abhängigkeiten zwischen den Jobs zeichnen, sodass ich sicherstellen kann, dass Voraussetzungsprozesse in einer Sequenz abgeschlossen sind, bevor der nächste Prozess der Sequenz gestartet wird. Vielleicht ist der bedeutendste Vorteil, dass die Lösung nicht an eine einzige Technologie gebunden ist. Als das Big-Data-Team Hadoop hinzufügte, war Control-M eine natürliche Wahl und gab uns die gleiche Art von Transparenz und Kontrolle über Hadoop-Jobs, die wir auf anderen Plattformen erleben. Das Planungsteam musste kein spezielles Planungstool für Hadoop lernen. Wir nutzen dieselbe Schnittstelle, um Arbeitslasten auf all unseren Plattformen zu planen und haben volle Transparenz über die hunderten Jobs, die jede Nacht laufen. Control-M Batch Impact Manager ermöglicht es uns, Hadoop-Jobs zu überwachen, ohne dass rund um die Uhr Leute vor einer Konsole sitzen. Wenn die Lösung potenzielle Verzögerungen oder Ausfälle erkennt, wird wir sofort benachrichtigt. Unsere Kunden verlassen sich darauf, dass wir diese SLAs erfüllen. Verzögerte Berichte zum Chicago Terminal könnten beispielsweise den Bahnbetrieb nicht nur im Raum Chicago, sondern in ganz Nordamerika beeinträchtigen. Batch Impact Manager bietet uns einen intelligenten, proaktiven Ansatz, um Prozesse – und Züge – am Laufen zu halten. Ein weiterer Vorteil von Control-M ist, dass es Multisite-Umgebungen unterstützt. Die kritische Natur unserer Big-Data-Umgebung macht es wichtig, einen zweiten Standort für Katastrophenwiederherstellungszwecke zu haben. Deshalb haben wir einen primären und einen sekundären Standort für unsere Hadoop-Umgebung geschaffen. Wir beschränken den zweiten Standort jedoch nicht auf DR-Aktivitäten. Wir brauchen die Flexibilität, jeden Auftrag an beiden Standorten zu erledigen. Control-M kann problemlos mit beiden Standorten kommunizieren, was es uns ermöglicht, zu jedem Standort zu ETL, Daten zu bearbeiten, Ansichten zu erstellen und Prozesse bei Bedarf zwischen Standorten zu verschieben und letztlich IT-Dienste und Daten an beiden Standorten zu replizieren. In Zukunft wird diese Multisite-Fähigkeit beim Load Balancing helfen, sodass wir mit der steigenden Nachfrage nach Big-Data-Berichten Schritt halten können.

Fazit

Der Übergang zu Hadoop hat die Anzahl der Jobs, die wir ausführen, erheblich erhöht, und Hadoop-Workflows machen inzwischen etwa ein Drittel aller unserer Batch-Prozesse aus. Die Orchestrierung, die Control-M durchführt, um die Daten dorthin zu bringen, wo sie zum richtigen Zeitpunkt sein müssen, ist entscheidend für den Erfolg unserer Big-Data-Bemühungen. Ohne Control-M könnten wir die Aufgabe einfach nicht erledigen. Für weitere Informationen zu Control-M für Hadoop klicken Sie hier.

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.