Auf einen Blick: Data Engineers konzentrieren sich auf den Aufbau von Dateninfrastruktur und Pipelines, während Data Scientists Daten analysieren, um Erkenntnisse zu gewinnen. Beide Rollen sind für eine effektive Datennutzung unerlässlich, wobei die Gehälter aufgrund des Branchenwachstums vergleichbar werden.
- Data Engineers erstellen und pflegen Datenpipelines.
- Data Scientists analysieren Daten und präsentieren den Stakeholdern die Erkenntnisse.
Der Data Engineer stattet das Unternehmen mit der Fähigkeit aus, Daten von Ort zu Ort zu bewegen, sogenannte Data Pipelines. Data Engineers liefern Daten an die Data-Science-Teams.
Der Data Scientist konsumiert die von den Data Engineers bereitgestellten Daten und interpretiert sie so, dass sie Entscheidungsträgern im Unternehmen etwas Sinnvolles sagen.
In diesem Artikel tauchen wir etwas tiefer in die Rollen von Data Engineer und Data Scientist ein.
Was ist ein Data Engineer?
Im Allgemeinen sind die Data Engineers verantwortlich für den Aufbau von Pipelines, die Architektur der Backend-Datenbanken, das Erstellen von Abfragen und mehr.
Der Data Engineer besitzt oft einen Abschluss in Informatik oder Ingenieurwesen. Seine Fähigkeiten umfassen den direkten Aufbau und die Arbeit mit Computern. Er baut Datenbanken, stellt Abfragen zur Interaktion mit den Datenbanken durch, verschiebt Daten von einer Datenbank zur nächsten, transformiert die Daten, die als richtigen Typ an den Endpunkt gesendet werden. Sie sind diejenigen, die APIs bauen.
Data Engineers verwenden eine Reihe von Computersprachen , um die Arbeit zu erledigen. Auf deren Niveau hängt die beste Sprache von der Aufgabe und der Ausrüstung ab, mit der sie arbeiten. Java, Scala, C++, Go und Python können verwendet werden.
Fähigkeiten
- Datenbankabfragen schreiben
- Datenbankpipelines aufbauen
- APIs aufbauen
- Programmiersprache: Java, Scala, C++, Go, Julia, Python
Was ist ein Data Scientist?
Die Data Scientists benötigen vielleicht nur wenig Computerprogrammierung, um die Daten aus den Quellen des Ingenieurs zu übernehmen und sie an ihre Bedürfnisse anzupassen.
Die Fähigkeiten von Data Scientists basieren mehr auf gutem Denken und Kommunikationsfähigkeiten. Ihre Arbeit ist meist sehr mathematisch und statistisch. Sie müssen in der Lage sein:
- Erstellen Sie Hypothesen rund um die Datensätze
- Teste die Hypothesen
- Setze das, was sie lernen, in Informationen für Entscheidungsträger um
Data Scientists sind dafür verantwortlich, Daten aus einer Quelle zu konsumieren und wertvolle Informationen daraus zu gewinnen. Anschließend sollen sie die Informationen oft durch eine Visualisierung präsentieren.
Data Scientists müssen:
- Identifizieren Sie relevante Datenquellen
- Filtern Sie strukturierte und unstrukturierte Daten
- Analysieren Sie die Daten auf Trends
- Bereite Berichte und Visualisierungen vor
Fähigkeiten
- Starke mathematische und statistische Fähigkeiten
- Daten beschaffen, filtern, bereinigen und überprüfen
- Ausgezeichnete Fähigkeit zu denken und zu kommunizieren
- Erstellen Sie Visualisierungen und Daten-Dashboards
Zunehmend fügen Data Scientists auch maschinelles Lernen zu ihren Fähigkeiten hinzu.
(Finden Sie heraus, warum Python die vorherrschende Programmiersprache für Big Data ist.)
Gehaltsvergleich
Die Nachfrage nach beiden Positionen ist hoch und wird lange genug bestehen, um eine Karriere aufzubauen. Ihre Bezahlung variiert je nach Fachkompetenz und Unternehmen. Data Engineers verdienten früher mehr als Data Scientists, aber in den letzten Jahren, mit dem stetig wachsenden Angebot an Leuten, die in das Feld einsteigen, und der zunehmenden Einfachheit im Umgang mit Cloud-Dateninfrastrukturen haben sich beide Jobs ungefähr gleich ausgeglichen gehabt. Sogar ihr Gesamtgehalt ist in den letzten fünf Jahren um etwa 30.000 Dollar gesunken.
Während das durchschnittliche Gehalt von Ingenieuren etwas unter dem eines Data Scientists liegt, ist ihre Verteilungskurve etwas flacher, was bedeutet, dass mehr Leute in der Position höhere Gehälter verdienen.
Verantwortlichkeiten
Verantwortlichkeiten
Data Engineers und Data Scientists arbeiten zusammen
Die Rolle, die jeder im Unternehmen spielt, ist entscheidend. Die Data Engineers sind in der Regel bessere Programmierer und haben ein viel besseres Verständnis dafür, Daten zu verschieben – schließlich ist das ihre einzige Aufgabe. Die Wissenschaftler werden sich stärker auf Datenanalyse und alle statistischen und Berichtsstrategien spezialisieren, um sinnvolle Informationen aus Daten zu extrahieren.
Data Scientists haben die beliebtere Rolle, weil sie gewissermaßen die Datenjournalisten sind und die Berichte erstellen, die die Menschen lesen können. So werden sie zum Gesicht der Daten, während die Ingenieure hinter den Kulissen sind, und ermöglichen den Zugang zu allen möglichen Daten für die Berichte der Data Scientist.
Die Berichte von Data Scientists können auch die Datenerfassungsbemühungen des Data-Engineering-Teams beeinflussen. Wenn die Analysten feststellen, dass eine neue Informationsquelle benötigt wird, können sie die Ingenieure anweisen, eine Pipeline zu bauen, um Zugang zu den Informationen zu erhalten, und die Ingenieure können die Pipeline entwickeln, um den Wissenschaftlern Zugang zu diesen Informationen zu ermöglichen. Es kann festgestellt werden, dass der Zugang zu den Informationen unmöglich ist, Sicherheitsprobleme, Kostenbeschränkungen, zu viele Eingaben oder unklare Definitionen ist, und sie können dem Data-Science-Team sagen, dass der Zugang zu den Informationen unmöglich ist oder anders angegangen werden muss.
Egal, welchen Weg du wählst, Data Scientists und Data Engineers werden noch lange dabei sein.
Verwandte Literatur
Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.