Hadoop-Karrieren: Einstellung

Hadoop-Einstellung und Karriereüberlegungen

Wie Sie vielleicht gehört haben, sind Hadoop und andere Big-Data-Fachleute sehr gefragt. Die Ergebnisse einer Google-Suche nach "Hadoop-Jobs" könnten groß genug sein, um selbst als Big Data zu gelten. Viele junge und mittlere IT-Fachleute versuchen gleichermaßen, den Hadoop-Elefanten zu besseren Chancen zu nutzen. Um dieses Ziel zu unterstützen, wurden zahlreiche Schulungs- und Zertifizierungsprogramme ins Leben gerufen – wobei jedoch beachtet werden muss, dass keine Zertifizierung über die Apache Hadoop Foundation verfügbar ist. IT-Fachkräfte fragen sich oft, welche Fähigkeiten und Zertifizierungen am wertvollsten sind, während Organisationen mit wenig oder keiner Big-Data-Erfahrung sich fragen, welche spezifischen Fähigkeiten und anderen Eigenschaften sie von ihren Kandidaten erwarten.

Hadoop fällt in die Kategorie Data Science, aber damit erfolgreich zu sein, ist eigentlich eher eine Kunst. Wissenschaftliche Entdeckung bedeutet, durch Anwendung der wissenschaftlichen Methode wiederholbare Ergebnisse zu erzielen. Hadoop-Projekte folgen nicht immer den etablierten Prozessen, weil Hadoop heute oft genutzt wird, um Dinge auszuprobieren, die es bisher nicht gab. Deshalb ist der Erfolg von Hadoop teils Kunst, teils Wissenschaft. Mindestens benötigen Sie technisches Wissen, um Daten zu extrahieren und zu verarbeiten, aber die Kunst besteht darin, neue Quellen zu finden, aus denen Sie Daten extrahieren können, sowie neue Wege, sie zu verarbeiten und auszudrücken.

Hadoop-Jobtitel und -rollen

Hadoop weist Ähnlichkeiten mit anderen Umgebungen auf, da Menschen benötigt werden, um Anwendungen zu entwickeln, die Ergebnisse zu interpretieren und die Umgebung zu verwalten. In der Hadoop-Welt werden diese Rollen mit Titeln wie:

• Big-Data-Analyst
• Big-Data-Softwareentwickler
• Big-Data-Architekt
• BI-Spezialist
• Dateningenieur
• Datenwissenschaftler
• ETL-Entwickler
• Hadoop-Architekt
• Hadoop-Entwickler

Zu den am häufigsten gefragten Fähigkeiten und Zertifikaten für diese Positionen gehören:

• Erfahrung mit dem Apache Hadoop-Stack, der HDFS, YARN, HBase, Hive, Pig, Spark usw. umfasst.
• Cloudera Certified Professional (CCP) Zertifizierungen
• Hortonworks-Zertifizierungen, zum Beispiel HDPCD, HDPCA usw.
• MapR-Zertifizierungen – (MCHA, MCHD, MCHBD, MCSD)
• Erfahrung mit Shell-Skripten (insbesondere Python, R, Unix Shell und PowerShell)
• SQL/NoSQL-Erfahrung

Einzelne Organisationen werden wahrscheinlich nur eine Zertifizierung durch einen der wichtigsten Hadoop-Vertriebsanbieter (Cloudera, Hortonworks oder MapR) verlangen.

Die Hadoop-Zertifizierungslandschaft

Hadoop-Zertifizierungen >

Überlegungen zu nicht-technischen Fähigkeiten

Einen Kandidaten zu finden, der alle gewünschten Kriterien für Zertifikate, Fähigkeiten und Erfahrung erfüllt, ist keine Erfolgsgarantie. Genau wie bei der Big-Data-Entwicklung selbst ist es vielleicht eher Kunst als Wissenschaft, die richtigen Leute für Rollen zu finden. Big Data bedeutet, Kontext und geschäftlichen Wert zu finden. Es erfordert technische Fähigkeiten, um die Hadoop-Umgebung zur Verarbeitung von Big Data zu schaffen, aber ein anderes Skillset, um es sinnvoll und umsetzbar zu machen. Wenn Sie einstellen, ist es wichtig, die Geschäftskompetenz der Fachkräfte im Big-Data-Team zu berücksichtigen, selbst solche in technischen Positionen. Wenn Sie Kandidat sind, sollten Sie bereit sein, zu besprechen, wie Sie Hadoop/Big Data anwenden können, um dem Unternehmen bei der Lösung seiner Probleme zu helfen und neue Chancen zu finden.

Flexibilität ist eine weitere wichtige Eigenschaft für Hadoop-Profis. Das Hadoop-Umfeld wächst und verändert sich schnell. Neue Werkzeuge und Techniken werden häufig eingeführt und ermöglichen es Hadoop, Dinge zu tun, die zuvor nicht möglich waren. Personen, die eine sehr strukturierte, unveränderte Rolle bevorzugen, fühlen sich in dieser Umgebung möglicherweise nicht wohl. Andererseits können Personen, die keine enge Aufsicht benötigen und gerne neue Technologien erkunden sowie neue Projekte und Ansätze für ihre Organisation empfehlen können, in der schnelllebigen Hadoop-Welt erfolgreich sein.

Hier sind einige weitere Beobachtungen zum Schwimmen im Hadoop-Talentpool:

• Es kann sehr schwierig sein, einen Kandidaten zu finden, der über die spezifischen Fähigkeiten verfügt, die eine Organisation in ihrer Branche anstrebt, und die Erfahrung in ihrer Branche. Geschäftssinn ist für Data-Scientist- und Beratungspositionen wichtiger als für Entwicklungs- und Wartungspersonal. Hadoop-technische Fähigkeiten sind industrieübergreifend übertragbar.
• Hadoop-Spezialisten, die zu Organisationen kommen, wissen möglicherweise mehr über Big Data als die Personen, die sie eingestellt haben, und werden sie verwalten. Alle Parteien sollten sich dieser Möglichkeit bewusst sein und sich damit wohlfühlen. Für Organisationen mit begrenzter Big-Data-Erfahrung ist es wichtig, Kandidaten einzustellen, die gut kommunizieren und Ideen und Anfragen präsentieren können, um ihre Argumente aus geschäftlicher und nicht übermäßig technischer Perspektive darzulegen.

Ideen für erfolgreiche Vorstellungsgespräche

Innerhalb der Hadoop-Community gibt es viele Diskussionen und Debatten über die relativen Vorzüge der verschiedenen Komponenten – zum Beispiel: Was ist besser – Pig, Spark oder Hive? Wann sollte eine Organisation MapReduce nutzen und wann sollte sie Alternativen in Betracht ziehen? Und so weiter. Der Interviewer und der Kandidat sollten jeweils auf solche Fragen vorbereitet sein. In vielen Fällen gibt es keine klare richtige oder falsche Antwort, daher ist eine effektive Antwort eine, bei der der Kandidat klar und überzeugend erklären kann, warum er oder sie eine Option bevorzugt. Die Kommentierung spezifischer Umstände, die jede Option begünstigen, zeigt ein gewisses Verständnis der geschäftlichen Anforderungen und deutet darauf hin, dass der Kandidat flexibel ist. Ebenso sollten Sie darauf vorbereitet sein, über verschiedene Hardware- und Konfigurationsoptionen für die Hadoop-Infrastruktur zu sprechen.

Kandidaten sollten keine Angst haben, Fragen zu stellen. Die Frage, warum die Hadoop-Infrastruktur auf eine bestimmte Weise konfiguriert ist, warum verschiedene Methoden und Technologien gewählt wurden, wie Arbeitslasten aufgebaut werden usw., zeigt, dass Sie nicht nur ein System warten, sondern auch darüber nachdenken, wie es besser gestaltet werden könnte, um das Unternehmen zu unterstützen.

Kandidaten sollten prüfen, ob der potenzielle Arbeitgeber ihre berufliche Entwicklung unterstützt, zum Beispiel indem er den Kandidaten zu Konferenzen schickt, Zertifizierungskurse bezahlt usw. Müssen Sie eine Liste mit Fragen vorbereiten oder sich auf Ihr Hadoop-Interview vorbereiten? Schauen Sie sich diese Liste der 50 besten Hadoop-Fragen an.

Hadoop-Leitfaden

1. Hadoop-Tutorial für Anfänger: Hadoop-Basics
2. Eine Einführung in die Hadoop-Verwaltung
3. Einführung in die Hadoop-Sicherheit
4. Einführung in den Apache Flume
5. Eine Einführung in Hive
6. Eine Einführung in HDFS
7. Einführung in Hbase
8. Hadoop-Beispiele: 5 reale Anwendungsfälle
9. Hadoop-Karrieren: Einstellung
10. Hadoop-Interviewfragen
11. Eine Einführung in die Hadoop-Analyse
12. Einführung in Apache Pig
13. Eine Einführung in Apache-Garn
14. Eine Einführung in die Hadoop-Architektur
15. Vorteile und Vorteile von Hadoop
16. Hadoop mit Apache Cassandra verwenden
17. Hadoop vs Kubernetes: Werden K8s & Cloud Native Hadoop beenden?
18. Hadoop-Zertifizierungen
19. Hadoop-Cluster: Eine Einführung
20. Hadoop-Ökosystem und Komponenten

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.