Hadoop-Interviewfragen

Auf einen Blick: Hadoop Interview Questions bietet Einblicke in die Struktur und Abläufe von Hadoop und beantwortet häufige Fragen bezüglich seiner Funktionalität, Befehle und Vergleiche mit anderen Technologien wie Spark und Cassandra.

Hadoop ist ein schreibgeschütztes Dateisystem, keine Datenbank.
Yarn fungiert als Ressourcenmanager in Hadoop.
Apache Mahout ist die maschinelle Lernbibliothek für Hadoop.

F: Ist Hadoop eine Datenbank? A: Nein. Hadoop ist ein reines Dateisystem, das nur schreibbar ist. Aber es gibt auch andere Produkte wie Hive und HBase, die eine SQL-ähnliche Schnittstelle zu Hadoop bieten, um Daten in RDMB-ähnlichen Datenbankstrukturen zu speichern. F: Welche Befehle verwenden Sie, um Hadoop zu starten? A:start-dfs.sh und start-yarn.dfs F: Was macht Apache Pig? A: Es ist eine Möglichkeit, MapReduce-Jobs mit einer viel einfacheren, SQL-ähnlichen Syntax zu schreiben als Java, das sehr wortreich ist. F: Wie kopiert man eine lokale Datei ins HDFS? A: hadoop fs -put Dateiname /(Hadoop-Verzeichnis) F: Wie heißt die Hadoop-Maschinenlernbibliothek ? A: Apache Mahout. F: Worin unterscheidet sich Spark von Hadoop? A: Spark speichert Daten im Speicher und führt daher MapReduce-Operationen viel schneller aus als Hadoop, das diese auf Festplatte speichert. Außerdem gibt es Kommandozeilenschnittstellen in Scala, Python und R. Und es enthält eine maschinelle Lernbibliothek, Spark ML, die vom Spark-Projekt entwickelt wird und nicht separat wie Mahout. F: Map ist MapReduce? A: Map nimmt eine Eingabedatei und reduziert sie auf (Key->Value) Paare oder Tupel (a,b,c,d) oder andere iterable Strukturen. Reduce nimmt dann benachbarte Elemente und iteriert darüber, um ein endgültiges Ergebnis zu liefern. F: Was bedeutet Safemode in Hadoop? A: Es bedeutet, dass die Datenknoten noch nicht bereit sind, Daten zu empfangen. Dies tritt normalerweise beim Start auf. F: Wie befreit man Hadoop aus dem abgesicherten Modus? A: hdfs dfsadmin -abgesicherte Modus verlassen F: Was ist der Unterschied zwischen einem Namenode und einem Datanode? A: Hadoop ist ein Master-Slave-Modell. Der Namenode ist der Master. Die Slaves sind die Datanodes. Der Namenode teilt MapReduce-Jobs auf und übergibt jedes Teil an verschiedene Datanodes. Datanodes sind dafür verantwortlich, Daten auf die Festplatte zu schreiben. F: Welche Rolle spielt Yarn in Hadoop? A: Es ist ein Ressourcenmanager. Es führt den Überblick über verfügbare Ressourcen (Speicher, CPU, Speicher) im gesamten Cluster (also die Maschinen, auf denen Hadoop läuft). Dann fragt jede Anwendung (z. B. Hadoop) den Ressourcenmanager, welche Ressourcen verfügbar sind, und verteilt diese entsprechend. Dafür werden zwei Daemons ausgeführt: Scheduler und ApplicationsManager. F: Wie fügt man einen Datanode hinzu? A: Man kopiert den gesamten Hadoop-Ordner $HADOOP_HOME auf einen Server. Dann richtet man ssh-Schlüssel ein, sodass der Hadoop-Benutzer auf diesen Server sshen kann, ohne ein Passwort eingeben zu müssen. Dann fügt man den Namen dieses Servers zu $HADOOP_HOME/etc/hadoop/slaves hinzu. Man führt hadoop-daemon.sh --config $HADOOP_CONF_DIR --script hdfs start-Datanode auf dem neuen Datenknoten aus. F: Wie sehen Sie, welche Hadoop-Dienste laufen? Nennen Sie sie. A: Führen Sie JPS aus. Sie sollten: DataNode auf den Datanodes und NameNode, SecondaryNameNode und ResourceManager auf den NameNodes sowie (optional) den JobHistoryServer sehen. F: Wie startet man den Hadoop Job History Server? A:$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh --config $HADOOP_HOME/etc/hadoop start historyserver F: Was ist lineare Regression? A: Dies ist eine Technik, um eine Funktion zu finden, die am ehesten einer Datenmenge entspricht. Wenn Sie zum Beispiel einen unabhängigen Wert x und eine abhängige Variable y haben, berechnet die lineare Regression y = mx + b, wobei m die Steigung und b der x-Intercept ist. Dies wird in prädiktiven Datenmodellen verwendet. Dies wird verwendet, um eine Korrelation zwischen Variablen zu finden, zum Beispiel ob das Lernen von mehr (x) die Noten der Studierenden erhöht (y). F: Was meinst du, bedeutet "Bring das Rechnen zu den Daten statt die Daten zur Rechenleistung" zu bringen? A: Das ist die ganze Idee hinter Hadoop. Es bedeutet, die Rechenleistung von Standard-virtuellen Maschinen zu nutzen, um Datensätze zu verarbeiten, anstatt einen zentralen, leistungsstarken Computer zu haben, der an einem Ort verarbeitet. Dieses Modell ermöglicht es Hadoop außerdem, mit Datensätzen nahezu unbegrenzter Größe zu arbeiten. F: Was ist Apache Cassandra? A: Dies ist eine noSQL-kolumnenorientierte Datenbank, die in einer Ringtopologie arbeitet. Das bedeutet, sie hat keinen zentralen Steuerungsserver. Sie sieht aus wie eine normale Zeilen-und-Spalten-RDBMS-Datenbank wie MySQL, da sie eine SQL-ähnliche Syntax unterstützt. Aber sie gruppiert Daten nach Spalten für schnellen Abruf und Schreibvorgänge, nicht Zeilen. Und wenn sie ein Element schreibt, schreibt sie jeweils eine Zeilen-Spalten-Kombination. Das bedeutet, dass es im Gegensatz zu RDBMS Zeilen geben kann, die bestimmte Spalten weglassen. F: Was sind die wichtigsten Hadoop-Konfigurationsdateien? A: hdfs-site und core-site.xml F: Wie funktioniert Hadoop-Replikation? Was bedeutet rack-bewusst? A: Die Datenknoten schreiben Daten in Datenblöcken, genau wie ein normales Festplattenlaufwerk. Es schreibt je nach Replikationsfaktor eine Kopie von jedem Block an andere Datenknoten. Zu sagen, dass Datenknoten rack-bewusst sind, bedeutet, dass nicht alle Replikate im Rechenzentrum auf demselben Rack geschrieben werden, wo ein Stromausfall oder anderer Ausfall zum Verlust der Daten und der Sicherung führen würde. F: Welche Hadoop-CLI-Optionen gibt es? A: Die vollständige Liste ist: appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp createSnapshot deleteSnapshot df du dus expunge find get getfacl getfattr getmerge help ls lsr mkdir moveFromLocal moveToLocal mv put renameSnapshot rm rmdir setfacl setfattr setrep stat tail test text touchz truncate usage Q: Welche Dateitypen kann Hadoop zur Speicherung seiner Daten verwenden? A: Avro, Parquet, Sequenzdateien und Klartext Q: Was ist ein NameSpace? A: Er ist eine Abstraktion eines Verzeichnisses und einer Datei im gesamten Cluster. Mit anderen Worten: /directory/file ist ein Namespace, der eine Datei in einem bestimmten Verzeichnis darstellt. Aber er ist nicht lokal. Er befindet sich auf dem Hadoop-Cluster, das heißt, er wird über die Datenknoten verteilt. F: Wofür verwendet Apache Hive einen SQL-Server wie Derby oder MySQL? A: Es speichert das Schema dort, während es die Daten in Hadoop speichert. F: Wie kann man ein externes Programm von Hive aufrufen, wie zum Beispiel ein Python-Programm: A: Verwenden Sie TRANSFORM wie SELECT TRANSFORM (Felder) MIT 'python programName.py' als (Felder) AUS der Tabelle; F: Was ist Apache Flume? A: Es ist eine Möglichkeit, Streaming-Daten in Hadoop zu schreiben. F: Was ist Hadoop High Availability? A: Das bedeutet, einen zweiten Namenode so zu konfigurieren, dass er als Hot-Standby funktioniert, falls der primäre Namenode abstürzt. F: Was macht der Fsck-Befehl? A: Es prüft auf fehlerhafte Blöcke (also beschädigte Dateien) und Probleme bei der Replikation. F: Welche Art von Sicherheit hat Hadoop? Wie kann man Authentifizierung hinzufügen? A: Hadoop hat standardmäßig nur Dateiberechtigungssicherheit wie ein normales UNIX-Dateisystem. Dafür ändert man die Berechtigungen mit chown und chmod sowie dem regulären Linx- oder LDAP-Konto. Wenn man jedoch eine höhere Authentifizierungsstufe möchte, aktiviert man Kerberos, das Authentifizierungssystem, das von Windows verwendet und optional auch von Linux verwendet wird. Dann müssten die Datenknoten authentifizieren, um sich mit anderen Knoten zu verbinden.

Hadoop-Leitfaden

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.

Workflow-Orchestrierung

Mainframe-Vereinfachung

Beliebte Reiseziele

Hadoop-Interviewfragen