ElasticSearch Tutorial für Anfänger: ElasticSearch Grundlagen

ElasticSearch (ES) ist eine noSQL-JSON-Datenbank (nicht nur SQL JavaScript Object Notation). Ihre Hauptanwendung ist die Speicherung von Logs von Anwendungen, Netzwerkgeräten, Betriebssystemen usw.  Aber sie eignet sich für die Speicherung jeglicher Art von JSON-Dokumenten.  Sie könnten sie also anstelle von beispielsweise MongoDB verwenden.  Dennoch hat MongoDB eine native Unterstützung für JavaScript, wie wir hier erklärt haben, was Sie nützlich finden werden.  ES verfügt jedoch nicht über eine solche REPL-Kommandozeile (read-eval-print loop), außer Curator, das für Admin-Funktionen verwendet werden kann.

Was in diesem Leitfaden enthalten ist

In diesem Leitfaden behandeln wir die wichtigsten ElasticSearch-Themen.

Dazu gehören:

• Wie man einen ElasticSearch-Cluster einrichtet, der sowohl die Versionen 6.x als auch 7.x anzeigt, da Version 7 sich wesentlich unterscheidet.
• Wie man Kibana verwendet (also das ES-Dashboard)
• Die Lucent-Abfragesprache
• Wie unterscheiden sich JSON-Datenbanken von traditionellen SQL-Datenbanken wie Oracle
• Verwendung von Apache PIG mit ES
• Verwendung von Apache Spark und Apache Spark Machine Learning mit ES
• ElasticSearch-Indizes
• Verwendung von Filebeat und Logstash, um Webserver-, Router- sowie benutzerdefinierte und handelsübliche Anwendungsprotokolle zu analysieren.
• Verschachtelte Dokumente innerhalb von Dokumenten
• Systemadministration
• Hinzufügen von Clustern und Re-Indexierung von Dokumenten

JSON-Dokumente und noSQL

Zuerst ist es notwendig zu verstehen, was eine JSON-Datenbank ist und tut. Traditionell speichern Datenbanken Datensätze in Tabellen in Spalten.  Das nennt man eine relationale Datenbank (RDBMS).  Das bekannteste Beispiel dafür ist Oracle, das in den 1970er Jahren aus einem von IBM verfassten Artikel erfunden wurde, einem Produkt, das Larry Ellison zu einem ziemlich reichen Mann gemacht hat und ihm viele Jahre lang ein Monopol verschaffte.  (Es gibt Open-Source-Alternativen wie MySQL. Aber was machen Monopole?  Sie kaufen die Konkurrenz auf.  Oracle hat MySQL gekauft.)

Die in einem RDBMS gespeicherten Daten werden in einer Join-Operation zusammengefügt und in den meisten Fällen normalisiert.  Als Beispiel hierfür betrachten Sie ein Lagersystem.  Sie haben Produkte und dann eine Tabelle mit Lagerbeständen (Verkauf, Lager, Verlust usw.).  Sie würden diese wahrscheinlich in zwei separaten Tabellen speichern, wie diese:

LogStash

Die gemeinsamen Elemente, auf denen man die beiden verbindet, sind die UPC/EAN-Nummern (Universal Product Code und European Article Number). Das sind die im Supermarkt gescannten Barcodes. Das Produkt führt die Inventarzählung. Die Lagerhaltungstabelle speichert Verkauf, Erhalt, Verlust und andere Transaktionen.

JSON-Datenbanken unterstützen keine Join-Operationen oder fördern sie eher, obwohl diese Operation erzwungen werden kann. Warum? Weil das Kombinieren zweier Tabellen eine kostspielige Operation ist, da sie alle Datensätze einer Tabelle scannen muss, um Übereinstimmungsdatensätze in einer anderen zu finden. Natürlich kann diese Operation mit Indizes beschleunigt werden.

Anstatt Joins durchzuführen, bettet die JSON-Datenbank Dokumente ineinander ein, wie unten gezeigt, wobei die Transaktionen im Produktdokument liegen.

Es wäre wenig hilfreich, Logs im nativen Format in ElasticSearch zu dumpen, da man sie nicht standardmäßig abfragen könnte.

Wenn man zum Beispiel einen Webserver betreibt und die Logs direkt in ElasticSearch überträgt, wären sie nicht leicht lesbar, da sie nicht in einzelne Felder geparst werden.  Was ElasticSearch macht (mit Logstash oder Filebeat oder beiden), ist, jede Zeile in JSON-Format zu parsen.  Zum Beispiel sieht ein nginx-Webserver-Log so aus:

Das wandelst du mit den ElasticSearch-Tools Logstash, Grok und Filebeat in JSON um.

Die Curl-Schnittstelle

Wenn Sie mit einer JSON-Datenbank arbeiten, ist es wichtig, deren APIs (Application Programming Interface) zu kennen. Da sie APIs verwendet, können Sie mit jeder beliebigen Programmiersprache kommunizieren. Und da es auch SDKs (Software Developer Kit) gibt, können Sie mit bestimmten Programmiersprachen kommunizieren. Der Unterschied ist, dass APIs über HTTP und HTTPS funktionieren, was bedeutet, dass keine direkte Verbindung zum System über einen Port erforderlich ist, der vielleicht nicht offen ist. Außerdem sind APIs auf die Operationen GET, PUT, POST und DELETE beschränkt.

Zum Beispiel können Sie Indizes wie folgt auflisten:

Und du kannst ES so schreiben:

Und dann diese Abfrage mit:

Und all das kannst du auch mit der Kibana-Grafikoberfläche machen.

Hinweis: Von dem letzten Beispiel würden Puristen sagen, dass es nicht logisch ist, da die GET-Operation keine Körper- (also -d-)Parameter annimmt. ElasticSearch sagt jedoch, dass sie dies tut, da die RFC-Spezifikation für Weboperationen dies so angibt.

Also, schnall dich an, während wir dich durch ElasticSearch führen. Es wird eine wilde Fahrt.

ElasticSearch-Leitfaden

1. ElasticSearch Tutorial für Anfänger: ElasticSearch Grundlagen
2. Verwendung von Apache Hive mit ElasticSearch
3. Verwendung von ElasticSearch mit Apache Spark
4. Curl ElasticSearch Befehle Spickzettel
5. Spark ElasticSearch Hadoop-Update und Upsert Beispiel und Erklärung
6. Wie man Apache Spark-Daten mit Python in ElasticSearch schreibt
7. ElasticSearch-Suchsyntax sowie boolesche und Aggregationssuchen
8. ElasticSearch verschachtelte Abfragen: Wie man nach eingebetteten Dokumenten sucht
9. ElasticSearch Joins: Has_Child, Has_parent Abfrage
10. Wie man einen elastischen Cluster der Version 7 einrichtet
11. Wie man Filebeat für nginx und ElasticSearch konfiguriert
12. Beats und Logstash verwenden, um Logs an ElasticSearch zu senden
13. Wie man eine CSV-Datei mit Logstash in ElasticSearch lädt
14. ElasticSearch-Aggregationen erklärt
15. Was ist der ELK-Stack?
16. Logstash 101: Verwendung von Logstash in einer Datenverarbeitungspipeline
17. Verwendung von Kibana zur Ausführung von Abfragen in ElasticSearch mit Lucene und Kibana Query Language
18. ElasticSearch Maschinelles Lernen
19. Wie man Elastic Enterprise Search installiert
20. Wie man Elastic Enterprise Search mit GitHub verwendet

Diese Beiträge sind meine eigenen und spiegeln nicht unbedingt die Position, Strategien oder Meinung von BMC wider.