概覽

來自 https://www.cnblogs.com/cjsblog/p/9439331.html，膜拜大佬

Elasticsearch 是一個分布式的 RESTful 風(fēng)格的搜索和數(shù)據(jù)分析引擎。

查詢 ： Elasticsearch 允許執(zhí)行和合并多種類型的搜索 — 結(jié)構(gòu)化、非結(jié)構(gòu)化、地理位置、度量指標(biāo) — 搜索方式隨心而變。 分析 ： 找到與查詢最匹配的十個文檔是一回事。但是如果面對的是十億行日志，又該如何解讀呢？Elasticsearch 聚合讓您能夠從大處著眼，探索數(shù)據(jù)的趨勢和模式。 速度 ： Elasticsearch 很快。真的，真的很快。 可擴(kuò)展性 ： 可以在筆記本電腦上運(yùn)行。 也可以在承載了 PB 級數(shù)據(jù)的成百上千臺服務(wù)器上運(yùn)行。 彈性 ： Elasticsearch 運(yùn)行在一個分布式的環(huán)境中，從設(shè)計(jì)之初就考慮到了這一點(diǎn)。 靈活性 ： 具備多個案例場景。數(shù)字、文本、地理位置、結(jié)構(gòu)化、非結(jié)構(gòu)化。所有的數(shù)據(jù)類型都?xì)g迎。 HADOOP & SPARK ： Elasticsearch + Hadoop Near Realtime (NRT)

Elasticsearch是一個近乎實(shí)時的搜索平臺。這意味著從索引文檔到可以搜索的時間只有輕微的延遲（通常是1秒）。

集群是一個或多個節(jié)點(diǎn)(服務(wù)器)的集合，它們共同保存你的整個數(shù)據(jù)，并提供跨所有節(jié)點(diǎn)的聯(lián)合索引和搜索功能。一個集群由一個唯一的名稱標(biāo)識，默認(rèn)這個唯一標(biāo)識的名稱是"elasticsearch"。這個名稱很重要，因?yàn)槿绻?jié)點(diǎn)被設(shè)置為按其名稱加入集群，那么節(jié)點(diǎn)只能是集群的一部分。

確保不要在不同的環(huán)境中用相同的集群名稱，否則可能導(dǎo)致節(jié)點(diǎn)加入到錯誤的集群中。例如，你可以使用"logging-dev", "logging-test", "logging-prod"分別用于開發(fā)、測試和正式集群的名字。

節(jié)點(diǎn)是一個單獨(dú)的服務(wù)器，它是集群的一部分，存儲數(shù)據(jù)，并參與集群的索引和搜索功能。就像集群一樣，節(jié)點(diǎn)由一個名稱來標(biāo)識，默認(rèn)情況下，該名稱是在啟動時分配給節(jié)點(diǎn)的隨機(jī)通用唯一標(biāo)識符(UUID)。如果不想用默認(rèn)的節(jié)點(diǎn)名，可以定義任何想要的節(jié)點(diǎn)名。這個名稱對于管理來說很重要，因?yàn)槟阆ＭR別網(wǎng)絡(luò)中的哪些服務(wù)器對應(yīng)于你的Elasticsearch集群中的哪些節(jié)點(diǎn)。

一個節(jié)點(diǎn)可以通過配置集群名稱來加入到一個特定的集群中。默認(rèn)情況下，每個節(jié)點(diǎn)都被設(shè)置加入到一個名字叫"elasticsearch"的集群中，這就意味著如果你啟動了很多個節(jié)點(diǎn)，并且假設(shè)它們彼此可以互相發(fā)現(xiàn)，那么它們將自動形成并加入到一個名為"elasticsearch"的集群中。

一個集群可以有任意數(shù)量的節(jié)點(diǎn)。此外，如果在你的網(wǎng)絡(luò)上當(dāng)前沒有運(yùn)行任何節(jié)點(diǎn)，那么此時啟動一個節(jié)點(diǎn)將默認(rèn)形成一個單節(jié)點(diǎn)的名字叫"elasticsearch"的集群。

索引是具有某種相似特征的文檔的集合。例如，你可以有一個顧客數(shù)據(jù)索引，產(chǎn)品目錄索引和訂單數(shù)據(jù)索引。索引有一個名稱（必須是小寫的）標(biāo)識，該名稱用于在對其中的文檔執(zhí)行索引、搜索、更新和刪除操作時引用索引。

文檔是可以被索引的基本信息單元。文檔用JSON表示。

一個索引可能存儲大量數(shù)據(jù)，這些數(shù)據(jù)可以超過單個節(jié)點(diǎn)的硬件限制。例如，一個包含10億條文檔占用1TB磁盤空間的索引可能不適合在單個節(jié)點(diǎn)上，或者可能太慢而不能單獨(dú)處理來自單個節(jié)點(diǎn)的搜索請求。

為了解決這個問題，Elasticsearch提供了將你的索引細(xì)分為多個碎片（或者叫分片）的能力。在創(chuàng)建索引時，可以簡單地定義所需的分片數(shù)量。每個分片本身就是一個功能完全獨(dú)立的“索引”，可以駐留在集群中的任何節(jié)點(diǎn)上。

分片之所以重要，主要有兩個原因：

它允許你水平地分割/擴(kuò)展內(nèi)容卷 它允許你跨分片（可能在多個節(jié)點(diǎn)上）分布和并行操作，從而提高性能和吞吐量

在一個網(wǎng)絡(luò)/云環(huán)境中隨時都有可能出現(xiàn)故障，強(qiáng)烈推薦你有一個容災(zāi)機(jī)制。Elasticsearch允許你將一個或者多個索引分片復(fù)制到其它地方，這被稱之為副本。

復(fù)制之所以重要，有兩個主要原因：

它提供了在一個shard/node失敗是的高可用性。出于這個原因，很重要的一個點(diǎn)是一個副本從來不會被分配到與它復(fù)制的原始分片相同節(jié)點(diǎn)上。也就是說，副本是放到另外的節(jié)點(diǎn)上的。 它允許擴(kuò)展搜索量/吞吐量，因?yàn)樗阉骺梢栽谒懈北旧喜⑿袌?zhí)行。

總而言之，每個索引都可以分割成多個分片。索引也可以被復(fù)制零(意味著沒有副本)或更多次。一旦被復(fù)制，每個索引都將具有主分片(被復(fù)制的原始分片)和副本分片(主分片的副本)。在創(chuàng)建索引時，可以為每個索引定義分片和副本的數(shù)量。創(chuàng)建索引后，您可以隨時動態(tài)地更改副本的數(shù)量，但不能更改事后分片的數(shù)量。

在默認(rèn)情況下，Elasticsearch中的每個索引都分配了5個主分片和1個副本，這意味著如果集群中至少有兩個節(jié)點(diǎn)，那么索引將有5個主分片和另外5個副本分片（PS：這5個副本分片組成1個完整副本），每個索引總共有10個分片。

副本是針對索引而言的，同時需要注意索引和節(jié)點(diǎn)數(shù)量沒有關(guān)系，我們說2個副本指的是索引被復(fù)制了2次，而1個索引可能由5個分片組成，那么在這種情況下，集群中的分片數(shù)應(yīng)該是 5 × (1 + 2) = 15

API

curl -X GET "localhost:9200/_cat/health?v"

epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent 1582537048 04:37:28 logminer green 2 2 54 27 0 0 0 0 - 100.0% 集群的節(jié)點(diǎn)列表

curl -X GET "localhost:9200/_cat/nodes?v"

ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name 192.168.1.221 15 65 1 0.04 0.04 0.05 mdi - red-hat-enterprise-linux.shared 192.168.1.222 20 84 1 0.01 0.03 0.05 mdi * elk-master-2 查看全部索引

curl -X GET "localhost:9200/_cat/indices?v"

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open syslog wvr4sS9BQRGFVT75IlVpEQ 5 1 147 0 361.9kb 198.4kb green open logstash-2020.02.24 gaenUhbzRnSG_X7efeDiOA 5 1 37 0 156.4kb 78.2kb green open filebeat-6.2.4-2020.02.24 6ZRK7An5QruVhw6DKEeRtA 3 1 5 0 24.7kb 12.3kb green open .kibana uIQdfO7kRXia5LDq72tEWw 1 1 5 0 76.5kb 38.2kb green open appache-log PjiviNm5SjS4bceH1ccUqg 5 1 117 0 390.8kb 195.4kb green open filebeat-6.2.4-2020.02.22 Lj9T_parQNCnj1oKXOuPcw 3 1 522 0 253.2kb 126.6kb green open logstash-2020.02.22 NOxEYxSRQM6n3wN4gG0dtQ 5 1 37088 0 7.9mb 3.9mb

網(wǎng)址: elasticsearch http://m.u1s5d6.cn/newsview123648.html