BAT 等一線大廠 Elasticsearch 面試題解讀

摘要： 題記 git上發現了網友總結的Elasticsearch BAT大廠面試題。只有題目，部分有答案，但不全。 正好抽出一些時間一起梳理一下。 既然是面試題，每個人都會有自己的結合業務場景的答案，沒有非常標準的答案。歡迎大家留言拍磚指正。 1、elasticsearch瞭...

題記

git上發現了網友總結的Elasticsearch BAT大廠面試題。只有題目，部分有答案，但不全。 正好抽出一些時間一起梳理一下。

既然是面試題，每個人都會有自己的結合業務場景的答案，沒有非常標準的答案。
歡迎大家留言拍磚指正。

1、elasticsearch瞭解多少，說說你們公司es的叢集架構，索引資料大小，分片有多少，以及一些調優手段 。

僅索引層面調優手段：

1.1、設計階段調優

• 1）根據業務增量需求，採取基於日期模板建立索引，通過roll over API滾動索引；

• 2）使用別名進行索引管理；

• 3）每天凌晨定時對索引做force_merge操作，以釋放空間；

• 4）採取冷熱分離機制，熱資料儲存到SSD，提高檢索效率；冷資料定期進行shrink操作，以縮減儲存；

• 5）採取curator進行索引的生命週期管理；

• 6）僅針對需要分詞的欄位，合理的設定分詞器；

• 7）Mapping階段充分結合各個欄位的屬性，是否需要檢索、是否需要儲存等。 ……..

1.2、寫入調優

• 1）寫入前副本數設定為0；

• 2）寫入前關閉refresh_interval設定為-1，禁用重新整理機制；

• 3）寫入過程中：採取bulk批量寫入；

• 4）寫入後恢復副本數和重新整理間隔；

• 5）儘量使用自動生成的id。

1.3、查詢調優

• 1）禁用wildcard；

• 2）禁用批量terms（成百上千的場景）；

• 3）充分利用倒排索引機制，能keyword型別儘量keyword；

• 4）資料量大時候，可以先基於時間敲定索引再檢索；

• 5）設定合理的路由機制。

1.4、其他調優

部署調優，業務調優等。

上面的提及一部分，面試者就基本對你之前的實踐或者運維經驗有所評估了。

2、elasticsearch的倒排索引是什麼

學術的解答方式：

倒排索引，相反於一篇文章包含了哪些詞，它從詞出發，記載了這個詞在哪些文件中出現過，由兩部分組成——詞典和倒排表。

• 1）空間佔用小。通過對詞典中單詞字首和字尾的重複利用，壓縮了儲存空間；

• 2）查詢速度快。O(len(str))的查詢時間複雜度。

3、elasticsearch 索引資料多了怎麼辦，如何調優，部署

3.1 動態索引層面

基於 模板+時間+rollover api滾動 建立索引，舉例：設計階段定義：blog索引的模板格式為：blog_index_時間戳的形式，每天遞增資料。

這樣做的好處：不至於資料量激增導致單個索引資料量非常大，接近於上線2的32次冪-1，索引儲存達到了TB+甚至更大。

一旦單個索引很大，儲存等各種風險也隨之而來，所以要提前考慮+及早避免。

3.2 儲存層面

3.3 部署層面

4、elasticsearch是如何實現master選舉的

• 1）只有候選主節點（master：true）的節點才能成為主節點。

• 2）最小主節點數（min_master_nodes）的目的是防止腦裂。

這個我看了各種網上分析的版本和原始碼分析的書籍，雲裡霧裡。
核對了一下程式碼，核心入口為findMaster，選擇主節點成功返回對應Master，否則返回null。選舉流程大致描述如下：

• 第一步：確認候選主節點數達標，elasticsearch.yml設定的值discovery.zen.minimum_master_nodes；

• 第二步：比較：先判定是否具備master資格，具備候選主節點資格的優先返回；若兩節點都為候選主節點，則id小的值會主節點。注意這裡的id為string型別。

題外話：獲取節點id的方法。

1GET /_cat/nodes?v&h=ip,port,heapPercent,heapMax,id,name 2ip        port heapPercent heapMax id   name 3127.0.0.1 9300          39   1.9gb Hk9w Hk9wFwU 

5、詳細描述一下Elasticsearch索引文件的過程

記住官方文件中的這個圖。

第一步：客戶寫叢集某節點寫入資料，傳送請求。（如果沒有指定路由/協調節點，請求的節點扮演 路由節點 的角色。）

第二步：節點1接受到請求後，使用文件_id來確定文件屬於分片0。請求會被轉到另外的節點，假定節點3。因此分片0的主分片分配到節點3上。

第三步：節點3在主分片上執行寫操作，如果成功，則將請求並行轉發到節點1和節點2的副本分片上，等待結果返回。所有的副本分片都報告成功，節點3將向協調節點（節點1）報告成功，節點1向請求客戶端報告寫入成功。

如果面試官再問：第二步中的文件獲取分片的過程？
回答：藉助路由演算法獲取，路由演算法就是根據路由和文件id計算目標的分片id的過程。

1shard = hash(_routing) % (num_of_primary_shards) 

6、詳細描述一下Elasticsearch搜尋的過程？

• 1）假設一個索引資料有5主+1副本 共10分片，一次請求會命中（主或者副本分片中）的一個。

• 2）每個分片在本地進行查詢，結果返回到本地有序的優先佇列中。

• 3）第2）步驟的結果傳送到協調節點，協調節點產生一個全域性的排序列表。

fetch階段的目的：取資料。
路由節點獲取所有文件，返回給客戶端。

7、Elasticsearch在部署時，對Linux的設定有哪些優化方法

• 1）關閉快取swap;

• 2）堆記憶體設定為：Min（節點記憶體/2, 32GB）;

• 3)設定最大檔案控制代碼數；

• 4）執行緒池+佇列大小根據業務需要做調整；

• 5）磁碟儲存raid方式——儲存有條件使用RAID10，增加單節點效能以及避免單節點儲存故障。

8、lucence內部結構是什麼？

Lucene是有索引和搜尋的兩個過程，包含索引建立，索引，搜尋三個要點。可以基於這個脈絡展開一些。

小結

參考： 請閱讀原文檢視。