Elasticsearch 中倒排索引的结构具体是怎样的？

回答重点

在Elasticsearch中，倒排索引（Inverted Index）是其核心的数据结构，用于高效地进行全文搜索。倒排索引的基本结构如下：

1）术语字典（Term Dictionary）：存储所有文本文档中出现的唯一术语（也叫词项），并按字典序进行排序。
2）术语列表（Term List）：每个唯一术语都会关联一个包含它的文档列表，项目中仍然是以文档ID为索引分布的。
3）倒排文件索引（Inverted File Index）：对于每个术语，记录了包含该术语的所有文档的列表，通常可以包括位置信息、频率信息等，用于在文档中查找定位。

举个例子，假设有以下三个文档：

• Doc1: “Elasticsearch is a search engine”
• Doc2: “Elasticsearch uses an inverted index”
• Doc3: “An inverted index is used in search engines”

倒排索引会从这些文档提取术语并建立如下结构：
术语：{ “An”, “Elasticsearch”, “a”, “engine”, “engines”, “in”, “index”, “inverted”, “is”, “search”, “used”, “uses” }
倒排文件索引：

• “An” -> Doc3
• “Elasticsearch” -> Doc1, Doc2
• “a” -> Doc1
• “engine” -> Doc1
• “engines” -> Doc3
• …

扩展知识

1）术语位置和频率：倒排索引不仅仅只记录术语对应的文档ID，还记录了术语在每个文档中出现的位置和频率。这些信息在排序、聚合和高效的快速查询中都非常重要。例如，Elasticsearch能够快速高效地计算出某个术语在特定段落或者文档中的出现次数及其相对位置。

2）分片和副本：Elasticsearch依赖倒排索引来快速检索分片中的数据。集群中的每个索引会分成多个主分片（Primary Shards）和副本分片（Replica Shards），分片中的每一个都会维护自己的倒排索引。

3）压缩技术：由于倒排索引可能会消耗大量存储空间，Elasticsearch应用了多种压缩技术来减少索引数据的存储需求，如字典编码、前缀压缩和格里布编码。这些技术可以极大地压缩索引文件的体积，提高检索速度和效率。

4）Lucene库：在Elasticsearch的底层实现中，实际上是使用了Apache Lucene库。Lucene提供了创建和管理倒排索引的所有基础设施，因此它是Elasticsearch高效搜索能力的根基。