如何在 Elasticsearch 的索引设计阶段进行调优？

回答重点

在 Elasticsearch 的索引设计阶段进行调优，可以从以下几个方面入手：

1）分片和副本数量：合理设置主分片和副本分片的数量，确保集群负载均衡，提高数据的可用性和查询性能。
2）映射和类型：定义合理的映射（Mapping），避免使用动态映射模式，确保字段类型定义明确，减少索引开销。
3）分词和分析器：选择合适的分词器（Tokenizer）和分析器（Analyzer），避免过度分词，提高搜索精度和效率。
4）字段存储和压缩：根据查询需求，决定哪些字段需要存储（Stored Fields），并使用合适的压缩算法（如 LZ4）来减少磁盘空间的占用。
5）索引周期和滚动索引：对于时间序列数据，使用滚动索引策略，定期创建新索引并将旧数据归档，保持索引体积在可控范围内。
6）模板和别名：使用索引模板（Index Template）和别名（Alias）管理索引的生命周期和访问控制，提高管理效率。

扩展知识

1）分片和副本数量：

• 主分片（Primary Shards）决定了索引的横向扩展能力，每个分片可以分布在不同的节点上。
• 副本分片（Replica Shards）提供数据冗余，提高查询吞吐量和数据的高可用性。通常建议至少设置一个副本分片。
• 在设置分片数量时，要考虑数据规模和集群的硬件配置，过多的分片可能会导致管理开销增加。

2）映射和类型：

• 映射是 Elasticsearch 中定义数据结构的方式，每个字段都需要明确的类型，如文本、数字、日期等。
• 避免使用动态映射，因为它会在初次插入数据时自动检测并设置字段类型，可能会导致类型不准确，增加索引负担。
• 使用 “nested” 类型和 “object” 类型处理复杂的文档结构，保证数据的一致性和查询的高效性。

3）分词和分析器：

• 分词器将文本字段分解为多个词项，分析器则可以对词项进行各种处理，如小写化、去除停用词等。
• 根据搜索需求，选择适合的分词器和分析器。比如，对于中文文本，可以使用 ik 分词器，能够更好地处理汉字分词。
• 自定义分析器，通过组合不同的分词器、字符过滤器和词项过滤器，满足特定业务需求。

4）字段存储和压缩：

• 使用 _source 字段存储原始文档，便于数据的还原和检索。
• 指定需要存储的字段，以便返回结果时可以直接从索引中获取，而不是从 _source 中提取。
• 对于占用空间较大的字段，可以使用合适的压缩算法，如 LZ4，来减小磁盘存储成本。

5）索引周期和滚动索引：

• 针对日志、监控等时间序列数据，采用基于时间的索引命名（如每日索引、每月索引），可以便于管理和归档。
• 使用 Index Lifecycle Management（ILM）策略，自动执行索引的创建、切换、归档和删除操作。

6）模板和别名：

• 索引模板允许提前定义索引的设置、映射和别名。模板在新索引创建时会自动应用，确保索引一致性。
• 使用别名为索引创建一个或多个替代名字，方便索引管理和数据访问。不用改动应用程序代码即可更新索引指向。