什么是全文检索？Elasticsearch 的全文检索是如何实现的？

回答重点

全文检索（Full-Text Search）指的是对文本数据进行索引，以便快速、高效地通过自然语言查询找到相关文档的技术。它不仅关注单词的完全匹配，还试图理解和处理语言的复杂性，如同义词、词形变化等。

Elasticsearch 的全文检索通过以下步骤实现：

1）文档存储：Elasticsearch 将数据存储为文档（JSON格式）。

2）索引创建：文档中的文本数据会被分词器（Analyzer）分成一个个的词项（Token），这些词项被存储在一个倒排索引中，以便高效地进行查询。

3）查询阶段：用户输入查询字符串，Elasticsearch 会对其进行相同的分词处理，将这些词项与倒排索引进行匹配。

4）结果排序：根据相关性评分（Relevance Score）对匹配结果进行排序，高相关性的文档会排在前面。

扩展知识

1）分词器（Analyzer）：

• 分词器负责将文本数据拆分成词项。
• 分词器由三个部分组成：字符过滤器（Character Filters）、分词器（Tokenizers）、和词项过滤器（Token Filters）。
• 它不仅进行简单的拆词，还可以处理大小写归一化、同义词扩展、停用词过滤等。

2）倒排索引（Inverted Index）：

• 这是全文检索的核心结构。
• 它将所有文档中的词项与文档ID进行关联，从而使得查找特定词项变得非常高效。

3）评分机制（Scoring Mechanism）：

• Elasticsearch 使用 TF-IDF（Term Frequency-Inverse Document Frequency）和 BM25 等算法计算文档与查询的相关性评分。
• 评分机制考虑到词频、逆文档频率、字段长度等因素。

4）分布式架构：

• Elasticsearch 本质上是一个分布式搜索和分析引擎，可以横向扩展。
• 数据被分片（Shard）存储，可以在多台机器上并行处理查询，提高了处理能力和速度。

5）全文检索的应用场景：

• 电商网站的商品搜索
• 博客、新闻网站的文章搜索
• 企业内部文档检索
• 社交媒体数据分析等