内容简介：再在创建索引之前，会对文档中的字符串进行分词。ES中字符串有两种类型，keyword和text。不同的分词器对相同字符串分词的结果大有不同，选择不同的分词器对索引的创建有很大的影响
前言
再 Elasticsearch创建索引流程 一文中，介绍了ES创建索引的流程。再流程中是调用Lucene的接口来创建索引的。本篇文章主要介绍ES中的索引——倒排索引
分词
在创建索引之前，会对文档中的字符串进行分词。ES中字符串有两种类型，keyword和text。
- keyword类型的字符串不会被分词，搜索时全匹配查询
- text类型的字符串会被分词，搜索时是包含查询
不同的分词器对相同字符串分词的结果大有不同，选择不同的分词器对索引的创建有很大的影响
如拆分“中华人民共和国国歌”
-
ik_max_word分词器: 最细粒度拆分，分词结果如下：
- 中华人民共和国
- 中华人民
- 中华
- 华人
- 人民共和国
- 人民
- 人
- 民
- 共和国
- 共和
- 和
- 国国
- 国歌
-
ik_smart分词器: 最粗粒度的拆分，分词结果如下：
- 中华人民共和国
- 国歌
可见，再ES中创建索引，选择合适的分词器是很重要的。
单词-文档矩阵
| - | 单词1 | 单词2 | 单词3 | 单词4 |
|---|---|---|---|---|
| 文档1 | √ | √ | ||
| 文档2 | √ | |||
| 文档3 | √ | |||
| 文档4 | √ | √ |
该矩阵是表达单词和文档两者之间包含关系的概念模型。
从横向看，每行代表文档包含了哪些单词，比如文档1包含了单词1和单词3，而不包含其它单词。
从纵向看，每列代表了某个单词存在于哪些文档。比如单词1在文档1和文档4中出现过。
简单来说，索引就是实现“单词-文档矩阵”的具体数据结构，而倒排索引则是实现了这种数据结构的具体方式。
倒排索引
倒排索引由两部分构成：
- 单词词典
- 倒排列表
它的结构如下：
单词词典
单词词典的特性：
- 是文档集合中所有单词的集合
- 它是保存索引的最小单位
- 其中记录着指向倒排列表的指针
单词词典的实现：
单词词典有两种数据结构实现： B+树 和 Hash表
B+树和 Mysql 索引结构中主键索引数据结构一样，这里就不再介绍了
哈希表的key是单词的hash值，值是单词的链表，因为hash算法会有冲突的情况发生，所以这里的值是一个集合，里面保存着相同hash值得单词以及改词指向倒排列表的指针
倒排列表
倒排列表特性：
- 记录出现过某个单词的文档列表
- 同时还记录单词在所有文档中的出现次数和偏移位置
倒排列表元素数据结构：$$(DocID;TF;<POS>)$$
其中：
- DocID：出现某单词的文档ID
- TF(Term Frequency)：单词在该文档中出现的次数
- POS：单词在文档中的位置
举例
有下面单个文档
| - | 内容 |
|---|---|
| 文档1 | 百度的年度目标 |
| 文档2 | AI技术生态部的年度目标 |
| 文档3 | AI市场的年度目标 |
则他们生成的倒排索引
| 单词ID | 单词 | 逆向文档频率 | 倒排列表(DocID;TF;<POS>) |
|---|---|---|---|
| 1 | 目标 | 3 | (1;1;<3>),(2;1;<5>),(3;1;<4>) |
| 2 | 年度 | 3 | (1;1;<2>),(2;1;<4>),(3;1;<3>) |
| 3 | AI | 2 | (2;1;<1>),(3;1;<1>) |
| 4 | 技术 | 1 | (2;1;<2>) |
| 5 | 生态 | 1 | (2;1;<3>) |
| 6 | 市场 | 1 | (3;1;<2>) |
比如单词“年度”，单词ID为2，在三个文档中出现过，所以逆向文档频率为3，同时倒排索引中的元素也有三个： (1;1;<2>),(2;1;<4>),(3;1;<3>) 。拿第一个元素 (1;1;<2>) 进行说明，他表示“年度”再文档ID为1的文档中出现过1次，出现的位置是第二个单词
倒排索引的搜索过程
直到了倒排索引的内部结构之后，就能很好理解倒排索引的搜索过程了，其内部搜索过程如下图所示：
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- Lucene 倒排索引原理
- ElasticSearch 倒排索引简析
- ElasticSearch 倒排索引简析
- Lucene之倒排索引简述(1)
- Lucene倒排索引实现原理探秘(2)
- Elasticsearch 6.x 倒排索引与分词
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Head First HTML与CSS（第2版）
Elisabeth Robson、Eric Freeman / 徐阳、丁小峰 / 中国电力出版社 / 2013-9 / 98.00元
是不是已经厌倦了那些深奥的HTML书？你可能在抱怨，只有成为专家之后才能读懂那些书。那么，找一本新修订的《Head First HTML与CSS（第2版）》吧，来真正学习HTML。你可能希望学会HTML和CSS来创建你想要的Web页面，从而能与朋友、家人、粉丝和狂热的顾客更有效地交流。你还希望使用最新的HTML5标准，能够保证随时间维护和扩展你的Web页面，使它们在所有浏览器和移动设备中都能正常工......一起来看看 《Head First HTML与CSS（第2版）》 这本书的介绍吧!
