# string field 聚合实验以及 fielddata 原理初探
本章的知识点需要前面几个章节的知识做铺垫，不然很难看懂是什么
# 分词的 field 执行 aggs 发现报错
比如有如下数据
PUT /test_index/test_type/1
{
"test_field": "test"
}
PUT /test_index/test_type/2
{
"test_field": "test2"
}
2
3
4
5
6
7
8
9
使用聚合函数
GET /test_index/test_type/_search
{
"aggs": {
"group_by_test_field": {
"terms": {
"field": "test_field"
}
}
}
}
2
3
4
5
6
7
8
9
10
发现会报错
{
"error": {
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
],
"type": "search_phase_execution_exception",
"reason": "all shards failed",
"phase": "query",
"grouped": true,
"failed_shards": [
{
"shard": 0,
"index": "test_index",
"node": "KHsngUpVR5qe_taJBZGTMg",
"reason": {
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
}
],
"caused_by": {
"type": "illegal_argument_exception",
"reason": "Fielddata is disabled on text fields by default. Set fielddata=true on [test_field] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory."
}
},
"status": 400
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
对分词的 field，直接执行聚合操作会报错，大概意思是说，你必须要打开 fielddata， 然后将正排索引数据加载到内存中，才可以对分词的 field 执行聚合操作，而且会消耗很大的内存
下面我们按照报错信息来打开 fielddata
# 配置 fielddata=true
首先查看他默认生成的 mappings
GET /test_index/_mapping/test_type
{
"test_index": {
"mappings": {
"test_type": {
"properties": {
"test_field": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
打开该字段的 fielddata
POST /test_index/_mapping/test_type
{
"properties": {
"test_field":{
"type": "text",
"fielddata": true
}
}
}
2
3
4
5
6
7
8
9
查看修改后的 mappings
GET /test_index/_mapping/test_type
{
"test_index": {
"mappings": {
"test_type": {
"properties": {
"test_field": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
},
"fielddata": true
}
}
}
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
然后再次执行前面的聚合分析操作，发现成功了
# 使用内置 field 不分词，对 string field 进行聚合
对于 text 类型的字段，会默认创建一个 keyword 的内置字段
"test_field": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
2
3
4
5
6
7
8
9
- type.keyword：不分词
- ignore_above：只截取前 256 个字符存储
那么基于这个特性，可以直接使用这个内置的字段进行聚合操作
GET /test_index/test_type/_search
{
"size":0,
"aggs": {
"group_by_test_field": {
"terms": {
"field": "test_field.keyword"
}
}
}
}
2
3
4
5
6
7
8
9
10
11
# 分词 field + fielddata 的工作原理
doc value：不分词的所有 field，可以执行聚合操作
如果你的某个 field 不分词，那么在 index-time（索引建立时），就会自动生成 doc value 针对这些不分词的 field 执行聚合操作的时候，自动就会用 doc value 来执行
分词 field，是没有 doc value 的
在 index-time，如果某个 field 是分词的，那么是不会给它建立 doc value 正排索引的 因为分词后，占用的空间过于大，所以默认是不支持分词 field 进行聚合的 分词 field 默认没有 doc value，所以直接对分词 field 执行聚合操作，是会报错的
对于分词 field，必须打开和使用 fielddata，完全存在于纯内存中。 结构和 doc value 类似。如果是 ngram 或者是大量 term，那么必将占用大量的内存。
如果一定要对分词的 field 执行聚合，那么必须将 fielddata=true，然后 es 就会在执行聚合操作的时候， 现场将 field 对应的数据，建立一份 fielddata 正排索引，fielddata 正排索引的结构跟 doc value 是类似的， 但是只会讲 fielddata 正排索引加载到内存中来，然后基于内存中的 fielddata 正排索引执行分词 field 的聚合操作
如果直接对分词 field 执行聚合，会报错，才会让我们开启 fielddata=true， 告诉我们，会将 fielddata uninverted index，正排索引，加载到内存，会耗费内存空间
为什么 fielddata 必须在内存？因为大家自己思考一下，分词的字符串，需要按照 term 进行聚合， 需要执行更加复杂的算法和操作，如果基于磁盘和 os cache 那么性能会很差