温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Elaticsearch查询问题分析是怎么样的呢

发布时间:2021-12-09 11:30:05 来源:亿速云 阅读:129 作者:柒染 栏目:大数据

本篇文章为大家展示了Elaticsearch查询问题分析是怎么样的呢,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

看上去不相关,实际上却很合理的文本匹配问题

问什么搜一个手机号"15858593403",排在第一位的却是个看上去一点关系都没有的结果呢,符合预期的结果却排在第二位?

Elaticsearch查询问题分析是怎么样的呢

结果如图,确实一个不相关的手机号结果出现在了第一位,而且匹配分真的要高于符合预期的第二个结果,那为什么会出现这种情况呢?

从查询结果可以看到匹配分_score不是比较"规整"的数字,可以推测应该是个match匹配结果,翻看下对应的请求(只摘要展示核心部分):

Elaticsearch查询问题分析是怎么样的呢

的确如此,先复习下match和match_phrase查询条件:这两个条件第一步都会对查询词进行分词,match直接检索倒排索引取各词元的id_set交集,而match_phrase还需要计算词元间的position_gap来判断字符顺序是否符合查询词的顺序。

显而易见,mobile条件要求的字符顺序在第一个结果中并不符合,那么问题大概率出现在name字段上,可以看到查询要求的是分词结果在13个词元范围内则要求必须满足13个词元全部满足,多于13个词元要求90%的匹配度。

这里插播下minimum_should_match参数,match条件其实类似于bool查询,默认是把分词后的每个词元都当作should条件中的一个clause,这样minimum_should_match参数表面上的匹配度实际上就转换成分词后需要匹配的clause个数(词元格式),具体的转换方式大概是max(1, floor(minimum_should_match * num_of_clauses))。

好了,这个时候就必须看下name这个字段的分词器了:

Elaticsearch查询问题分析是怎么样的呢

是个单字分词,也就是18688034559分词后为[1,8,6,8,8,0,3,4,5,5,9],去重后得到[0,1,3,4,5,6,8,9],而查询词15858593403分词后为[1,5,8,5,8,5,9,3,4,0,3],去重后得到[0,1,3,4,5,8,9],手机号为11位,在13词范围内,所以必须要全部词元匹配,显然上面的分词结果符合要求。

分析到这里就真相大白了,尽管看上去丝毫不相关,但是搜索引擎很耿直的执行了我们的查询并给出了很合理的结果,这也是实际搜索应用中很容易遇到的文本匹配问题,希望大家能够好好体会。

嗯。。案例中的手机号都是处理后的伪号码。


看上去不合理,实际上很科学的统计查询问题

为什么明明有两条yyyy_id相同的记录,但是在统计查询中却出不来呢?

直接翻查询请求:

Elaticsearch查询问题分析是怎么样的呢

可以看到是一个比较简单的terms统计查询,大意是查询xxxx_id为8并且yyyy_id>0的记录,将查询结果按yyyy_id聚合(group by),并且按照聚合结果倒序展示。

照道理,如果有yyyy_id相同的两条记录,那么肯定会展示在统计结果的前面,但是实际操作中并没有在统计结果中看到预期的yyyy_id相同的记录,而是需要缩小range条件中yyyy_id的gt范围(gt:0 => gt:1224545)才能够看到预期的结果,这又是什么诡异的姿势?

首先来了解下terms统计的一些"潜规则",terms统计默认是从索引中取top10(size=10)的数据,当然可以通过设置size参数来扩大topN的范围(这里也推荐这么做,可以让其他人在看到查询的时候就了解清楚背景,避免掉坑)。

即使如此,两条相同yyyy_id的记录聚合值为2也应该进入top10才对,那么这里就到第二个需要注意的地方,这个test_10索引是有10个shard的,terms统计默认的top10是并行在各shard中分别统计各shard的top10,然后汇总所有shard的统计结果再得到最终的top10结果,可能这里大家有点绕晕了,简单画个图:

Elaticsearch查询问题分析是怎么样的呢

假设索引有3个分片,进行一个top5统计,目的是找出值相同的记录(大多数记录值都是唯一的),如果碰巧相同值的记录分散在不同的shard且排序靠后,那么很可能连单shard的top5都进不去,最终结果中看不到预期的L值也很自然了。之所以修改gt条件可以将预期结果召回,主要也是因为数据桶范围缩小,使得L值有机会进去shard的top5而已。

上述内容就是Elaticsearch查询问题分析是怎么样的呢,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI