温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ElasticSearch实用化订单搜索方案是怎样的

发布时间:2021-12-16 17:58:35 来源:亿速云 阅读:252 作者:柒染 栏目:大数据

本篇文章为大家展示了ElasticSearch实用化订单搜索方案是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。

前言:

站外推广系统订单报表一直是一个痛点,研究后选择ES搜索引擎进行改造。上线来遇到很多问题,经历了很多的修改,现在系统终于正常运行,满足订单报表大数据量、实时更新、响应快、多维度查询的需求。

一、为什么选择ES

搜索引擎中,主要考虑到ES支持结构化数据查询以及支持实时频繁更新特性:

ElasticSearch实用化订单搜索方案是怎样的

二、总体系统架构

整个业务线使用服务化方式,ES集群和数据库分库,作为数据源被订单服务系统封装为对外统一接口;各前后台应用和报表中心,使用服务化的方式获取订单数据。

ElasticSearch实用化订单搜索方案是怎样的

三、数据更新设计

ES数据更新有批量更新和实时更新两种:

1、手动更新为初始化数据,或者修复数据时使用

2、实时更新通过监控数据库订单表的binlog,进行实时同步

ElasticSearch实用化订单搜索方案是怎样的

四、机器、索引、参数配置

ElasticSearch实用化订单搜索方案是怎样的

五、索引结构图

ElasticSearch实用化订单搜索方案是怎样的

六、机器性能选择

对于频繁更新一定要考虑到使用SSD

ElasticSearch实用化订单搜索方案是怎样的

七、文档id选择

因为是订单数据,并且有频繁数据更新,所以我们选择自己指定的唯一id,具体对比如下:

ElasticSearch实用化订单搜索方案是怎样的

八、实时更新数据方案

实时数据更新采用监听数据库binlog的方式实现:

ElasticSearch实用化订单搜索方案是怎样的

ElasticSearch实用化订单搜索方案是怎样的

九、数据一致性解决方案

不一致原因:

1、各域代码发布

2、网络延时

3、集群故障

4、vdp、vms丢数据

解决方案:

1、使用调度任务,每天对比三个月内每天的数据

2、如果存在数据不一致,自动批量同步当天数据

3、数据不一致,自动发送告警邮件

4、调度任务可随时手动终止

5、至今尚未出现不一致的情况

十、数据更新、查询接口

ElasticSearch实用化订单搜索方案是怎样的

ElasticSearch实用化订单搜索方案是怎样的

ElasticSearch实用化订单搜索方案是怎样的

ElasticSearch实用化订单搜索方案是怎样的

上述内容就是ElasticSearch实用化订单搜索方案是怎样的,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注亿速云行业资讯频道。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI