温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

ElasticSearch生产环境配置有哪些

发布时间:2021-12-16 10:25:38 来源:亿速云 阅读:347 作者:iii 栏目:大数据

这篇文章主要讲解了“ElasticSearch生产环境配置有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“ElasticSearch生产环境配置有哪些”吧!

ElasticSearch观念转换:

索引:可以认为是数据库中的一个Schema。

类型:逻辑上具有相同格式的文档集合,可以和数据库中的表概念类似。

文档:对所描述的实体对象的具体实例化,可以和数据库中的行相对应。

字段:以Json的键值对方式组织的多个字段。字段可以是对象类型、数组类型或者核心数据类型,字段可以与数据库列对应。

集群节点类型:

主节点:负责节点间集群之间的变更协调。这些变更包括索引、映射的管理、增删节点,分片重分配等。

数据节点:用来存放Lucene索引,它负责ElasticSearch中的数据插入,并满足用户的查询请求。

客户端节点:相当于负载均衡器,负责解析HTTP请求,并将其转发到相应的数据节点。它把解析和转发请求这部分工作从主节点和数据节点上独立出来。另外客户端节点也负责将各个节点运算的中间结果进行汇总,并将最终结果返给用户。在es集群中客户端节点不是必须的,但如果使用必须禁用其它节点的http,这样就会强制使用es内部通信协议。

部落节点:部落节点可以实现多个集群的桥接。它可以作为两个集群间的负载均衡器。它为后端的多个集群提供了统一访问客户端。

数据分布:

分片:es索引允许分隔成不同的数据子集存储在不同节点上,分片就是es索引部分数据的数据子集,分片是单个Es数据节点上的一个独立存储单元,分片其实就是一个纯碎的Lucene索引。

副本:es副本提供的故障转移机制,除了故障转移,副本也可以参与执行查询的过程。如果你的应用系统正在承受庞大的流量负载,那么增加硬件扩展更多节点,把每个分片和副本分配到独占的节点上会获得更大的并行度提升查询效率。注意:(副本越多,向索引中插入文档的效率就越低)。

生产环境配置(硬件):

内存:es非常消耗内存,为了避免OutOfMemory以及由于OutOfMemory引发的其它潜在问题,同时保障查询的效率,内存是我们硬件规划的首要考虑因素,建议内存在16G到64G之间。

CPU:cpu的时钟频率对es的性能影响并不太大,但是文档的插入和文档搜索的性能取决于并发线程数,而并发线程数取决于CPU核心的个数。在生产环境中最好有4到8个cup核心,对es来说与更快的cup速度相比,更多的cup核心更为重要。

磁盘:在进行文档插入或者文档查询是,es是io极其敏感的,尤其我们在向es批量加载数据时,io对加载性能的影响更大。高IOPS的SSD硬盘成为了不二之选。(注:你可能觉得频繁更新操作会缩短SSD硬盘寿命,但是lucene索引是完全不可修改的,更新操作是删除,然后插入,对es来说也不存在什么更新问题)。

网络:最好不要垮数据中心。注意:集群查询性能是由集群中性能最差的主机决定,可以考虑闲置的低配置作为客户端使用,或者(客户端+主节点)。

其它参数配置

内存配置:默认情况下es节点的堆内存为1G,es将自动数据缓存到内存中后可大大提高过滤、排序和切面的速度,所以这个参数必须设置,一般es分配的内存至少是物理内存的一半,另外一半用于lucence缓存字段信息,它使用的操作系统缓存,而不是es堆内存。

感谢各位的阅读,以上就是“ElasticSearch生产环境配置有哪些”的内容了,经过本文的学习后,相信大家对ElasticSearch生产环境配置有哪些这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是亿速云,小编将为大家推送更多相关知识点的文章,欢迎关注!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI