温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

CDH如何使用Solr实现HBase二级索引

发布时间:2021-11-09 18:51:54 来源:亿速云 阅读:418 作者:柒染 栏目:大数据

今天就跟大家聊聊有关CDH如何使用Solr实现HBase二级索引,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

1.简单说明

使用Solr构建Hbase二级索引的原理很简单,不过是以空间换取时间,对指定列在Solr中构建索引,最终还是通过rowkey访问Hbase,如下图:

CDH如何使用Solr实现HBase二级索引

2.四大组件

Hbase+Zookeeper+Solr+Key Value Store(Lily Hbase Indexer)

CDH如何使用Solr实现HBase二级索引

可见,Hbase与Solr是独立部署的,而让两者发生关系的最核心组件就是Key Value Store.

CDH如何使用Solr实现HBase二级索引

当然,我们可以不使用现成的K-V Store自己代码实现,大概逻辑也就是:从Hbase中拉取数据然后发起POST请求存到Solr中,Hbase中一行或多行数据对应Solr中一个或多个doc,如图:

CDH如何使用Solr实现HBase二级索引

3.三个重要的配置文件

schema.xml:对应组件Solr,构建Solr schema,定义了Hbase要构建索引的列,如图:

CDH如何使用Solr实现HBase二级索引

morphline-hbase-mapper.xml:让Hbase与Lily发生关系,如图:

CDH如何使用Solr实现HBase二级索引

morphlines.conf:Hbase与Solr映射关系在此文件中体现,如图:

CDH如何使用Solr实现HBase二级索引

三个文件的关系图如下,通过这三个文件Hbase,Solr 及 Lyli 也就一一映射起来了,如图:

CDH如何使用Solr实现HBase二级索引

4.理解Solr

见逻辑视图:

CDH如何使用Solr实现HBase二级索引

索引对照图:

CDH如何使用Solr实现HBase二级索引

物理视图与逻辑视图与索引视图:

CDH如何使用Solr实现HBase二级索引

创建索引过程:Solr提供restful接口

CDH如何使用Solr实现HBase二级索引

5.了解Hbase结构图

CDH如何使用Solr实现HBase二级索引

6.了解Lily如何做桥梁

基于Hbase复制功能:

CDH如何使用Solr实现HBase二级索引

具体执行流程:主类SepConsumer,多线程并发处理

CDH如何使用Solr实现HBase二级索引

CDH如何使用Solr实现HBase二级索引

其实就是这么个过程:

CDH如何使用Solr实现HBase二级索引

看完上述内容,你们对CDH如何使用Solr实现HBase二级索引有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI