本文主要给大家介绍mysql导入数据到solr的方法,其所涉及的东西,从理论知识来获悉,有很多书籍、文献可供大家参考,从现实意义来讲,亿速云累计多年的实践经验可分享给大家。
方式一:创建项目,查询出数据,一条一条add到solr中;(不推荐)
方式二:通过配置复制数据到solr中
以上已完成了在本地window8中对solr的部署,为solr添加了一个自定义的coredemo,并且引入了ik分词器。
那么该如何将本地的mysql的数据导入到solr中呢?
mysql数据源:test库中的user表(7条数据),其中这个update_time字段是用于solr更新数据库数据的依据,表中必须得有这个字段。
SETFOREIGN_KEY_CHECKS=0;
------------------------------
-- Table structurefor user
------------------------------
DROP TABLE IFEXISTS `user`;
CREATE TABLE`user` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(30) DEFAULT NULL,
`sex` int(1) DEFAULT NULL,
`title` varchar(200) DEFAULT NULL,
`insert_time` datetime DEFAULT NULL,
`update_time` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDBAUTO_INCREMENT=8 DEFAULT CHARSET=utf8;
------------------------------
-- Records of user
------------------------------
INSERT INTO `user`VALUES ('1', '航三', '1', '有电脑','2017-05-02 15:40:19', '2017-05-03 15:40:22');
INSERT INTO `user`VALUES ('2', '理三', '1', '有电脑,生活就是游戏么。要努力啊', '2017-05-02 15:40:19', '2017-05-03 15:40:22');
INSERT INTO `user`VALUES ('3', '李四', '0', '准备工作完成之后就可以进行配置和操作了。', '2017-05-02 15:40:19', '2017-05-03 15:40:22');
INSERT INTO `user`VALUES ('4', '王五', '0', '这个demo主要是针对多图片上传时使用的,可以携带动态加载的参数。', '2017-05-02 15:40:19', '2017-05-0315:40:22');
INSERT INTO `user`VALUES ('5', '赵六', '1', 'demo里也有,多文件上传+预览功能。也可以自己去调U', '2017-05-25 15:43:03', '2017-05-25 15:43:07');
INSERT INTO `user`VALUES ('6', '周七', '0', '这个demo主要是针对多图片上传时使用的', '2017-05-02 15:43:23', '2017-05-11 15:43:26');
INSERT INTO `user`VALUES ('7', '李白', '1', '诗人','2017-05-02 15:43:23', '2017-05-02 15:43:25');
链接mysql驱动jar:mysql-connector-java-5.1.14.jar(这个基本都有)
和D:\solr-4.10.2\dist\solr-dataimporthandler-4.10.2.jar
从solr的解压文件目录中找到“D:\solr-4.10.2\example\example-DIH\solr\db\conf”下的db-data-config.xml文件到你的core(比如:
D:\solr-4.10.2\example\demo-solr\demo\conf)conf目录下,并更名为data-config.xml。
详细配置如下:
<dataConfig>
<dataSourcetype="JdbcDataSource" driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost:3306/test" user="root"password="123456"
batchSize="100" />
<document>
<entity name="user"pk="id"
query="SELECTid,name,sex,title,insert_time,update_time FROM user"
deltaImportQuery="SELECTid,name,sex,title,insert_time,update_time FROM user whereid='${dataimporter.delta.id}'"
deltaQuery="SELECT id FROMuser where update_time > '${dataimporter.last_index_time}'">
<field column="id"name="id" />
<field column="name"name="name" />
<field column="sex"name="sex" />
<fieldcolumn="title" name="title" />
<fieldcolumn="insert_time" name="insertTime" />
<fieldcolumn="update_time" name="updateTime" />
</entity>
</document>
</dataConfig>
deltaImportQuery:获取增量数据时使用的SQL(增量导入时使用)
deltaQuery:获取pk的SQL(增量导入时使用)
注意查询条件的写法:${..},如在本例中:
${dataimporter.last_index_time}索引上次导入时间
${ dataimporter.delta.id}实体user查询结果中的id,也可以用${user.id}表示
关于data-config.xml详解,参考博文:
http://www.jianshu.com/p/91a5a0c35475
http://blog.csdn.net/boolbo/article/details/50352331
注意:如果是solr是使用tomcat进行启动,只是相关的jar和配置文件放的位置不一样。配置是一致的。
1、 拷贝mysql-connector-java-5.1.14.jar和solr-dataimporthandler-4.10.2.jar到solr的D:\solr-4.10.2\example\solr-webapp\webapp\WEB-INF\lib目录中;
2,在D:\solr-4.10.2\example\demo-solr\demo\conf目录下,更改solrconfig.xml配置文件。添加如下内容:
<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<strname="config">data-config.xml</str>
</lst>
</requestHandler>
3,在D:\solr-4.10.2\example\demo-solr\demo\conf目录下,更改schema.xml配置,配置相关字段:
<?xmlversion="1.0" encoding="UTF-8" ?>
<schemaname="example" version="1.5">
<field name="_version_"type="long" indexed="true" stored="true"/>
<field name="_root_"type="string" indexed="true" stored="false"/>
<field name="id"type="string" indexed="true" stored="true"required="true" multiValued="false" />
<!-- 指定分词类型-->
<field name="name"type="text_ik" indexed="true" stored="true" />
<field name="title"type="text_ik" indexed="true" stored="true"/>
<field name="sex"type="int" indexed="false" stored="true" />
<!-- field标签中的name值必须和data-config.xml中的fileld标签name值保持一致 -->
<field name="insertTime"type="date" indexed="true" stored="true" />
<field name="updateTime"type="date" indexed="true" stored="true"/>
<uniqueKey>id</uniqueKey>
<fieldType name="int"class="solr.TrieIntField" precisionStep="0"positionIncrementGap="0"/>
<fieldType name="string"class="solr.StrField" sortMissingLast="true" />
<fieldType name="long"class="solr.TrieLongField" precisionStep="0"positionIncrementGap="0"/>
<fieldType name="date"class="solr.TrieDateField" precisionStep="0"positionIncrementGap="0"/>
<!-- 添加IKAnalyzer中文分词器 -->
<fieldType name="text_ik"class="solr.TextField">
<analyzerclass="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
</schema>
4,重启solr应用,查看原有的数据:
还是原来的那些数据。
5,导入mysql数据到solr中:
选择Dataimport进行导入操作。
查询:
证明数据已经导入,并删除了原来的数据!
Documents运行/update,指定type为xml。先查询后删除:
语句为:
<delete><query>*:*</query></delete>
<commit/>
Submit,执行删除!
当然,上面说的是手动删除,如果要删除的数据很多,想在下一次自动同步数据的时候自动删除指定的数据该如何做呢?
场景:有一批要拍卖的店铺数据存储在solr中,拍卖的店铺数据有一个拍卖结束时间(endTime),当拍卖结束时间一到,这条存储在solr中的拍卖数据就没有意义了,想要删除这条存储在solr中的数据。
按照上面的手动删除也不是不可以,但这人工操作未免太扯了,到时间人工去solr中删除这条数据耗时又耗力,也不太现实。
解决办法就是:
在data-config.xml的entity中添加:
deletedPkQuery="select id from shops where endTime < NOW()"
这一句,这句和entiy的query同级,目的是查询出所有店铺数据中结束时间小于当前时间的店铺id,
这个店铺id会和deltaQuery中收集到的id一并执行deltaImportQuery操作,只不过一个是添加数据,一个是删除数据。
注意:这个配置在导入数据成功后,无效果。只在导入过程中有效果!
1、 将所有只用于搜索的,而不需要作为结果的field(特别是一些比较大的field)的stored设置为false;
2、 将不需要被用于搜索的,而只是作为结果返回的field的indexed设置为false;
3、 删除所有不必要的copyField声明为了索引字段的最小化和搜索的效率;
4、 将所有的 text fields的index都设置成false,然后使用copyField将他们都复制到一个总的 text field上,然后进行搜索。
看了以上介绍mysql导入数据到solr的方法,希望能给大家在实际运用中带来一定的帮助。本文由于篇幅有限,难免会有不足和需要补充的地方,大家可以继续关注亿速云行业资讯板块,会定期给大家更新行业新闻和知识,如有需要更加专业的解答,可在官网联系我们的24小时售前售后,随时帮您解答问题的。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。