Solr7使用Oracle数据源导入+中文分词

少羽大怪兽

发布于 2018-12-11 16:30:26

8030

发布于 2018-12-11 16:30:26

文章被收录于专栏：架构技术

安装目录假设为#solr_home,本文的#solr_home为apps/svr/solr

一、Oracle数据导入

1. 在#solr_home/server/solr下新建文件夹，假设为mjd;

2. 将#solr_home/server/solr/configsets/_default下的conf文件夹拷贝到#solr_home/server/solr/mjd;

3.打开mjd/conf下的solrconfig.xml添加节点;

<lib dir="${solr.install.dir:../../../..}/contrib/dataimporthandler/" regex=".*\.jar">
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar">

4. 同样上面那个文件，增加节点;

<requestHandler name="/dataimport" class="org.apche.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</list>
</requestHandler>

5. 下载ojdbc6.jar到#solr_home/contrib/dataimporthandler/中，我是在http://vdisk.weibo.com/s/z8ZZMoqsgpNFH中下载的;

6. 在#solr_home/server/solr/mjd/conf下新建文件data-config.xml，打开，将下列配置复制;

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@192.168.2.218:1521:product " user="数据库用户名" password="数据库密码" />
    <document name=”product” pk=”主键”>
        <entity name="bless" query="select * from bless"<--这里配查询语句-->
deltaImportQuery="SELECT * FROM userinfo where spuid='${dih.delta.spuid}'" 
                deltaQuery="select bless_id from bless where bless_time > '${dataimporter.last_index_time}'"><--这里配增量查询语句，${dataimporter.last_index_time}表示上次更新时间-->
        </entity>
    </document>
</dataConfig>

7. 进入web管理页面 localhost:8983/solr/#，点击Core Admin菜单，点击AddCore，将name和instanceDir设置为刚才我们第一步新建的文件夹名称;

8. 在菜Thread Dump下方有一个下拉框，选择刚新建的Core，点击Schema 里的Add field菜单，name输入刚才配置的查询语句中的某个字段(假设该字段为字符串类型)，点击field type，选择text_gerneral，点击下面的添加按钮;

9. 回到左侧菜单，选择Dataimport，点击Execute菜单;

10. 回到左侧菜单,选择Query，点击Execute Query，如果右侧查询出数据，恭喜你，你已经配置好了;

可根据第八步继续添加自己想要的字段，重复9 10步骤；

二、中文分词

Solr7之前好像大部分使用的是IK中文分词器，但是我试了好几个方法，都没有成功，而且跟网上经验描述的目录结构也很多不一样，比如大部分说要修改Schema.xml文件，可是后来发现Solr7其实已经不使用Schema了，而是使用的Managed-Schema文件，

而且这里有个问题就是，当重启Solr服务器后，项目中的这个文件会被覆盖掉，目前还没有找到是从哪里拷贝过来的模板。进入正题:

1. 进入#solr_home/contrib/analysis-extras/lucene-libs，找到lucene-analyzers-smartcn-7.0.1.jar,复制到#solr_home/server/solr-webapp/webapp/WEB-INF/lib下;

2. 打开#solr_home/server/solr/configsets/_default/conf下的managed-schema，在文件后面加上如下节点

<!-- ChineseAnalyzer -->
    <fieldType name="text_cn_splitting" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>
      </analyzer>
      <analyzer type="query">
        <tokenizer class="org.apache.lucene.analysis.cn.smart.HMMChineseTokenizerFactory"/>
      </analyzer>
    </fieldType>

3.重启solr服务;

4.在第一部分第8步的时候，Add Field的时候，看是否有text_cn_splitting类型可选，如果有的话，那在add field的时候将需要进行中文分词的字段选择该类型即可;

定时任务:

使用系统的定时任务执行 curl

http://your_ip/dataimport?command=full-import&clean=true&commit=true 全量导入

http://your_ip/dataimport?command=delta-import&clean=false&commit=true 差异导入

这里clean参数如果是true，会把之前的数据清空掉，然后导入差异的数据，在差异性导入时注意这个参数，不然会把solr里的数据清空，然后导入差异性的数据(这个差异是清空前的差异)，导致数据缺失；

建议访问低频时重建全量索引，如每天凌晨4点做一次全量导入，每10分钟做一次差异导入

FQA:

1.增量导入是以主键作为增量差异，默认这个主键是id，需要在managed-schema里修改uniqueKey节点成需要的主键，且在该文件里定义的主键必须是string类型的，如下图