群组首页 → 企业架构 → solr交流圈 → 论坛
发表回复

[solr ] solr 分批索引

tflyy14 2013-10-30
各位大神，由于我数据库中的数据量比较大，不可能一次全部读出来进行索引，所以打算每次读取10000条数据进行索引，问题就是在对第一个10000条数据进行索引后，再对第2个10000条进行索引时，如何在之前的索引的上进行增加而不会覆盖了呢（lucene中用IndexWriterConfig.setOpenMode(OpenMode.APPEND)可以实现这个功能，但不知solr中该如何使用）
高军威 2013-10-31
solr 的唯一 field，把你的数据库中的数据的唯一id作为 solr的field中的唯一id，当添加 不同id的数据时，是增量索引，当添加相同与field的id时，是update索引操作，希望对你有帮助
tflyy14 2013-10-31
谢谢高军威，问题解决了。如果使用solr自带的Dataimport对数据库的数据进行索引，该如何分批从数据库中读出数据来了（比如数据库有100万条数据，而且还有一个大字段，如果一次读出来肯定会内存溢出，只能分批读取，这个应该在配置文件中如何操作了）
高军威 2013-10-31
我是刚学 的不久，时间不是很充裕 还没深入呢，下面这篇文张 也许有用 http://blog.csdn.net/duck_genuine/article/details/5426897
高军威 2013-10-31
你的 solr 是那个版本的啊
东林碣石 2013-11-19
如果使用solr自带的Dataimport对数据库的数据进行索引，增量更新是用的时间戳，这个会写到dataimport.properties文件中。如果非要用id的话，可能得该solr源码了
发表回复
Global site tag (gtag.js) - Google Analytics