您的位置: 首页 > 技术问答 > Solr 数据库大表初始化索引性能问题

Solr 数据库大表初始化索引性能问题

分类: 技术问答 • 2022-02-08 10:22:06

Solr 数据库大表初始化索引性能问题

问题描述：

1、单表848W数据，5个字段建立索引，如下图
图片说明

通过HttpSolrClient的add批量添加索引。
client.add(docList);
client.commit();

耗时15分钟，有没有方法优化？

答

http://blog.csdn.net/zhushuai1221/article/details/51740846

java 多线程注意事项转自：https://blog.csdn.net/kkgbn/article/details/56279659 java 多线程注意事项一，线程池的概念二，线程资源必须通过线程池提供，不允许在应用中自行显式创建线程三，SimpleDateFormat 是线程不安全的类，一般不要定义为static变量，如果定义为static，必须加锁，或者使用DateUtils工具类。四，高并发时，同步调用应该去考量锁的性能损耗。五，对多个资源、数据库表、对象同时加锁时，需要保持一致的加锁顺序，否则可能会造成死锁。六，并发修改同一记录时，七，多线程并行处理定时任务时，八，使用CountDownLatch进行异步转同步操作，九，避免Random实例被多线程使用，虽然共享该实例是线程安全的，但会因竞争同一seed 导致的性能下降。十，通过双重检查锁（double-checked locking）（在并发场景）实现延迟初始化的优化问题隐患十一，volatile解决多线程
谈谈怎么实现Oracle数据库分区表 SQLSERVER性能监控级别步骤 Oracle索引问题诊断与优化（1）
MySQL面试题汇总事务是什么？事务的ACID特性事务的隔离级别事务并发问题（脏读、不可重复读、幻读） MyISAM与InnoDB 的区别那么如何选择mysql引擎呢？ left join,right join,inner join,full join之间的区别三大范式切分数据库（水平切分、垂直切分）什么是池化思想？为什么要用数据库连接池？什么是索引？优缺点是什么？索引主要使用的数据结构？ B树和B+树区别？ Hash索引和B+树索引优劣分析？ MySQL的基本存储结构索引类型为表字段添加索引最左前缀原则如何选择字段作为索引索引一定能提高查询性能吗？ MyISAM和InnoDB在CRUD下会默认加哪些锁？表锁和行锁优缺点？MyISAM和InnoDB是否都支持行锁？InnoDB什么时候才会使用行锁？为什么行锁会有死锁而表锁不会？为什么行锁发生锁冲突低而表锁高？死锁和锁冲突如何理解？表锁有什么类型？什么时候会阻塞？它们的优先级？ MyISAM的表读写锁和Inno
数据库笔记事务四大特性（ACID）原子性、一致性、隔离性、持久性？事务的并发？事务隔离级别，每个级别会引发什么问题，MySQL默认是哪个级别？事务的隔离级别 MySQL常见的三种存储引擎（InnoDB、MyISAM、MEMORY）的区别？ MySQL的MyISAM与InnoDB两种存储引擎在，事务、锁级别，各自的适用场景？查询语句不同元素（where、jion、limit、group by、having等等）执行先后顺序？什么是临时表，临时表什么时候删除? MySQL B+Tree索引和Hash索引的区别？ sql查询语句确定创建哪种类型的索引？如何优化查询？聚集索引和非聚集索引区别？有哪些锁（乐观锁悲观锁），select 时怎么加排它锁？非关系型数据库和关系型数据库区别，优势比较？数据库三范式，根据某个场景设计数据表？数据库的读写分离、主从复制，主从复制分析的 7 个问题？使用explain优化sql和索引？ MySQL慢查询怎么解决？什么是
使用solr的DIHandler 构建mysql大表全量索引，内存溢出问题的解决方法
Solr 数据库大表初始化索引性能问题
有solr查询语法的问题
求教,数据库数据往solr索引中添加数据问题

Solr 数据库大表初始化索引性能问题

相关推荐