您的位置: 首页 > IT文章 > 爬虫定时任务 redis 减轻 mysql 读的压力加层

爬虫定时任务 redis 减轻 mysql 读的压力加层

分类: IT文章 • 2023-03-15 23:26:39

非工作时间，定时任务爬虫大量mysq短链接，影响了其他业务的，mysql 报 too many connections 错误

将爬虫url池放入到redis中，单独的脚本维护redis url池的更新时效

将读写放入redis