博客爬虫能不能写一个用mongodb存储的

博客爬虫能不能写一个用mongodb存储的

问题描述:

#博客爬虫,mongodb
目标网站:https://www.kingname.info/archives/。
将该网站的博客内容进行爬虫,包括文章标题、发布时间、文章分类、文章链接、文章正文(HTML格式)。爬取列表页第1页所有的文章标题和文章详情;要求使用MongoDB保存信息和使用Redis缓存请求;最后截取与正文相关的源代码并保存。

望博主能看到给点指点,先谢谢博主了!

python连接mongodb和写入数据也就几行代码,这网上很多教程,只要将数据转为字典格式就行了

没有使用过mongodb,但是它肯定是和其他的数据库操作类似,Python连接并操作数据库的过程都是这几步:1.初始化数据库。2.创建数据库连接对象。3.创建游标对象。4.执行sql语句。5.提交事务。
你想用mongodb存数据的话只需要找到对应的函数来实现上面这5个功能应该就可以了。