Python爬虫Dota排名榜爬取

Python爬虫Dota排行榜爬取

1、分析网站

打开开发者工具,我们观察到排行榜的数据并没有在doc里

Python爬虫Dota排名榜爬取
doc文档

在Javascript里我么可以看到下面代码:

Python爬虫Dota排名榜爬取
ajax的post方法异步请求数据

在 XHR一栏里,我们找到所请求的数据

Python爬虫Dota排名榜爬取
json存储的数据

请求字段为:

Python爬虫Dota排名榜爬取
post请求字段

2、伪装浏览器,并将json数据存入excel里面

 

Python爬虫Dota排名榜爬取
获取信息
 
Python爬虫Dota排名榜爬取
将数据保存到excel中

3、结果展示

 

Python爬虫Dota排名榜爬取

学习过程中遇到什么问题或者想获取学习资源的话,欢迎加入学习交流群
626062078,我们一起学Python!