写爬虫时,需要的html和用requests.get返回的html不一样导致无法进行下一步,请问怎么解决??

写爬虫时,需要的html和用requests.get返回的html不一样导致无法进行下一步,请问怎么解决??

问题描述:

我是用的谷歌浏览器,按f12后经过对比,我发现我代码requests.get返回的是——sources里面的html文本,但我想要的是element里面的html文本,怎么才能返回正确的html呢?
↓这是我想要找的:
图片说明

但是返回的却是这个:
图片说明

然后我写的代码是这个:
图片说明
请问该怎么解决这种情况呢??

用request的get方法得到的是服务器返回给你的源码,而你用f12调试看到的是浏览器解释过后的代码,不一样是正常的,要获取f12看到的可以用selenium模拟访问

请求返回的里面好像没有tbody标签。但是网页按F12查看的时候好像是有tbody标签的

浏览器显示的是完全渲染后的页面(js异步数据),而request请求仅返回纯html内容,目测你这个

是异步加载的。你可以直接在浏览器页面鼠标右键点击 查看网页源代码 进行对比。