浏览器请求和爬虫请求有何异同解决方案
浏览器请求和爬虫请求有何异同
大神们好,小弟最近在学习python,遇到一个困惑:浏览器的http请求和使用爬虫的http请求有什么不同?【详细说明异同点,请不要瞎扯,谢谢了!】
------解决思路----------------------
要不先学下抓包?
个人觉得第一个不同就是“请求头”
------解决思路----------------------
完全一样
浏览器也是程序写的,爬虫也是程序写的,
爬虫就是构造浏览器发的包的结构
请求头部都一样,接收也一样,只是浏览器需要将返回的html渲染显示,而爬虫需要提取html中关心的信息
大神们好,小弟最近在学习python,遇到一个困惑:浏览器的http请求和使用爬虫的http请求有什么不同?【详细说明异同点,请不要瞎扯,谢谢了!】
------解决思路----------------------
要不先学下抓包?
个人觉得第一个不同就是“请求头”
------解决思路----------------------
完全一样
浏览器也是程序写的,爬虫也是程序写的,
爬虫就是构造浏览器发的包的结构
请求头部都一样,接收也一样,只是浏览器需要将返回的html渲染显示,而爬虫需要提取html中关心的信息