python selenium 无头模式下 报错403

问题描述:

在 正常浏览器弹出模式下是正常可以获取到源码的。但是在无头模式下 出现错误。
无头模式配置如下

# 创建chrome参数对象
options = webdriver.ChromeOptions()
options.add_argument('--no-sandbox') # 解决DevToolsActivePort文件不存在的报错
options.add_argument('window-size=1600x900') # 指定浏览器分辨率
options.add_argument('--disable-gpu') # 谷歌文档提到需要加上这个属性来规避bug
options.add_argument('--hide-scrollbars') # 隐藏滚动条, 应对一些特殊页面
options.add_argument('blink-settings=imagesEnabled=false') # 不加载图片, 提升速度
options.add_argument('--headless') # 浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败

     browser.get("https://www.apple.com.cn/")
print(browser.page_source)

试了百度,apple 都可以正常输出源码,但是就一个网址报错,报错内容如下



html><head><title>403 Forbidden</title></head>


403 Forbidden



Apple

这是什么原因 求解。 怎么才能爬取呢?
我是要想在centos 服务器上运行这个脚本的 ,但是爬取不到。

请问下您的问题解决了嘛,我也遇到了同样的问题,这是什么原因造成的呢?