爬取网址中评论时,碰到多个”展开“应该怎么办?
问题描述:
当我爬取某网站的评论的时候,有的评论由于过长,会隐藏一部分,这个时候需要我们点击”展开“才能看到完整的评论。
我是通过selenium模拟人工操作来获得动态渲染的网页内容,我尝试了通过xpath定位来模拟点击,但是一个页面可能有多个”展开“,那我到底应该怎么做,有没有什么办法可以获取所有”展开“,然后点击?页面如下:
网址如下:
https://guba.eastmoney.com/news,600000,934143782.html
答
判断这个评论的div下是否有展开这个id(比如是id),如果有就点击
或者,只要是评论都点击一下,用try就好了