新手python用xpath爬取m.weibo微博结果列表一直为空[]但插件xpathhelp返回是有数据的
问题描述:
首先在network找到xhr的json数据包有requests.get到
用parsel转换成xml格式打印都有结果
但是用xpath就出现问题,返回一直是空
用xapthhelp插件是可以返回文字的
看遍攻略有的说是js会跳转,但还是找不到解决方案
import requests
import parsel
import json
import pprint
url = 'https://m.weibo.cn/api/container/getIndex?containerid=2304131645823934_-_WEIBO_SECOND_PROFILE_WEIBO'
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}
html = requests.get(url,headers = head).text
data = parsel.Selector(html)
print(data)#转换的xml有返回值
data_finally = data.xpath('//div[@class="weibo-text"]/text()').getall()
print(data_finally)#返回为空
答
我也是,楼主有解决吗