新手python用xpath爬取m.weibo微博结果列表一直为空[]但插件xpathhelp返回是有数据的

新手python用xpath爬取m.weibo微博结果列表一直为空[]但插件xpathhelp返回是有数据的

问题描述:

图片说明

首先在network找到xhr的json数据包有requests.get到

图片说明

用parsel转换成xml格式打印都有结果
但是用xpath就出现问题,返回一直是空

图片说明

用xapthhelp插件是可以返回文字的

看遍攻略有的说是js会跳转,但还是找不到解决方案

import requests
import parsel
import json
import pprint


url = 'https://m.weibo.cn/api/container/getIndex?containerid=2304131645823934_-_WEIBO_SECOND_PROFILE_WEIBO'
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

html = requests.get(url,headers = head).text
data = parsel.Selector(html)

print(data)#转换的xml有返回值

data_finally = data.xpath('//div[@class="weibo-text"]/text()').getall()
print(data_finally)#返回为空

我也是,楼主有解决吗