Python爬虫练习：腾讯视频弹幕数据采集 前言 1.网页分析 2.爬虫实战 3.数据预览
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理
以下文章来源于菜鸟学Python数据分析
1.网页分析
本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例，首先通过以下步骤找到存放弹幕的真实url。
通过删减各参数，发现仅有timestamp参数的变化会影响弹幕数据的爬取，且timestamp参数是首项为15，公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据，该视频长度为12399秒。而数据格式为标准的json格式，因此json.loads直接解析数据即可。
2.爬虫实战
import requests import json import time import pandas as pd df = pd.DataFrame() for page in range(15, 12399, 30): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} url = 'https://mfm.video.qq.com/danmu?otype=json×tamp={}&target_id=5938032297%26vid%3Dx0034hxucmw&count=80'.format(page) print("正在提取第" + str(page) + "页") html = requests.get(url,headers = headers) bs = json.loads(html.text,strict = False) #strict参数解决部分内容json格式解析报错 time.sleep(1) #遍历获取目标字段 for i in bs['comments']: content = i['content'] #弹幕 upcount = i['upcount'] #点赞数 user_degree =i['uservip_degree'] #会员等级 timepoint = i['timepoint'] #发布时间 comment_id = i['commentid'] #弹幕id cache = pd.DataFrame({'弹幕':[content],'会员等级':[user_degree], '发布时间':[timepoint],'弹幕点赞':[upcount],'弹幕id':[comment_id]}) df = pd.concat([df,cache]) df.to_csv('tengxun_danmu.csv',encoding = 'utf-8') print(df.shape)