怎么爬取体育新闻数据并存入MySQL数据库

怎么爬取体育新闻数据并存入MySQL数据库

问题描述:

import requests, pymysql from bs4 import BeautifulSoup header = { 'Referer': 'https://sports.sohu.com/?spm=smpc.content.nav.3.1613222545231nt4oN5A', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; rv:46.0) Gecko/20100101 Firefox/46.0'} conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='', db='new', charset='utf8') cursor = conn.cursor() for i in range(0, 100, 25): res = requests.get(headers=header, url='https://movie.douban.com/top250?start={}&filter='.format(str(i))) # print(res.status_code) film = res.text soup = BeautifulSoup(film, 'html.parser') items = soup.find_all(class_="item") for item in items: xuhao = item.find('em').text # 序号 title = item.find(class_="title").text # 电影名称 pingfen = item.find(class_="rating_num").text # 评分 comment = item.find(class_="inq").text # 评论 link = item.find('a')['href'] # 网址 # print(title,pingfen,comment,link) sql = 'insert into doubanfilm(m_xuhao,m_title, m_pingfen,m_comment, m_link) values ("%s","%s","%s","%s","%s")' % ( xuhao, title, pingfen, comment, link) cursor.execute(sql) conn.commit() cursor.close() conn.close()

请仔细描述你的问题, 另外把可以把你的用户名搞得像一个正常的用户名。

根据上面的这个代码修改,爬取体育新闻入库