python爬虫 简单的介绍 import request

1、get  post请求

import request

form  bs4 import Beautifulsoup  

response=request.get(url="******")

print(response.text)

soup=beautifusoup(respon.text,'html.parser')

news_list=soup.find_all(name='div',class='****')

print(new_list)

2、post请求

form_data={

  'phone':'asdsa',

  'password':'adsad',

  'onemonth':1

}

 #这一部分需要看浏览器的网络请求

response=request.post(

url='*********',

data=form_data

)

print(response.text)

3、request.request(

method='post'

method='get'

url='https://www.sogo.com/web',

params={'query':'fkkk','q':'b'},           #"query=fkkk&q=b"

data={'user':'alex','pwd':'asdsa'}  #"user=alex;pwd=asdsa"

 

4、headers{

'Referer':'https://www.zhihu.com',

'User-Agent':'*******'

}

#Referer 是浏览器上一次访问的地址。其实就是你要访问页面的首页

#User-Agent 是你上面设备访问的浏览器地址

这个主要是,在用request请求时,访问网站时,没有返回任何的内容,可能就是这两个地方需要配置

python爬虫
简单的介绍
import request

)

5、import requests

response=requests.get(

url='https://i.cnblogs.com/EditPosts.aspx',

cookies={'.CNBlogsCookie':'************'}          

python爬虫
简单的介绍
import request

)

print(response.text)

request模块

1、基本参数: method,url,params,json,headers,cookies

2、其他参数:files,auth,proxies。。。。。。  

实现一个自动登录抽屉,对莫文章点赞

r1=requesrs.get('http://dig.chouti.com/',headers={},cookies{}) 这个带的就是请求头,和请求cookies

r1.content

r1.encoding=utf-8

r1.headers  获取返回头

r1.cookies.get_dict()

获取到所有cookies但是未生效

c1=r1.cookies.get_dict()  

2、用户登录 post

form_data{

}                                 

r2=requests.post("http://dig.chouti.com/",data=form_data,cookies=c1)

c2=updta(c2)

3、点赞

c1.updata(c2)

requests.post{

url="http://dig.chouti.com/link/vote?linksid=8589523"

data={'linksid':'8589523'}

cookies=c1 

}

注意;有些网站在没有登录时是不返回cookiesi。有些网站时访问时就给你cookies 但是未生效。跟现在的情况一样;

 方法二使用session方式

import session

session=request.session()

li=session.get(url="http://dig.chouti.com/help/servvice")

li2=session.post{

url="http://dig.chouti.com/login"

data={

'phone':"12312323123"

'password':"asdasdas"

'oneMonth':" "

}

}

l3=session.post{

'url':"http://dig.chouti.com/link/vote?linksid=123232"

}

print(i3.text)