python爬取使用Urllib库获取请求

python爬取使用Urllib库获取请求
python爬取使用Urllib库获取请求

Urllib库:制定URL,获取网页数据,访问url

1、获得get请求

import urllib.request
#获取一个get请求
response = urllib.request.urlopen("http://www.baidu.com")#获取网页
print(response.read().decode('utf-8'))#decode('utf-8')解析代码,使中文也可以正常显示

注意:其中这里urlopen,这个函数就是请求一个url的内容,这也是爬虫的第一步:网页请求,获取内容

2、获取post请求

import urllib.parse#解析器
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8") #转化成二进制,封装
response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.read().decode('utf-8'))

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注