超详细的爬虫实例,涵盖各种方式爬取

超详细的爬虫实例,涵盖各种方式爬取
超详细的爬虫实例,涵盖各种方式爬取

一、先安装requests库

在pycharm命令行输入

pip install requests

二、安装好了以后以爬取百度首页为例

# 爬虫示例,爬取百度页面import requests 
#导入爬虫的库,不然调用不了爬虫的函数response = requests.get("http://www.baidu.com")  
#生成一个response对象response.encoding = response.apparent_encoding 
#设置编码格式print("状态码:"+ str( response.status_code ) ) 
#打印状态码print(response.text)#输出爬取的信息

三、get方法实例

# get方法实例import requests 
#先导入爬虫的库,不然调用不了爬虫的函数response = requests.get("http://httpbin.org/get")  
#get方法print( response.status_code ) 
#状态码print( response.text )

四、post方法实例

# post方法实例import requests 
#先导入爬虫的库,不然调用不了爬虫的函数response = requests.post("http://httpbin.org/post")  
#post方法访问print( response.status_code ) 
#状态码print( response.text )

五、get传参方法实例

#  get传参方法实例import requests 
#先导入爬虫的库,不然调用不了爬虫的函数response = requests.get("http://httpbin.org/get?name=hezhi&age=20")  
# get传参print( response.status_code ) 
#状态码print( response.text )

六、post传参方法实例

#  post传参方法实例import requests 
#先导入爬虫的库,不然调用不了爬虫的函数data = {"name":"hezhi",	"age":20}response = requests.post( "http://httpbin.org/post" , params=data )  
# post传参print( response.status_code ) 
#状态码print( response.text )

七、绕过反爬机制,以zhihu为例

import requests 
#先导入爬虫的库,不然调用不了爬虫的函数response = requests.get( "http://www.zhihu.com")  
#第一次访问知乎,不设置头部信息print( "第一次,不设头部信息,状态码:"+response.status_code )
# 没写headers,不能正常爬取,状态码不是 200
#下面是可以正常爬取的区别,更改了User-Agent字段headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; 
Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}
#设置头部信息,伪装浏览器response = requests.get( "http://www.zhihu.com" , headers=headers )  
#get方法访问,传入headers参数,print( response.status_code ) 
# 200!访问成功的状态码print( response.text )

八、保存百度图片到本地

#保存百度图片到本地import requests 
#先导入爬虫的库,不然调用不了爬虫的函数response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif")  
#get方法的到图片响应file = open("D:\\爬虫\\baidu_logo.gif","wb") 
#打开一个文件,wb表示以二进制格式打开一个文件只用于写入file.write(response.content) 
#写入文件file.close()#关闭操作,运行完毕后去你的目录看一眼有没有保存成功

九、解决网站访问频次过高问题

现在很多网站对异常用户访问网站频次过高设置了安全访问机制。在这个时候,如果你想继续访问这个网站,HTTP代理ip非常重要。当前ip地址有限,可以更改新的ip地址,保证爬虫的顺利进行。

推荐使用优质的代理ip资源,保证爬虫程序的顺利进行。

python爬虫实例推荐:

Requests库网络爬虫实战5个实例

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注