网络爬虫的反扒策略
网络爬虫的反扒策略

1、设置好header信息,不仅仅是UserAgent、Referer这两个,也有很多其它的header值。

2、处理好Cookie。

3、使用爬虫代理加强版代理IP。

4、倘若通过header和cookie还不能爬到数据,那么能够考虑模拟浏览器采集,常见的技术是PhantomJS。

5、使用了爬虫代理加强版采集数据返回200不过没返回数据,表明爬虫被反爬了,加强爬虫优化策略。

鉴于每个网站反扒策略不一样,因此需要实际问题具体分析。不过有一些基本的操作还是要加强的。

发表评论

后才能评论