说明
1、根据scrapy这个框架的运行特点,翻页必须和处理数据分开,不然无法执行。
2、确定url地址,构造url地址的请求对象,把请求交给引擎。
构造请求
scrapy.Request(url,callback)
callback:指定解析函数名称,表示该请求返回的响应使用哪一个函数进行解析。
实例
scrapy.Request(url,callback=None,method='GET',headers=None,body=None,cookies=None,meta=None, encoding='utf-8',priority=0,dont_filter=False,errback=None,flags=None)
以上就是python scrapy处理翻页的方法,希望对大家有所帮助。更多Python学习指路:Python基础教程
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
评论(0)