标签： Python

【爬虫实战项目】Python爬取Top100电影榜单数据保存本地（附源码）

前言 今天给大家介绍的是Python爬取Top100电影榜单数据保存csv文件，在这里给需要的小伙伴们代码，并且给出一点小心得。 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对To ...

python中的mysql操作教程及实例

一. 数据库在自动化测试中的应用 存测试数据 有的时候大批量的数据，我们需要存到数据库中，在测试的时候才能用到，测试的时候就从数据库中读取出来。这点是非常重要的！ 存测试结果 二. python中的数据库之必备前提条件 1. 安装：pyMysql python2中使用mysqldb，python3中 ...

当我把用Python做的课堂点名系统献给各科老师后，再也没挂过科

刚上大学的表弟问我，大学准备好好玩玩，问我有没有什么不挂科的秘诀。 哎，这可就问对人了，要想不挂科，先把老师贿赂好，当然，咱们说的贿赂不是送钱啥的，这不是侮辱老师吗？ 于是我连夜给表弟写了一个课堂点名系统，让他给每个任课老师都送一遍，方便老师就是方便自己，嘿嘿~ 准备工作 首先我们需要准备好点名的姓 ...

Python爬虫实战，requests+openpyxl模块，爬取小说数据并保存txt文档（附源码）

前言 今天给大家介绍的是Python爬取小说数据并保存txt文档，在这里给需要的小伙伴们代码，并且给出一点小心得。 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对小说数据进行爬取。 ...

Generator(生成器),入门初基,Coroutine(原生协程),登峰造极,Python3.10并发异步编程async底层实现

普遍意义上讲，生成器是一种特殊的迭代器，它可以在执行过程中暂停并在恢复执行时保留它的状态。而协程，则可以让一个函数在执行过程中暂停并在恢复执行时保留它的状态，在Python3.10中，原生协程的实现手段，就是生成器，或者说的更具体一些：协程就是一种特殊的生成器，而生成器，就是协程的入门心法。 协程底 ...

python学习： fire库的使用教程

一. 介绍 fire是python中用于生成命令行界面(Command Line Interfaces, CLIs)的工具，不需要做任何额外的工作，只需要从主模块中调用fire.Fire()，它会自动将你的代码转化为CLI，Fire()的参数可以说任何的python对象 二. 安装 pip inst ...

11个案例讲透 Python 函数参数

今天给大家分享一下自己整理的一篇 Python 参数的内容，内容非常的干，全文通过案例的形式来理解知识点，自认为比网上 80% 的文章讲的都要明白，如果你是入门不久的 python 新手，相信本篇文章应该对你会有不小的帮助。 接下来是正文。 1、参数分类 函数，在定义的时候，可以有参数的，也可以没有 ...

10个中文成语，10种Python初学者常见错误

哈喽兄弟们，我总结了Python中十种新手常见的错误，每一个都可以用成语来形容，看看各位遇到过多少次了！ 一、画蛇添足 多余的分号 Python语言与大多数编程语言不相同，它的语句后面不需要加分号结尾。有些 Python 新手具有编写其它语言的丰富经验，一时还适应不过来，经常习惯性的加上“分号”： ...

Python中的列表条件求和方法

列表条件求和方法 list_data=[ [1.0, '配件', '522422', '铝扣板用纽扣', '金色', '', 72.0, 'PC', ''], [2.0, '配件', '500031', '十字槽沉头自钻自攻螺钉4.2*45', '原色', '', 72.0, 'PC', ''], ...

Python爬虫实战，requests+tqdm模块，爬取漫画之家漫画数据（附源码）

前言 今天给大家介绍的是Python爬取漫画数据，在这里给需要的小伙伴们代码，并且给出一点小心得。 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对漫画数据进行爬取。 在每次进行爬虫 ...

【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"阳了"的评论

一、背景介绍 您好，我是@马哥python说，一枚10年程序猿。 以前大家见面都问"吃了没"，最近大家见面都问"阳了没"，奈何疫情反反复复，惟愿身体安康！ 我用python抓取了B站上千条评论，并进行可视化舆情分析，下面详细讲解代码。 二、爬虫代码 2.1 展示爬取结果 首先，看下部分爬取数据： 爬 ...