当前位置:首页 > 新闻动态 > 网站文章

python学习 三 03 再爬一个网站,根据分页,下载图片

来源: 浏览:122 时间:2023-10-11

根据所有分页文件,下载图片

书接上回,我们已经递归创建了类别,获得了所有分页信息,下一步就是根据分页信息获得所有的图片。

为此,我们再看看网页,红线部分的图片,就是我们要抓取的图片。

看下对应的源码:

也就是说,我们要获取这个div下的所有IMG标签

为此写了个获得指定DIV下所有IMG标签的函数

分两步,第一步,找到分页文件

第二步,解析分页文件,并下载img

这其中又涉及到了解析,解析部分我想单独放在一个文件中,这个文件就是作为封装各种解析来用的。

最后就是多线程方式下载,

下载我也单独放到一个文件中了,这个文件打算主要做下载用

总结: 下载网站中的图片,分成三个步骤:

1、 根据网站类别,创建本地类别

2、 获得所有分页

3、 根据分页,下载图片

至此,爬图片过程,就告一阶段,下节主要介绍下,这一阶段所用的知识及逻辑组织方式

地址 · ADDRESS

地址:建邺区新城科技园嘉陵江东街18号2层

邮箱:309474043@qq.Com

点击查看更多案例

联系 · CALL TEL

400-8793-956

售后专线:025-65016872

业务QQ:309474043    售后QQ:1850555641

©南京安优网络科技有限公司 版权所有   苏ICP备12071769号-4  网站地图