Py无处不在，你真的感受到了？

Py无处不在，你真的感受到了？

0.前言1.图床我来了2.pdf我来了3.作者的话

【今日知图】

复制or粘贴

0.前言

好久没真真切切的用编程解决实际问题，我们通常是学，但是不会用，那么今天来学习一下，python在实际生活中的强大之处！特别是爬虫，哈哈~~~

之前承诺scrapy本周会发出一文，没问题，这周会发！本来打算用scrapy来写，结果发现scrapy写的太简单，真的，在scrapy中封装的要好，对于这节的学习，为了提高各位真正的编程与爬虫能力，我们不用框架，如果你需要框架scrapy来爬虫，可以留言，然后根据留言情况，适当将本节代码转为scrapy！

ok，现在来说一下我的两个重要需求，也就是针对本文，放出两个重要实战！干货很多哦~~，嘿嘿~

第一需求来源于七牛云，我的博客用的图床是七牛云，然后七牛云为了号召国家响应，由于域名限制问题，你必须备案，所以七牛云就将之前的免费图床域名，变为测试域名，之前一直在想，免费的东西都用了这么久，什么时候收费啊，结果，就前两天，直接给我发了个邮件，提示你有一周时间，一周后，大家懂的，直接凉凉，所有图片404~~

看到这个消息后，非常震惊，当时有点小慌，但是机制的我，用python解决了这个问题。

给大家一句话：免费的永远是最贵的！！！

我又是怎么解决的呢？看后文留个疑惑！！

第二个需求来源于cs231n，我看到这个网站有很多pdf我需要下载，但是太多了，手动会点残，那么怎么办，总不能点一个下载一个吧，这也不符合我们程序员的风格。所以我又有了办法，看后面解决方案！

1.图床我来了

获取当前文件夹下所有的markdown文档

如下图所示是我的部分markdown文档，我们知道，当图床提供的url失效，那么所有图片404，这是个非常恐怖的问题，那么我该如何解决?

首先下载所有图片，七牛云提供了qshell命令工具，直接下载所有图片，非常爽，结果下来后，真的多，有450+的图片，如果放在每个markdown中，又得去找对应的文档以及450+个图片链接，手动修改，这个工作量太大了，所以我就用python实现替换所有markdown中的所有链接为新链接，这里将450+张图片存入了github上。后面再找其他的图床，如果有好的，留言一下~~

实战

首先获取文件夹下所有markdown文档！

这里通过模块来解决！

替换

然后需要做的就是所有文件原地替换！

下面两个链接我全部打码了，运用到你们自己的情况直接替换调即可！

嗨皮，最终搞定~~~

2.pdf我来了

这里功能很明确，实现pdf全局下载！

下面这个布局大家很熟悉吧，很多网站的文件下载都是这样，那么也就意味着，只需要在我给的代码上稍作修改，便可以实现多个网站爬取！

导包

目标

封装

注：下面所有的代码都是在这个类封装下的方法！

获取选择器

年份获取

对于这个网站，难点在哪？

没有反爬，这就非常简单了，难点在你的处理，这里给出一个高级用法：，我通过这个来定位所有的a标签，根据href属性，筛选出年份，直接以20开头的便满足条件！用法看代码！

然后我们要获取下一个页面的url，也就是跳转链接，那就是跟前面的base_url拼接就行！

最后这里为什么返回两个，而不是一个，原因是，我想要用年份这个list来当作数据的目录名，每个目录下面有多个pdf，予以区分开，更加自动化处理！

另一个返回则是跳转下一个页面的url！

输出格式：

实战：

获取所有pdf链接

这里直接调用上述的年份跳转链接，进入相应链接后，如下图，会有多个pdf，这个就是我们最终的目标，那么如何处理呢，这里通过筛选出pdf结尾的url，并予以拼接，那么就得到了完整的pdf链接，最终建立一个字典来将对应的年份对应多个pdf，输出格式为下面：

实战 ：

下载pdf

首先利用上面的字典key创建目录，然后循环遍历当前key所对应的list当中的每个url，然后下载，最终下载的文件名为url中后面xx.pdf形式！

调用

调用上面方法！

结果

3.作者的话