记录下使用python爬取网页并下载资源的过程....因此考虑在PC上提前下载好部分音频,导出到手机,再切换到一个精简去广告的手机App来听,岂不美哉.
学习英语的网站有不少,也可以提供下载,但一个一个右键另存为就不符合咱程序员的身份了,因此爬虫搞起!...基础知识
爬取之前,复习下需要的知识,当然这次任务很简单,这里只是总结下.
python基础. 如文件存取,正则表达式re,多进程multiprocessing
html网页结构....资源链接即是从播放器下载图标中提取出来的链接中的 mp3=xxx的地址
lrc歌词改下后缀即可
提炼总结
根据提供的主页,通过特定的td标签解析出来每一个演讲的链接,即是一个单独的任务
对每个任务,解析...,诸如具体的判断,以及文件名的获取等未提到的细节
考虑到网页获取,文本解析,资源下载速度较慢,而每一个演讲都是独立的,可以使用多进程进行加速
除了多进程,还有异步IO,协程等方式可以加速
参考
小e英语