iTesting,爱测试,爱分享
以前IT界流传着一句笑话:"当你一个朋友忽然消失了的时候,他不是去了华为就是去了阿里"。 对于没有在这两个宇宙大厂的我来说,这么长时间没消息,要么我弃坑不更了,要么折腾新玩意儿去了。
弃坑是不可能弃坑的,所以当你感叹这么好的公众号怎么也弃坑的时候,我都会拿一个新玩意儿来取悦你 :)
首先,请来点开场音乐,dengdengdengdeng。。。。
请大家web浏览器或者手机浏览器输入 qahome.cn 看看这个网站。
很普通嘛,甚至还有些许bug,但是如果我告诉你,这个网站,包括网站布局,内容,都是自动生成的呢?
如果我再告诉你,这个网站还有”生命“, 会自动发布新文章并分门别类呢?
是不是有点技术含量了啊? 这个就是最近阶段我的所学成果 -- 网络爬虫。
那么,我是怎么做到的呢?简单来说,我做了如下事情:
1. 代码自动抓取用户感兴趣的内容。
2. 内容抓下来后,自动清洗,排版,转换格式,加私货,然后保存。
3. 结合网站模板自动发布。
4. 你只需天天躺在家里看你的网站更新即可。
后面我会抽出时间详细普及下爬虫及爬虫框架,敬请期待!