这周学会了一个超厉害的新技能,就是不写任何代码就能爬取任意网站上的数据。
WebScraper是一款谷歌浏览器的插件,它的功能非常强大,几乎可以抓取任何你想要的网页内容。
比如我之前在星球上分享过一个案例,就是国外的游戏厂商转型的时候,爬取了Google play上前几百名的开发者邮箱,然后逐个的发邮件进行A/B测试,寻找靠谱的开发者进行合作的例子。
如果你不懂代码,那么逐条的去收集这些开发者的邮箱无疑是个巨大的工作量,如果你学会使用Web Scraper,即便你对代码一无所知,也可以在半个小时之内搞定这项复杂的工作,要知道让一个软件工程师用代码的方式完成这个工作半个小时都可能完成不了。
Web Scraper收集的数据会以Excel的形式导出,也方便我们进行导出进行二次操作,比如我们可以爬取喜欢的的公众号的所有文章,生成PDF文档方便在iPad上进行阅读。
如果你是个自媒体人,那么这项技能也会非常有用,我们可以爬取竞争对手的所有数据进行分析,找出他们的阅读量比较高的文章进行学习分析。
总之,这个技能真的是太厉害了!
贴一张我用Web Scraper爬取的国外壁纸网站所有的壁纸图片。
具体的教程,我就不写了,有很多大佬写了很多详细的教程,我把我看过的一些资料进行了整理,贴在下面,有兴趣的同学可以去看一下。
官网地址
https://www.webscraper.io/
官方教学视频
https://youtu.be/y00t5NpW7pY
chrome商店地址
https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn
爬取途牛网旅游数据(视频教程)
https://www.bilibili.com/video/av24155742?from=search&seid=17937480807293520970
新媒体人必会的傻瓜式爬虫工具:上手 Web Scraper 的 5 个步骤
http://www.woshipm.com/operate/764215.html/comment-page-1
web scraper 抓取分页数据和二级页面内容
https://www.cnblogs.com/fengzheng/p/9328481.html
有关webscraper的问题,看这个就够了(建议收藏)
https://www.jianshu.com/p/cd5124ac0871
以上是这周的分享。
我是理想,希望这篇文章对你有帮助!
欢迎加入组织,来这里遇到更多志同道合的朋友!
任何想法,微信来聊
领取专属 10元无门槛券
私享最新 技术干货