伪君子
读完需要
3
分钟
速读仅需 1 分钟
0 前言
之前写过
用 Web Scraper 爬取即刻关注/被关注列表
,爬取下来的数没按照顺序排序。有解决的办法,去安装 CouchDB,然后设置一下从此 Web Scraper 爬取下来的数据都是有序的。
1 下载和安装
进入后下载合适你电脑系统的 CouchDB。
这里演示一下 Windows 下安装,打开后直接点击 Next
接受条款,然后点击 Next
还是点击 Next
改一下路径,不要直接安装到 C 盘,然后点击 Next
安装,冷静等待几分钟,很快安装完的。
2 设置
浏览器打开 http://127.0.0.1:5984/_utils/,别打开错了。
然后创建一个数据库,命名为 scraper-sitemaps
右键 Web Scraper,然后点击选项,进入设置界面
Storage type 改成 CouchDB
Sitemap db 填写 http://localhost:5984/scraper-sitemaps
Data db 填 http://localhost:5984/
保存之后重启浏览器,然后 Web Scraper 爬取下来的数据就是有序的。
进入 http://127.0.0.1:5984/_utils/ 能看到创建的数据库,点击进去能看到 Sitemap。
而且是非常易于阅读的形式
如果重启浏览器不行就重启电脑,如果还不行,建议重买电脑。
3 说明
如果之前 Web Scraper 有 Sitemap,那先保存一份再去安装 CouchDB;如果已经安装且设置了,也可以去设置那里把 Storage type 改回 local storage (本地存储),然后保存备份 Sitemap 后再改回去。
题图:Photo by Paolo Nicolello on Unsplash
领取专属 10元无门槛券
私享最新 技术干货