puppeteer爬取house365租房数据

治电小白菜

发布于 2020-08-25 15:30:29

7430

文章被收录于专栏：技术综合技术综合

很简单, 就是用css选择器扒

1. puppeteer安装依赖

1. 新建项目

$ mkdir house365
$ cd house365
$ npm init
$ npm install puppeteer --save

2. 安装上的相关问题

网络问题使用淘宝镜像

$ npm config set registry https://registry.npm.taobao.org
$ npm config set disturl https://npm.taobao.org/dist
$ npm config set puppeteer_download_host https://npm.taobao.org/mirrors

windows下node-gyp相关问题

$ npm install -g node-gyp
$ npm install --global --production windows-build-tools

2. 观察

观察要爬的页面, 最简单的列表型, 我们爬每个的链接

看分页, 第二页开始一一对应

image.png

输入一个比较大的数字, 看看总页数

image.png

观察内容页, 这些都用选择器选就是了

image.png

3.开爬

具体代码: https://github.com/klren0312/puppeteer-study/tree/master/house365

4.结果

image.png

image.png

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

css

puppeteer爬取house365租房数据

puppeteer爬取house365租房数据

1. puppeteer安装依赖

1. 新建项目

2. 安装上的相关问题

2. 观察

3.开爬

4.结果

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐