前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用 pyppeteer 碰到的错误

使用 pyppeteer 碰到的错误

作者头像
andrew_a
发布2020-02-18 17:12:08
2.2K0
发布2020-02-18 17:12:08
举报
文章被收录于专栏:Python爬虫与数据分析

pyppeteer 实在是有点坑,坑太多了,填不完。

使用 pyppeteer 碰到的错误

  • pyppeteer.errors.ElementHandleError: Error: failed to find element matching selector ".btn_ok" 我使用了下面的代码后出现的:为了实现检测元素是否存在,存在则程序结束,不存在则重试 btn_ok = await page.Jeval('.btn_ok', 'node => node.style')

解决办法: btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]') 但是使用这个之后,当滑动失败之后,重现刷新滑动验证码之后,又会出现下面的错误。 更新(2020-01-20): 之前的理解错误了,这个根本原因是执行关闭浏览器 await browser.close() 的时候没有权限删除用户的浏览数据。 解决办法: 定义浏览器的时候设置参数 'userDataDir': r'D:\temporary',指定一个用户可以执行的目录,这样的话就可以了。 但是这样的话,相当于保存了用户的浏览数据。 可能又会碰到这么个错误,事件循环打开浏览器后,并没有执行,直接返回结果。 看了一下文档,调用 createIncogniteBrowserContext()直接打开一个无痕浏览器。这样就爽多了 关闭的时候需要注意分开关闭,无痕关闭,正常打开的浏览器也需要关闭。

  • pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.

解决办法:这是由于库本身的问题。pyppeteer 库的问题。

具体可参考 天猫淘宝知乎爬虫神器 -- Pyppeteer

也可以降低 websockets 的版本,改为 6.0 的版本

pip install websockets==6.0

这样问题就会少很多

这个文章会一直更新,碰到了就会更新,未完待续。。。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-02-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python爬虫scrapy 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 使用 pyppeteer 碰到的错误
相关产品与服务
验证码
腾讯云新一代行为验证码(Captcha),基于十道安全栅栏, 为网页、App、小程序开发者打造立体、全面的人机验证。最大程度保护注册登录、活动秒杀、点赞发帖、数据保护等各大场景下业务安全的同时,提供更精细化的用户体验。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档