pyppeteer 实在是有点坑,坑太多了,填不完。
pyppeteer.errors.ElementHandleError: Error: failed to find element matching selector ".btn_ok"
我使用了下面的代码后出现的:为了实现检测元素是否存在,存在则程序结束,不存在则重试
btn_ok = await page.Jeval('.btn_ok', 'node => node.style')
解决办法:
btn_ok = await page.querySelector('[class="nc_iconfont btn_ok"]')
但是使用这个之后,当滑动失败之后,重现刷新滑动验证码之后,又会出现下面的错误。
更新(2020-01-20):
之前的理解错误了,这个根本原因是执行关闭浏览器 await browser.close()
的时候没有权限删除用户的浏览数据。
解决办法:
定义浏览器的时候设置参数 'userDataDir': r'D:\temporary'
,指定一个用户可以执行的目录,这样的话就可以了。
但是这样的话,相当于保存了用户的浏览数据。
可能又会碰到这么个错误,事件循环打开浏览器后,并没有执行,直接返回结果。
看了一下文档,调用 createIncogniteBrowserContext()
直接打开一个无痕浏览器。这样就爽多了
关闭的时候需要注意分开关闭,无痕关闭,正常打开的浏览器也需要关闭。
pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.
解决办法:这是由于库本身的问题。pyppeteer 库的问题。
具体可参考 天猫淘宝知乎爬虫神器 -- Pyppeteer
也可以降低 websockets 的版本,改为 6.0 的版本
pip install websockets==6.0
这样问题就会少很多
这个文章会一直更新,碰到了就会更新,未完待续。。。
本文分享自 Python爬虫scrapy 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!