在几年前,互联网上曾经出现过一款生成朋友圈相册的产品。但是它的流程说起来很不互联网:
最开始听起来觉得很牛逼,心想这款产品是怎么拿到个人的朋友圈数据的,直到看到它的使用流程首先需要添加微信好友,瞬间就笑着明白了。
其实,朋友圈一直是很多人的爬虫想要采集的领地。
在之前,朋友圈只能在手机或Pad上查看,要想获取朋友圈的数据,要么手工进行人肉复制,要么通过钩子进行处理。
这两种操作一个太低端了,一个又太高端了。
有没有稍微简单一点的呢?用 Appnium 或许是一个方法,操作起来比钩子简单多了,但是,Appnium 的环境配置,就会吓跑很多朋友了。
所以,Appnium 还是门槛稍高。
直到最近,微信电脑版开始支持朋友圈,事情似乎出现了转机!
通过 PyWinAuto 和 PyAutoGui 这两个工具,实现对桌面程序的自动化控制和数据采集。
这两个工具,是否可以应用在微信朋友圈数据的采集上呢?
州的先生,立马写了个 Demo 来测试。
首先,引入所需的库:
import psutil
import pywinauto
from pywinauto.application import
Application
其中:
然后,我们通过 psutil 库获取到微信电脑版程序的进程ID:
PID =
0
for proc in psutil.process_iter():
try:
pinfo = proc.as_dict(attrs=['pid',
'name'])
except psutil.NoSuchProcess:
pass
else:
if
'WeChat.exe'
== pinfo['name']:
PID = pinfo['pid']
这个进程ID用来提供给 PyWinAuto 以连接微信电脑版。
然后,用 PyWinAuto 实例化一个应用:
app =
Application(backend='uia').connect(process=PID)
接着控制微信电脑版,把朋友圈窗口打开:
win = app['微信']
pyq_btn = win.child_window(title="朋友圈", control_type="Button")
cords = pyq_btn.rectangle()
pywinauto.mouse.click(button='left', coords=(cords.left +
10, cords.top +
10))
以上代码,就实现了 Python 代码控制微信电脑版打开朋友圈窗口。
效果如下所示:
朋友圈的窗口是打开了,如果获取里面的数据呢?
我们先用 .dump_tree() 方法看看朋友圈窗口里面各个控件的结构是怎样的:
print(pyq_win.dump_tree())
这会把朋友圈窗口内所有显示出来的组件的结构打印到控制台,其显示的内容如下图所示:
我们来看一个具体的例子,例如朋友圈内的这条信息:
它在 dump_tree() 中的结构如下所示:
可以看到,窗口内的每一个信息,比如联系人的名称、朋友圈内容、朋友圈发布时间等等都是各种组件构成的。
我们可以通过获取和控制这些个组件,来实现数据的提取。
比如在这个例子里,我们就可以通过定位到 Edit 这个组件来获取到这条朋友圈的内容:
跟其他的工具比起来,是不是算是异常简单了?
不仅简单,效果还很不错。
感兴趣的朋友们,赶紧试试吧!