聊聊爬取某团数据
聊聊爬取某团数据
正所谓：民以食为先，食以安为先，今天我们来爬取某团的美食店家数据，看看有什么好吃的，有哪些优惠套餐。
爬前分析
URL请求参数
首先进入美团并打开开发者工具，如下图所示：
可以发现商店数据保存在上图中的红框3中的URL链接，那么我们看看该URL长什么样：
https://fs.meituan.com/meishi/api/poi/getPoiList?cityName=%E4%BD%9B%E5%B1%B1&cateId=0&areaId=0&sort=&dinnerCountAttrId=&page=1&userId=1570290508&uuid=6c096f87c97a427abf04.1640047401.1.0.0&platform=1&partner=126&originUrl=https%3A%2F%2Ffs.meituan.com%2Fmeishi%2F&riskLevel=1&optimusCode=10&_token=eJx1T01vqkAU%2FS%2BzLXFmhBnApAu0ArZIpT5KselCEZkRhcKMqDT9750mvsVbvOQm5%2BOenNz7BdrZFowwQjZCGujyFowAHqABBRqQQm2ogRDBBBGCDA1k%2F3qWZWpg074%2BgNG7QUyNEvPj13hR%2Bh3rlGomtT60Gx0qOjTU%2FGZmKgKYlJ9iBOFODI45l6d1NcjqI1RcMA7VCf8JANVw%2FKMaFJY3XN9Q%2FtVz9YqqELyoFMsfz4d9jJtz70Qsv1uy1eZ6nbDkLXT4yo1rfRc7U%2F2UcbdZeil6WsRyUUYLFIrSrmXweqdzq7qgq5F3IopRbTv2uJPWpWwhhPvLKewT%2FzBji9MyJbx6CJrg8siDJLPKPi%2FmdRZw17aem252kIRumgOdsvETT22yLXAgd1EToa7dTqafMabobDcJ9pI%2B8Ff%2BvK08XX8Ztqx0G7upNxYU%2Bi7amxO%2FoDXufZqm42tSEOkxc6Xnrums92HqPAvheQitw8J23mC83Mb34PsHk8iWQw%3D%3D
其中token参数值是我们常人不能看懂的，点击网页的下一页，可以发现，新的URL请求参数只有page、originUrl、token这三个请求参数发生变化，其中page参数、orginUrl参数是控制翻页而且有规律的，token参数是没规律的，所以我们只要破解token加密参数的加密方式就可以获取到该URL链接的所有数据了，由于token参数最后一个字符是以等号结尾，那么有极大可能是通过base64加密的。
代码测试
那么我们来简单地写个爬虫测试，来测试使用这些参数能不能获取数据，主要代码如下所示：
url='https://fs.meituan.com/meishi/api/poi/getPoiList?'
params = {
'cityName': '佛山',
'cateId': '0',
'areaId': '0',
'sort': '',
'dinnerCountAttrId': '',
'page': '2',
'userId': '自身的ip',
'uuid': '47e30751bdcc4cb3b9ca.1639966171.1.0.0',
'platform': '1',
'partner': '126',
'originUrl': ' https://gz.meituan.com/meishi/pn2/',
'riskLevel': '1',
'optimusCode': '10',
'_token': 'eJyFT8luo0AQ/Ze+BrlplgYszcEYxBYWAzZ2ohwwBpsQmh07jubf05Gcw5xGKukt9fRU9QV66wSWiGUVlmXAnPdgCdCCXWDAgHGgGyywrMgjJIsCYkD2ryfL1Dv2Ow0sXwVRYrAovf0YIdWviMeYkbD8xjwoRykn0PnJWDQCLuPYDksIi2FR5+U4pWSRNTWkfLiUsCUcpGf8L4QgoIV1TAspVg9MHzj+apd+RtuG8kwoy+3rxz1D3uqub9RczbNZC82P2febudqIm1ifbGOVBdPRcG6w1ZWws5KuOqunlacc3LgtDjlRruJhHSp7jbPVlsg6JO9GFEgShgEpLqc+skhnF4X+8nTAfmnttd7gIyTZ6W0tXurReub3vPd0jMw2Tuvmup0MP4oEsZs8bu0MVbMtVIdvPpvASBWvdRsfOkkKwxR5Wk6m8qRMRuLwc2hApODO1VzZDePumR+Ctj3vSRrX+MXc9e+yudUcuKtW6ee9cZLE8s3rWnKd6Lb9A/5+A0x9m9s=',
}
#发送网络请求
response=requests.get(url,headers=headers,params=params).json()
print(response)
运行结果如下所示：
我们通过URL的参数可以获取到数据，但过几分钟后再用上面的代码来获取数据就会报错，如下图所示：
可以推测这token加密最重要的参数与时间有关。
token加密
打开开发者工具，点击右上角三个小点，选择Search，搜索token，如下图所示：
搜索结果如下图所示：
可以发现，只有一个js文件，双击打开该js文件，并搜索token，如下图所示：
从图中可以发现，token参数值是d这个变量，而d由window.Rohr_Opt.reload()方法获得，在该方法中要传递p参数，问题来了p参数是什么呢，我们在2528行代码设置断点，并刷新页面，如下图所示：
是不是觉得p参数的值很熟悉，该参数正是我们要访问的URL链接而且没有token值。那么我们进入window.Rohr_Opt.reload()方法中，看看该方法是怎样的，如下图所示：
该方法大概意思是创建jw，jx变量，把jv值进行切割处理，将处理好的jv赋值给jx并传递到iJ()方法中，再把iJ()方法的返回值赋给iP.sign。我们在上一步中的代码测试中推测token加密与时间有关，果然不出所料，该方法确实需要传递时间参数。通过new Date().getTime()方法获取到的时间传递到iP.cts中，再把iP参数传递到iI()方法中并把返回值返回给jw，最后通过encodeURIComponent()进行编码，并结果返回。
那么我们在3369行代码中设置断点，并刷新页面，如下图所示：
可以发现该jv正是我们上面所说的p参数，经过系列的切割，最终得到的jx，那么我们进入iJ()方法并观察该方法的作用，如下图所示：
在iJ()方法中并没有看到有关随机数之类的参数、方法，并且经过一系列的寻找，也没有发现有有关随机数、时间的参数和方法，只要在网页中下图中的选项不变，那么iJ()返回出来的是定值。：
如下图所示，jx参数值除了page、originUrl这两个参数可能会发生变化，其他的都是定值：
在代码测试中，同一个token参数值，前几分钟可以请求成功，但过几分钟都就请求失败，那么可以推测时间是最重要的参数，而page、originUrl参数可以看作是定值。其中iP.cts负责存放系统时间，
我们进入浏览器的控制台console，并在控制台输入iP，如下图所示：
我们发现里面有一个名为cts参数，而在上面的iP.cts中接收一个系统时间。
要么一开始iP中的cts参数值为空，当代码运行到3364行的时候，再将系统时间传进去；要么是一开始有个时间，当代码运行到3364行的时候，再将cts参数值进行替换当前系统时间。不管怎样，cts参数都是当前系统的时间。
在控制台iP中，还有一个参数ts，而且比cts参数值小，在代码测试中，同一段代码，一开始可以运行并获取数据，而过几分钟后就运行会报错，这就说明了ts与cts影响着token参数，经过我们的测试，修不修改这个ts参数对token没影响，
将iP中的cts参数值替换后，再将iP传入iI()方法进行处理加密，最后返回jw。
进入iI()方法并观察其作用，如下图所示：
iI()方法大概是通过delate算法来把传入的iP数据进行压缩，压缩后断点代码再使用iD方法进行处理。那么问题来了，这些方法都是一个接着一个来套用，iD方法肯定又套用了其他方法，这样我们很难通过构造js方法来破解token加密。
怎么办好呢，首先token参数最后一个字符是以等号结尾，那么有极大可能是通过base64加密的，而且token参数加密最重要的是cts时间参数，那么我们投机取巧，只需要将在源代码Sources中复制jw参数下来，通过base64解码并将cts时间参数值替换成当前系统时间，再通过base64加密就可以获取到token参数值了。
好了，token参数加密已经成功通过我们的投机取巧破解出来了，接下来我们正式爬取某团商店的数据了。
实战演练
token参数获取
我们来复制jw参数并通过解码、替换、编码等一些列操作来获取token参数值，主要代码如下所示：
jw= "eJx1T11Po0AU/S/zCikzAwzQxIeCWqELlkpbWeMDRRgoA7QMUNH433dMui8mJjc5H/fk5N5P0LlvYI4gtCCUwZh1YA7QDM4IkEHPxYZoEGsGJgRCIoP0h6cL79DtbsH8BauGTHTj9dvYCP2CVEJkg5iv8pViQbEm5jvjiggo+v7E54pCP2Z1VvZD0szStlYE50WpiBN+CQDRUEeiQWB1xeSK/X/ti1dEBS9pI1jmXdgxQsNiuguLTCnpyb23H+hbmXrT/RNbsYtPfUTWnNvnpXPRC7NCLQv1Y2ZuWhaN0FobeLt3JG9y7obcNReKa1lZ7EaTlL/reTN5xWrrNJjyvN6zahPAOMVSU5d26z11BR32AWpspvZdFDgw92kwHeE+S3Rt2U/9Y9yOf1aLS/FwCuzlJOEgX7FtoeH4uVfoZuAUcXZ7dlVpPUaHs+KHUYVKS3u3M/PxUFuLRJdSK2xqvJsqi8V/E13dbSvOUKY9F6PnNeHNDfj6By7+lng="
# 将jw进行解码
jw= base64.b64decode(jw)
# 解码后的参数进行解压转换为字符串
jw = str(zlib.decompress(jw), 'utf-8')
首先我们在源代码Sources中复制jw参数值，通过base64.b64decode()方法将jw参数进行解码，然后在通过zlib.decompress()方法对解密后的jw参数进行解压并用str()方法将解压后的字节转换为字符串。
# 将字符串转换为表达式
jw = eval(jw)
# 将jw中的cts参数替换
jw['cts'] = int(time.time() * 1000)
# 编码字符串
jw = str(jw).encode()
# 将jw进行base64编码
token = base64.b64encode(zlib.compress(jw)).decode()
再通过eval()方法将字符串jw当成有效的表达式来求值并返回计算，通过time.time()方法获取当前系统时间并将jw中的cts参数的时间替换，再将替换后的jw转换为字符串并使用encode()方法进行编码，最后使用base64.b64encode进行编码形成我们要的token参数。
数据获取
首先我们发送网络请求，主要代码如下所示：
def get_data():
#获取token参数值
token=get_token()
params = {
'cityName': '广州',
'cateId': '0',
'areaId': '0',
'sort': '',
'dinnerCountAttrId': '',
'page': '1',
'userId': '自身的id',
'uuid': '47e30751bdcc4cb3b9ca.1639966171.1.0.0',
'platform': '1',
'partner': '126',
'originUrl': ' https://gz.meituan.com/meishi/',
'riskLevel': '1',
'optimusCode': '10',
'_token': token,
}
#发送网络请求
repsonse=requests.get(url,headers=headers,params=params)
#将获取的数据传递在自定义方法analysis_data
analysis_data(repsonse.json())
首先我们自定义字典params来存放请求所需的参数，再通过requests.get()方法来发送网络请求并将请求响应的json数据传递给自定义方法analysis_data()中。
def analysis_data(data):
# 提取解析数据
data_list=data.get('data').get('poiInfos')
for i in data_list:
dealList= i.get('dealList')
shop = {
# 商店名
'shop_name': i.get('title'),
# 评价数
'allCommentNum': i.get('allCommentNum'),
# 评分
'avgScore': i.get('avgScore'),
# 平均消费
'avgPrice': i.get('avgPrice'),
# 商店地址
'address': i.get('address'),
# 优惠套餐
'dealList': ''
}
# 创建优惠套餐数据列表
food_taocan=[]
for i in dealList:
#将数据保存在优惠套餐列表中
food_taocan.append(i.get('title')+'价格——'+str(i.get('price')))
#将优惠套餐列表中的数据转换为字符串，并保存在shop字典中的dealList
shop['dealList']=','.join(food_taocan)
# 将shop字典中的值以列表的形式传递到自定义方法saving_data中
saving_data(list(shop.values()))
自定义方法analysis_data接收到数据后，就开始解析数据并将解析到的数据传递给自定义方法saving_data()方法中。
保存数据
在上一步我们成功获取到数据了，接下来我们将获取到的数据保存在MySQL数据库中，主要代码如下所示：
def saving_data(data):
# 连接数据库
db = pymysql.connect(host=host, user=user, password=passwd, port=port, db='meituan')
# 获取游标
cursor = db.cursor()
# 插入数据，其中插入的字段分别为商店名，评论数，评分，平均消费，地址，优惠套餐
sql = 'insert into shopdata(shop_name,allCommentNum, avgScore, avgPrice,address,dealList) values(%s,%s,%s,%s,%s,%s)'
try:
# 执行单条sql语句插入数据
cursor.execute(sql,data)
print(data)
# 提交数据
db.commit()
except Exception as e:
# 当保存数据不成功将打印错误信息并取消当前执行的操作
print(e)
db.rollback()
db.close()
首先我们调用pymysql.connect()方法来连接数据库，通过.cursor()获取游标，再通过.execute()方法执行单条的sql语句，执行成功后返回受影响的行数，使用了try-except语句，当保存的数据不成功，就调用rollback()方法，撤消当前事务中所做的所有更改，并释放此连接对象当前使用的任何数据库锁。好了，主要代码已经编写好了，接下来将编写启动爬虫代码，代码如下所示：
if __name__ == '__main__':
for i in range(1,10):
get_data(i)
结果展示
好了，爬取某团商店数据就讲到这里了，感谢观看！！！
腾讯云开发者
