如何批量爬取下载搜狗图片搜索结果页面的图片?以孙允珠这个关键词的搜索结果为例:
https://pic.sogou.com/pics?query=%E5%AD%99%E5%85%81%E7%8F%A0&mode=2
翻页规律如下:
这三个URL都指向同一个服务,即搜狗图片搜索的API,用于获取孙允珠相关的图片搜索结果。它们之间的规律主要体现在查询参数 start 和 xml_len上:
1.start 参数:这个参数控制了搜索结果的起始位置。在第一个URL中,start 的值是384,第二个URL中是336,第三个URL中是288。这表明每次请求的搜索结果是从前一次请求的结果之后开始获取的。例如,如果每页显示48张图片(由 xml_len参数决定),那么第一个URL将从第8页开始(384 / 48 = 8),第二个URL从第7页开始(336 / 48 = 7),第三个URL从第6页开始(288 / 48 = 6)。
总结规律:这三个URL通过调整 start 参数的值,实现了分页获取搜索结果的功能。每次请求都是从前一次请求的下一页开始获取图片,每次获取48张图片。这种设计允许用户或应用程序逐步加载更多的搜索结果,而不需要一次性加载所有结果,从而优化了数据加载的效率和用户体验。
返回的是json数据:
{
"status": 0,
"info": "ok",
"data": {
"adPic": [
{
"docId": "e154002750821088-37dc5468319bfb35-9215f4c834c26f0856ee7b118f22b559",
"index": 0,
"mfid": "128a42e5ea3535cd",
"thumbHeight": 1043,
"thumbWidth": 500
},
{
"docId": "abe1eea3ca79fc28-c577ebdcb0f3dbcc-a5f4cbbb2bfe711fad33ce48dce150b3",
"index": 1,
"mfid": "46ff91955836d2f8",
"thumbHeight": 767,
"thumbWidth": 499
},
{
"docId": "c286ca7ecc6f7a79-20248c558009c911-5d0f8afe47cd75de9dcce97d6d0e92d4",
"index": 2,
"mfid": "99a6652c227b8833",
"thumbHeight": 768,
"thumbWidth": 500
}
],
"blackLevel": 5,
"cacheDocNum": 48,
"hasPicsetRes": 0,
"isQcResult": "0",
"is_strong_style": 1,
"items": [
{
"anchor1": "",
"anchor2": [],
"anchor_extend": {},
"author": "http://pic.sogou.com",
"author_name": "",
"author_pageurl": "",
"author_picurl": "",
"author_thumbUrl": "https://i02piccdn.sogoucdn.com/0000000000000000_author",
"author_thumb_mfid": "0000000000000000",
"beauty": 7,
"biaoqing": 0,
"ch_site_name": "搜狐网",
"clarity": 5,
"content_major": "裙子的部分是一个直筒型的规划,简略直接的裙边线条调配上裙子内向缩短的规划,使裙子的风格偏向于简练,内敛的风格。别的延展至膝部的裙尾也遮盖了大部分腿部线条,调配浅褐色的使用,营建出了一种保守,庄雅的感觉。 衣服的外层有一个以腰部为支点,斜向的X型的面料系",
"cutBoardInputSkin": "c24c00231bcf459d|11|1718942349116|99418a699300bedc52a7df9b832a7aa0|http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20200212%2Fab9b05decd8d4b4eb39bb287cf0c14ad.jpeg",
"docId": "abe1eea3ca79fc28-c577ebdcb0f3dbcc-4b0aa372e8378eaa63bf649210d0bfc4",
"docidx": 96,
"gifpic": 0,
"grouppic": 1,
"height": 991,
"https_convert": 0,
"index": 0,
"lastModified": "1581484601",
"like_num": "0",
"locImageLink": "https://i02piccdn.sogoucdn.com/cf2dc47f12f2d0e9",
"mf_id": "cf2dc47f12f2d0e9",
"mood": "0x80",
"name": "ab9b05decd8d4b4eb39bb287cf0c14ad.jpeg",
"oriPicUrl": "http://5b0988e595225.cdn.sohucs.com/images/20200212/ab9b05decd8d4b4eb39bb287cf0c14ad.jpeg",
"painter_year": "",
"picUrl": "http://5b0988e595225.cdn.sohucs.com/images/20200212/ab9b05decd8d4b4eb39bb287cf0c14ad.jpeg",
"pic_norm_score": 0.998463,
"pic_porn_score": 0.000002,
"pic_sexy_score": 0.001535,
"pic_vulgar_score": 0,
"publish_time": "1581448740",
"publishmodified": "",
"rank": -100.9800033569336,
"size": 118807,
"summarytype": "NormalSummary",
"thumbHeight": 569,
"thumbUrl": "https://i02piccdn.sogoucdn.com/cf2dc47f12f2d0e9",
"thumbWidth": 499,
"title": "孙允珠 浅咖缠叠修身礼裙鉴赏",
"type": ".jpeg",
"url": "https://www.sohu.com/a/372330552_100198733",
"water_mark_confidence": 0.78199702501297,
"width": 870,
"did": 97,
"scale": 0.8769771528998243,
"imgTag": "",
"bgColor": "#e3ddf6",
"imgDefaultUrl": "/d?query=%E5%AD%99%E5%85%81%E7%8F%A0&forbidqc=&entityid=&preQuery=&rawQuery=&queryList=&st=&channel=pc_pic&mode=2&did=97"
},
图片下载地址在 "picUrl"这个键的值中。
但是写了爬虫程序后,json数据爬取失败。仔细检查请求头,原来是里面加了时间戳:
X-Time4p 是一个自定义的HTTP头部字段,通常用于传递与时间相关的信息。在这个上下文中,它可能被用来传递服务器处理请求的时间戳。不同的 X-Time4p 值表示不同的时间戳,这些时间戳对应于服务器处理不同请求的时刻。
例如,X-Time4p: 1718942347427 和 X-Time4p: 1718945416096 之间的区别在于它们代表了两个不同的时间点:
1718942347427 对应于服务器处理第一个请求的时间。
1718945416096 对应于服务器处理第二个请求的时间。
这两个时间戳之间的差异(大约3068677秒)表明服务器在处理这两个请求之间经过了多长时间。在Python脚本中,X-Time4p 的值应该与请求头中的其他字段一起设置,以模拟真实的浏览器请求。需要在不同的请求中使用不同的时间戳,因为要模拟不同时间点的请求,或者服务器可能期望看到不同的时间戳以正确处理请求。
在Python中生成时间戳,你可以使用内置的time模块中的time()函数。这个函数返回自1970年1月1日00:00:00(UTC)以来的秒数,这是一个常见的时间戳格式。
如果你想要生成类似于X-Time4p中使用的特定时间戳,你可以使用time.time()函数,然后根据需要调整返回的值。例如,如果你想要生成一个与给定时间戳相似的时间戳,你可以添加或减去一定数量的秒数。
'X-Time4p': str(int(time.time() * 1000)) # 生成当前时间的时间戳,单位为毫秒
在ChatGPT中输入提示词:
你是一个Python编程专家,写一个Python脚本,爬取网页图片:
请求网址:
https://pic.sogou.com/napi/pc/searchList?mode=2&start={pagenumer}&xml_len=48&query=%E5%AD%99%E5%85%81%E7%8F%A0&channel=pc_pic
{pagenumer}值从48开始,以48递增,一直到1008结束;
请求方法:
GET
状态代码:
200 OK
远程地址:
61.151.229.174:443
引荐来源网址政策:
no-referrer
请求标头
Accept:
application/json, text/plain, */*
Accept-Encoding:
gzip, deflate, br, zstd
Accept-Language:
zh-CN,zh;q=0.9,en;q=0.8
Connection:
keep-alive
Host:
Sec-Ch-Ua:
"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"
Sec-Ch-Ua-Mobile:
?0
Sec-Ch-Ua-Platform:
"Windows"
Sec-Fetch-Dest:
empty
Sec-Fetch-Mode:
cors
Sec-Fetch-Site:
same-origin
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36
X-Time4p:{thistime}
{thistime}是一个时间戳,比如这样:1718945416096,要用str(int(time.time() * 1000)) 来 生成当前时间的时间戳,单位为毫秒;
请求响应是多层嵌套的json数据,输出这个json数据到屏幕上;
将 JSON 字符串解析为一个 Python 字典,首先获取 "data" 键对应的子字典,然后访问子字典中的 "items" 键,"items" 键对应的值是一个列表,获取所有列表中"picUrl"键对应的值 ,这是一个图片url,将url写入Excel表格第1列,Excel表格文件保存到文件夹:"C:\Users\dell\Pictures\孙允珠"
注意:每请求一个网页,随机暂停3-6秒;
每一步都输出信息到屏幕
源代码:
import requests
import json
import time
import random
from openpyxl import Workbook
设置请求头部信息
headers = {
"Accept": "application/json, text/plain, */*",
"Accept-Encoding": "gzip, deflate, br, zstd",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Connection": "keep-alive",
"Host": "http://pic.sogou.com",
"Sec-Ch-Ua": '"Not/A)Brand";v="8", "Chromium";v="126", "Google Chrome";v="126"',
"Sec-Ch-Ua-Mobile": "?0",
"Sec-Ch-Ua-Platform": '"Windows"',
"Sec-Fetch-Dest": "empty",
"Sec-Fetch-Mode": "cors",
"Sec-Fetch-Site": "same-origin",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36"
}
Excel文件保存路径和文件名
excel_file = r"C:\Users\dell\Pictures\孙允珠\pic_urls.xlsx"
创建一个新的Excel工作簿
wb = Workbook()
ws = wb.active
ws.title = "Pic URLs"
ws.append("图片链接") # 添加表头
定义生成时间戳的函数
def generate_timestamp():
return str(int(time.time() * 1000))
主程序逻辑
base_url = "https://pic.sogou.com/napi/pc/searchList"
start_pagenum = 48
end_pagenum = 1008
page_increment = 48
for pagenum in range(start_pagenum, end_pagenum + 1, page_increment):
try:
构建请求URL和参数
url = base_url + f"?mode=2&start={pagenum}&xml_len=48&query=%E5%AD%99%E5%85%81%E7%8F%A0&channel=pc_pic"
thistime = generate_timestamp()
headers"X-Time4p" = thistime
发送GET请求
response = requests.get(url, headers=headers)
response.raise_for_status() # 检查请求是否成功
解析JSON响应
data = response.json()
输出JSON数据到屏幕上
print(f"获取到的 JSON 数据:\n{json.dumps(data, indent=2, ensure_ascii=False)}")
获取图片链接并写入Excel表格
if data and "data" in data and "items" in data"data":
items = data"data"
for item in items:
pic_url = item.get("picUrl")
if pic_url:
print(f"图片链接:{pic_url}")
ws.append(pic_url) # 写入Excel表格
else:
print("未找到图片链接")
else:
print("未找到data或items键")
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
随机暂停3-6秒
pause_time = random.uniform(3, 6)
print(f"随机暂停 {pause_time:.2f} 秒")
time.sleep(pause_time)
print("所有操作完成!")
保存Excel文件
wb.save(excel_file)
关闭Excel工作簿
wb.close()
获取到图片下载地址,然后用迅雷批量下载,这样下载速度更快:
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。