首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >爬虫学习(11):爬取虎牙美女直播高清照片

爬虫学习(11):爬取虎牙美女直播高清照片

作者头像
川川菜鸟
发布2021-10-18 14:39:15
发布2021-10-18 14:39:15
7450
举报

本来想展示下爬取下来的图片,结果被官方审核未通过,说内容低俗,所以我就不放图了,可以自己去跑一下,开车了,哈哈,感觉不怎么低俗吧,害,上代码!

代码语言:javascript
复制
import requests
from lxml import etree
import time
url='https://www.huya.com/g/4079/'
header={
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
}
response=requests.get(url=url,headers=header)#发送请求
# print(response.text)
data=etree.HTML(response.text)#转化为html格式
image_url=data.xpath('//a//img//@data-original')
image_name=data.xpath('//a//img[@class="pic"]//@alt')
# print(image_url)
path='E://photo//'
for ur,name in zip(image_url,image_name):
    url=ur.replace('?imageview/4/0/w/338/h/190/blur/1','')
    title=name+'.jpg'
    response = requests.get(url=url, headers=header)  # 在此发送新的请求
    with open(path+title,'wb') as f:
        f.write(response.content)
    print("下载成功" + name)
    time.sleep(2)

我最近才学到xpath吧,所以就用的xpath,前面我已经用过正则做过类似的爬取了,其实发现爬虫真的不难 这是我私人群:970353786喜欢python的可以跟我一起交流,我也正在努力学习中。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/02/03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档