Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >如何解决爬虫中网站需要进行登陆问题

如何解决爬虫中网站需要进行登陆问题

作者头像
小白学大数据
发布于 2024-06-08 09:33:44
发布于 2024-06-08 09:33:44
27100
代码可运行
举报
文章被收录于专栏:python进阶学习python进阶学习
运行总次数:0
代码可运行

作为爬虫工作者,在日常爬虫工作中遇到目标网站的反爬机制只是其中的一部分困难。偶尔还会遇到我们访问一些目标凝网站的时候需要使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解。还有就有时候我们访问的网站需要完成一系列的指令,特别是加了代理,就需要同一个ip去完成这些指令,这时我们就需要通过设置随机数来解决。 关于随机数的一些设置我们可以分享给大家参考下,因为在访问目标网站过程中添加代理IP和随机数都是一起的,所以就把代理IP在爬虫程序里面的使用方式分享给大家交流学习下。 #! -- encoding:utf-8 -- import requests import random import requests.adapters

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 要访问的目标页面
targetUrlList = [
    "https://httpbin.org/ip",
    "https://httpbin.org/headers",
    "https://httpbin.org/user-agent",
]

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
    "host": proxyHost,
    "port": proxyPort,
    "user": proxyUser,
    "pass": proxyPass,
}

# 设置 http和https访问都是用HTTP代理
proxies = {
    "http": proxyMeta,
    "https": proxyMeta,
}

#  设置IP切换头
tunnel = random.randint(1, 10000)
headers = {"Proxy-Tunnel": str(tunnel)}


class HTTPAdapter(requests.adapters.HTTPAdapter):
    def proxy_headers(self, proxy):
        headers = super(HTTPAdapter, self).proxy_headers(proxy)
        if hasattr(self, 'tunnel'):
            headers['Proxy-Tunnel'] = self.tunnel
        return headers


# 访问三次网站,使用相同的tunnel标志,均能够保持相同的外网IP
for i in range(3):
    s = requests.session()

    a = HTTPAdapter()

    #  设置IP切换头
    a.tunnel = tunnel
    s.mount('https://', a)

    for url in targetUrlList:
        r = s.get(url, proxies=proxies)
        print r.text

这里我们可以通过检查从每个请求返回的状态代码来验证这些请求结果,它不会总是能让你知道登录阶段是否是成功的,但是可以用来作为一个验证指标。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-06-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
“五一”出游你回来的机票还有吗?
今年”五一“已经是可以预见的火爆了,特别是关了三年的大学生们成为了穿梭城市的“特种兵”。短视频平台上的都是各种极限24小时打卡旅游地,景区充斥着各种中老年团,各个地区旅游局的局长为了宣传各种卷。
小白学大数据
2023/04/21
3480
隧道转发的爬虫代理随机数(2)
什么是隧道转发爬虫代理:“亿牛云爬虫代理IP”通过固定云代理服务地址,建立专线网络链接,代理平台自动实现毫秒级代理IP切换,保证了网络稳定性和速度,避免爬虫客户在代理IP策略优化上投入精力。
用户6172015
2021/03/24
4410
python爬虫针对需要登陆操作的技巧分析
在日常爬虫中我们经常会遇到一些目标网站需要带上cookie才能获取数据,cookie指某些网站为了辨别用户身份、进行sessionn跟踪而储存在用户本地终端上的数据(通常经过加密)。
小白学大数据
2023/05/05
3880
汽车行业也开始搞降价大促销活动了
最近两天,关于湖北购车最高补贴9万元超级大促销席卷朋友圈和社交平台,很多的消费者参加了这个大促销活动,很多4S店表示目前已经无法接单,连展车都卖掉了。
小白学大数据
2023/03/09
5.9K0
自学python如何找到好的老师
Python 已经成为一种再主流不过的编程语言了。许多同学开始学习它,又不知道该如何入手,需要依据每个人的情况来决定,想要自学python对各方面有一定要求的,比如说基础好、自学能力强、理解能力强,这种情况是可以选择自学python的。爬虫自学重点就是需要掌握数据抓取、数据提取、数据存储、爬虫并发、动态网页抓取、scrapy框架、分布式爬虫、爬虫攻防、数据结构、算法等知识。很多自学python的同学收集了很多的学习网站,关注了很多python博主,但是却不知道应该选择哪个进行深入的学习。
小白学大数据
2023/03/29
1.1K0
python采集keep运动数据
我国2009年确立“全民健身日”;2012年,“广泛开展全民健身运动”写入十八大报告;到2014年上升为国家战略,全民健身的分量越来越重。推动全民健身和全民健康深度融合,通过全民健身实现全民健康。 全民健身运动在我国越来越普及,每天清晨和傍晚时分,城市的广场上、公园里,到处是运动健身的人们,跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富,人们在运动中获得越来越多的幸福感。 随之诞生出了很多运动app,例如keep,咪咕,微信等,大家可以通过app随时记录自己的运动数据,特别是对于很多的减肥人群来说,通过运动数据可以更好的让自己坚持下去。我身边就有很多的朋友使用kee使用keep来记录锻炼信息,想了解都有哪些群体使用keep这款健身软件,今天我们就使用python抓取些关于keep用户的跑步数据。 #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ “https://https://www.gotokeep.com”, “https://https://www.gotokeep.com//headers”, “https://hhttps://www.gotokeep.com//user-agent”, ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = “t.16yun.cn” proxyPort = “31111” # 代理验证信息 proxyUser = “username” proxyPass = “password” proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % { “host”: proxyHost, “port”: proxyPort, “user”: proxyUser, “pass”: proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { “http”: proxyMeta, “https”: proxyMeta, } # 设置IP切换头 tunnel = random.randint(1, 10000) headers = {“Proxy-Tunnel”: str(tunnel)} class HTTPAdapter(requests.adapters.HTTPAdapter): def proxy_headers(self, proxy): headers = super(HTTPAdapter, self).proxy_headers(proxy) if hasattr(self, ‘tunnel’): headers[‘Proxy-Tunnel’] = self.tunnel return headers # 访问三次网站,使用相同的tunnel标志,均能够保持相同的外网IP for i in range(3): s = requests.session() a = HTTPAdapter() # 设置IP切换头 a.tunnel = tunnel s.mount(‘https://’, a) for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text
小白学大数据
2024/06/08
3880
python爬虫中Session 和 cookie的使用
在日常采集数据的过程中,我们经常会遇到有些页面只有登录之后我们才可以访问,并且在登录之后可以连续进行一系列操作,但是有些时候又需要重新进行登录。甚至有些网站登录很长的时间都不会失效,这种情况又是为什么?其实这里面涉及到 Session 和 cookie 的相关知识。
小白学大数据
2023/03/03
1.3K0
python爬虫系列之Session相关知识
作为爬虫工作者,日常工作中常常遇到采集的页面限制我们的访问,尤其在频繁刷新或者访问一个页面时会引起网站的一些列反爬措施。网站的反爬措施有很多,今天我们就来谈谈 Session 和 cookie 的在python爬虫中的相关知识。
小白学大数据
2023/06/12
4560
爬虫程序部署后常见问题整理
在爬虫程序本地测试运行通过之后,一些同学就迫不及待的将程序部署到服务器上进行正式运行,然后跑一段时间之后就出现了各种错误甚至程序退出,这里将一些常见的问题整理下供参考:
python亦希
2022/01/14
1930
爬虫遇到需要登录的网站怎么解决
在日常爬虫工作中我们会遇到这样需要先进行登录才能获取数据的网站,那在遇到这样的情况时我们需要怎么处理呢?今天我们就来简单的分享学习下爬虫对需要登录情况下得处理方式。 通常情况下,用户通过浏览器登录网站时,在特定的登录界面,输入个人登录信息,提交之后便能返回一个包含数据的网页。在浏览器层面的机制是,浏览器提交包含必要信息的http Request,服务器返回http Response。在运行爬虫过程中我们可以通过2种方式进行登录。 1、使用表单登陆 这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。
小白学大数据
2024/06/08
8720
Scrapy爬虫模拟登陆参考demo
对于一些刚入行爬虫的小伙伴来说,刚开始的时候觉得所有的网站无非就是分析HTML、json数据,很容易忽忽略掉一个很重要的问题,那就是目标网站的反爬虫策略,很多目标网站为了反爬虫经常更新反爬策略,我们想要拿到数据,就需要针对它们的反爬虫来制定绕过方法,比如它识别你的UserAgent,那你可能就需要伪造、它限制IP请求次数,你可能就需要限速或者改变ip、它用验证码来识别你是人是机,你就需要模拟人的操作并且正确填写它给你弹出的验证码等等。
小白学大数据
2023/06/20
3380
爬虫中带验证码登陆的cookie
什么是cookie? Cookie是指网站为了辨别用户身份,进行 Session跟踪而存储在用户终端的数据。很多网站是要访问是需要先进行登陆的,所以在我们访问之前先进行cookie的登陆。 使用cookie登陆 有些网站是需要验证码才能登陆的,所以使用cookie登陆后,网站服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解决。 以下就以代码的方式访问获取cookie #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ “https://www.weibo.com”, “https://httpbin.org/headers”, “https://httpbin.org/user-agent”, ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = “t.16yun.cn” proxyPort = “31111” # 代理隧道验证信息 proxyUser = “16RIULPS” proxyPass = “524586” proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % { “host”: proxyHost, “port”: proxyPort, “user”: proxyUser, “pass”: proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { “http”: proxyMeta, “https”: proxyMeta, } # 访问三次网站,使用相同的Session(keep-alive),均能够保持相同的外网IP s = requests.session() # 设置cookie cookie_dict = {“JSESSION”:“123456789”} cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) s.cookies = cookies for i in range(3): for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text 若存在验证码,此时采用response = requests_session.post(url=url_login, data=data)是不行的,做法应该如下: response_captcha = requests_session.get(url=url_login, cookies=cookies) response1 = requests.get(url_login) # 未登陆 response2 = requests_session.get(url_login) # 已登陆,因为之前拿到了Response Cookie! response3 = requests_session.get(url_results) # 已登陆,因为之前拿到了Response Cookie!
小白学大数据
2024/06/08
1710
快速爬取登录网站数据
部分网站需要登录才能允许访问,因此爬虫需要获取登录cookie,然后通过爬虫代理使用该cookie进行数据采集。本示例按照以上流程进行实现如下: 1 模拟表单登陆 通过于post请求向服务器发送表单数据,爬虫将返回的cookie进行存储。
小白学大数据
2024/06/08
3080
python爬虫采集企查查数据
企查查,一个查询企业信息的网站,这个网站也是网络爬虫选择采集的对象,这个网站反爬提别厉害,没有一定的爬虫技术,是无法采集成功的。
用户6172015
2021/05/25
6.3K0
爬取需要登录的网站
爬虫在采集网站的过程中,部分数据价值较高的网站,会限制访客的访问行为。这种时候建议通过登录的方式,获取目标网站的cookie,然后再使用cookie配合代理IP进行数据采集分析。 1 使用表单登陆 这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。
小白学大数据
2024/06/08
3470
python爬虫中如何获取cookie和添加代理池
网站反爬机制的是日常爬虫中要解决的基础问题,其中一项就是通过添加cookie,因为我们在访问网站的时候大多数都是需要带cookie的,为什么要有这个呢?其实可以理解成我们在这个网站的临时身份证,为什么是说是临时的呢,因为cookie是存在有效期的,这个有效期各个网站都是不同的,要取决于这个网站本身。
小白学大数据
2023/07/04
9540
python中urllib的使用
urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。
小白学大数据
2023/05/25
3320
python爬虫怎么解决超时timeou错误
爬虫在运行过程会出现各种报错的问题,比如当我们在进行网络爬虫的时候,一般都是先进行网站的访问才能够正常的进行数据的获取,但是有的时候进行网站的访问的时候,总是会出现请求超时的情况。这个就可能是因为网络状况不好或者是服务器的网络出现延迟导致的我们访问请求超时。或者又是在进行网络端口连接的时候时间的延迟也会导致或者是在请求量比较大,目标网站承重量有限的情况下可能会出现下面这种报错。
小白学大数据
2023/06/30
4470
应对反爬之前先懂什么是网站反爬
爬虫的出现是大数据时代的必然产物,是各行各业数据分析必不可少的存在。爬虫就像一个虫子密密麻麻地爬行到每一个角落获取数据,虫子或许无害,但总是不受欢迎的。
小白学大数据
2023/05/04
3220
爬虫中使用代理IP的一些误区
作为爬虫工作者在日常工作中使用爬虫多次爬取同一网站时,经常会被网站的IP反爬虫机制给禁掉,为了解决封禁 IP 的问题通常会使用代理IP。但也有一部分人在HTTP代理IP的使用上存在着误解,他们认为使用了代理IP就能解决一切问题,然而实际上代理IP不是万能的,它只是一个工具,如果使用不当,一样会被封IP。
小白学大数据
2022/10/17
3800
相关推荐
“五一”出游你回来的机票还有吗?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验