首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    爬虫中带验证码登陆的cookie

    什么是cookie? Cookie是指网站为了辨别用户身份,进行 Session跟踪而存储在用户终端的数据。很多网站是要访问是需要先进行登陆的,所以在我们访问之前先进行cookie的登陆。 使用cookie登陆 有些网站是需要验证码才能登陆的,所以使用cookie登陆后,网站服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解决。 以下就以代码的方式访问获取cookie #! -- encoding:utf-8 -- import requests import random import requests.adapters # 要访问的目标页面 targetUrlList = [ “https://www.weibo.com”, “https://httpbin.org/headers”, “https://httpbin.org/user-agent”, ] # 代理服务器(产品官网 www.16yun.cn) proxyHost = “t.16yun.cn” proxyPort = “31111” # 代理隧道验证信息 proxyUser = “16RIULPS” proxyPass = “524586” proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % { “host”: proxyHost, “port”: proxyPort, “user”: proxyUser, “pass”: proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { “http”: proxyMeta, “https”: proxyMeta, } # 访问三次网站,使用相同的Session(keep-alive),均能够保持相同的外网IP s = requests.session() # 设置cookie cookie_dict = {“JSESSION”:“123456789”} cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) s.cookies = cookies for i in range(3): for url in targetUrlList: r = s.get(url, proxies=proxies) print r.text 若存在验证码,此时采用response = requests_session.post(url=url_login, data=data)是不行的,做法应该如下: response_captcha = requests_session.get(url=url_login, cookies=cookies) response1 = requests.get(url_login) # 未登陆 response2 = requests_session.get(url_login) # 已登陆,因为之前拿到了Response Cookie! response3 = requests_session.get(url_results) # 已登陆,因为之前拿到了Response Cookie!

    01

    如何解决爬虫中网站需要进行登陆问题

    作为爬虫工作者,在日常爬虫工作中遇到目标网站的反爬机制只是其中的一部分困难。偶尔还会遇到我们访问一些目标凝网站的时候需要使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容。因此,需要验证码的情况可以使用带验证码登陆的cookie解。还有就有时候我们访问的网站需要完成一系列的指令,特别是加了代理,就需要同一个ip去完成这些指令,这时我们就需要通过设置随机数来解决。 关于随机数的一些设置我们可以分享给大家参考下,因为在访问目标网站过程中添加代理IP和随机数都是一起的,所以就把代理IP在爬虫程序里面的使用方式分享给大家交流学习下。 #! -- encoding:utf-8 -- import requests import random import requests.adapters

    01

    Linux 远程登录:Xshell、SecureCRT、Putty

    Alt + Enter -- 全屏   Alt + B --打开新的连接   Alt + 1/2/3/4/5.../9 -- 切换到第1/2/3/4/5.../9个标签   Ctrl + A -- 光标移至行首。   Ctrl + B -- 光标前移1个字符   Ctrl + D -- 删除光标后1个字符   Ctrl + E -- 光标移至行末   Ctrl + F -- 光标后移1个字符   Ctrl + H -- 删除光标前的1个字符   Ctrl + J -- 回车   Ctrl + k -- 删除当前光标至行末的字符   Ctrl + P -- 显示前一条命令   Ctrl + M -- 回车   Ctrl + N -- 下一条命令   Ctrl + T -- 交换光标前最后两个字符(思科路由器可用)   Ctrl + U -- 清除当前行和缓存的输入   Ctrl + V -- 输入ctrl字符   Ctrl + W -- 删除当前光标至行首的字符

    02
    领券