首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    爬虫遇到需要登录的网站怎么解决

    在日常爬虫工作中我们会遇到这样需要先进行登录才能获取数据的网站,那在遇到这样的情况时我们需要怎么处理呢?今天我们就来简单的分享学习下爬虫对需要登录情况下得处理方式。...通常情况下,用户通过浏览器登录网站时,在特定的登录界面,输入个人登录信息,提交之后便能返回一个包含数据的网页。...在运行爬虫过程中我们可以通过2种方式进行登录。 1、使用表单登陆 这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。...data = {'data1':'XXXXX', 'data2':'XXXXX'} response = requests.post(url=url, data=data) 2、使用cookie进行登录...这只是其中的两种登录方式,有其他解决爬虫登录问题方法的可以留言大家交流学习下。

    49310
    领券