首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    如何应对爬虫请求频繁

    相信很多爬虫工作者在进行数据爬取过程中经常会遇到“您的请求太过频繁,请稍后再试”,这个时候心里莫名的慌和烦躁、明明爬虫代码也没有问题啊,怎么突然爬不动了呢?那么,很有可能,你的爬虫被识破了,这只是友好的提醒,如果不降低请求就会拉黑你的ip了。 我们都知道遇到这种情况使用代理就解决了,用代理IP确实不失为一个解决问题的好办法。IP被封了就换新IP继续爬,或者用很多IP同时多线程爬,都很给力的。但是有时候没有爬多久又被提示“您的请求太过频繁,请稍后再试”。再换IP还是被封,再换再封,封的越来越快,效率非常低下,这是为什么呢? 那是因为,你用的代理IP凑巧也是别人用来访问相同的网站的,而且用的还比较频繁。可能你们使用了共享ip池,或者使用的代理ip池很小。所以我们在找代理IP的时候,在保证IP有效率的同时IP池越大越好的,这样可以保证IP的新鲜度。例如亿牛云…列如还有的在使用代理的过程中也出现这样的情况。HTTP\HTTPS代理,系统会返回429 Too Many Requests;但不会对爬虫的运行产生影响,爬虫会根据返回结果自动重新发起请求,这是HTTP\HTTPS的标准应答模式。 所以,当您遇到“您的请求太过频繁,请稍后再试”时,不要慌,要镇定,检查下自己的爬虫策略,是否真的访问太过频繁,检查下自己的代理IP是否真的比较干净,调整自己的策略,选择更加纯净的IP,就能有效的避免这个错误了

    01

    第十一期 | 你抢不到的优惠券

    第十一期 | 你抢不到的优惠券,背后“元凶”竟是垃圾注册?顶象防御云业务安全情报中心发现,某电商平台注册场景出现大批量异常注册。黑产通过批量注册获得大量平台账号,为其后续在电商平台大促期间开展批量抢券、秒杀、刷单等行为进行账号储备。顶象防御云业务安全情报中心BSL-2022-a3c22号显示,黑产通过非法手段窃取、购买公民个人信息及手机黑卡等,并采用作弊设备模拟设备指纹高频切换IP等方式,对电商平台发起大批量的注册攻击,从而获得大量平台账号,以用于后续在平台大促期间进行一系列的薅羊毛行为,不仅使普通顾客因此失去了获得优惠的机会,而且给平台带来了大额的资产损失和大量的无价值的虚假用户。电商平台为何会被黑灰产盯上?电商平台的每一次大促都是黑灰产“捞金”的最佳时机。近几年,各大电商平台为了拉拢客户尤其是新客户,开展了一系列营销活动:新人折扣券,满减优惠券,拉新返现、砍价助力等等,花费的营销成本高达数亿元。以双十一为例。不久前,顶象在业务安全大讲堂系列直播课《双十一电商行业业务安全解析》中就具体提到双十一电商平台的业务安全风险。就双十一促销活动,电商平台们营销周期从10月中下旬就会开始相应的营销投入。整个双11电商大促活动会持续将近一个月,这也给了互联网黑灰产充分的时间去针对各个电商平台的活动规则和活动流程做深入研究,为后续的营销欺诈活动做好充分准备。此外,在营销玩法方面,都呈现出了优惠力度加码,玩法多元化的趋势。比如天猫聚焦高质量发展,构建“低碳双11”,首次设立绿色会场,发放1亿元绿色购物券;关注银发群体,上线淘宝长辈版,设置首个长辈会场;京东则设立了首个“不熬夜”的双11,提升消费者体验;升级多种价格保护政策及放心换服务,保障消费者权益;出台绿色低碳、扶贫助农计划等。营销投入的加大意味着黑灰产有更大的动力去进行攻击,因为一旦成功,收益更大。而丰富的营销手段则意味着黑灰产有更多的途径、更多的场景实现攻击,因为一条攻击路径走不通,便可以选择另一条攻击路径。且新的营销手段往往会因为防控经验不成熟,更容易出现业务规则的漏洞,成为黑灰产攻击的突破口。也正是各平台之间的相互竞争,导致这种营销活动愈演愈烈,继而催生了垃圾注册这个行业,并与黄牛、羊毛党、打码平台等团伙形成了完整的产业链。上游:卡商与接码平台所谓垃圾注册就是通过购买大量手机号和用户个人信息,在了解平台的规则后,借助作弊设备(如:代理IP、群控软件等)自动化的进行批量注册。在整个互联网黑色产业链中,批量注册处在产业的中上游位置。其主要目的是为下游进行一些列黑产活动提供账号。因此,批量注册的账号被视为滋生助长网络犯罪的核心利益链条之一。同时,批量注册的账号多数利用不记名的网络黑卡进行注册,为相关的账号使用者提供了便捷的真实身份隐蔽及账号控制主体溯源规避的功能,亦成为了网络诈骗、赌博等相关犯罪所必须的工具。上游为信息和技术的支持方,即为批量注册提供大量身份信息或资料及其所需的技术支持,卡商和接码平台便处于上游位置。中游为账号获取方即号商,即行为人通过从卡商和接码平台处获取的手机号与验证码,使用自动访问平台注册程序的软件或程序,获得大量注册平台账号。下游为账号使用方,行为人通常向号商购买账号,以供网络刷单炒信、发布违禁信息、进行网络攻击等多种用途。顶象防御云业务安全情报中心监测到,其上游端的卡商手握数以万计的电话卡,其黑卡的主要来源有:实名卡、物联网卡、海外卡以及虚拟卡。实名卡:实名卡主要是通过拖库撞库、木马、钓鱼等方式从网上收集大量身份信息,并通过黑卡运营商批量验证得到的。境外手机卡:黑卡运营商直接从海外购得的手机卡,这些卡无需实名认证,花费低,切合黑产利益。物联网卡:运营商基于物联网公共服务网络,面向物联网用户提供的移动通信接入业务。三大运营商采用各自物联网专用号段,通过专用网元设备支持包括短信、无线数据及语音等基础通信服务,提供用户自主的通信连接管理和终端管理等智能连接服务。虚拟卡:由虚拟运营商提供的电话卡。虚拟运营商与传统三大运营商在某项或业务上达成合作关系。他们就像是代理商,从移动、联通、电信三大基础运营商那里承包一部分通讯网络的使用权,然后通过自己的计费系统、客服号、营销和管理体系把通信服务卖给消费者。像我们常能看到的170开头的号码,多为虚拟号码。卡商获取黑卡的主要渠道大致分为两个来源:一是从运营商“内鬼”处拿卡。运营商的工作人员每个月都有开卡任务,通过平分利益,运营商“内鬼”月均给卡商供卡上千张,二者达成默契合作,形成“双赢”。二是通过找中介进村“拉人头”。当卡商有需求时,一些所谓的地推团队就会集体“下乡进村”,打着三大运营商的名号,搞免费办手机卡送礼的活动,以50到60元的成本获得一张可以正常使用的实名手机卡。中游:利用多种作弊手段养号卡商在获取到黑卡后,下一步就是要利用作弊手段进行养号。其作弊工具主要有三种:猫池猫池是一种可同时支持多张手机卡的设备,根据机

    03

    盘点2017四大黑产威胁源,无孔不入的网络犯罪

    2017年,随着国内互联网金融、人工智能和大数据等产业继续深化发展,互联网为实体产业转型升级所提供的帮助越来越明显。 但在另一面,潜伏在网络暗处的黑产势力也不断升级作案手法,从传统的病毒木马和电话诈骗等模式,向更为先进的撞库拖库、精准诈骗等模式发展,黑产上游的危害显得愈发严重。此外,黑产生态中的内部分工也进一步细化,出现了更为商业化运作的岗位。 对此,腾讯推出的反网络黑产公益平台“守护者计划”也与时俱进,今年在对抗黑产网络方面全面升级,致力于打击网络黑产威胁源,从源头遏制网络犯罪。据相关负责人介绍,从今年“

    05
    领券