首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python爬虫如何应对贝壳网的IP封禁与人机验证?

Python爬虫如何应对贝壳网的IP封禁与人机验证?

作者头像
小白学大数据
发布于 2025-06-08 00:29:19
发布于 2025-06-08 00:29:19
8900
代码可运行
举报
文章被收录于专栏:python进阶学习python进阶学习
运行总次数:0
代码可运行

1. 引言

数据采集领域,爬虫工程师常常面临目标网站的反爬机制,如IP封禁、人机验证(如滑块验证、点击验证、短信验证等)。贝壳网作为国内知名的房产交易平台,其反爬策略较为严格,包括但不限于:

  • IP封禁:频繁请求会导致IP被拉黑,无法继续访问。
  • 人机验证:如滑块验证、短信验证等,阻止自动化工具访问。
  • 动态Token:关键请求需要携带动态生成的Token,防止直接模拟请求。

2. 应对IP封禁的策略

2.1 使用代理IP池

频繁请求同一IP容易被封禁,因此需要采用 代理IP池 进行轮换。

代码实现:使用代理IP请求贝壳网
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import requests
from fake_useragent import UserAgent

# 代理IP示例(实际使用时建议从代理池API获取)
PROXIES = {
    "http": "http://123.123.123.123:8888",
    "https": "http://123.123.123.123:8888"
}

headers = {
    "User-Agent": UserAgent().random
}

url = "https://www.ke.com"

try:
    response = requests.get(url, headers=headers, proxies=PROXIES, timeout=5)
    print(response.status_code)
except Exception as e:
    print("请求失败:", e)
代理池优化建议
  1. 多IP轮换:每次请求更换不同代理。
  2. IP质量检测:定期检测代理IP是否可用。
  3. 使用高匿代理:避免被识别为代理流量。
2.2 请求频率控制

即使使用代理IP,过高频率的请求仍可能触发反爬。因此需要:

  • 随机延迟:在请求之间加入 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">time.sleep(random.uniform(1, 3))</font>**
  • 降低并发量:避免多线程过高并发。
代码示例:随机延迟+代理IP
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import time
import random

def crawl_with_delay(url):
    try:
        time.sleep(random.uniform(1, 3))  # 随机延迟1~3秒
        response = requests.get(url, headers=headers, proxies=PROXIES)
        return response.text
    except Exception as e:
        print("请求失败:", e)
        return None

3. 绕过贝壳网的人机验证

贝壳网常见的人机验证方式包括:

  1. 滑块验证(如极验验证)
  2. 点击验证(如点选图中文字)
  3. 短信验证(登录时需要手机验证码
3.1 使用Selenium模拟浏览器操作

对于滑块验证,可通过 Selenium + ChromeDriver 模拟人工滑动。

代码实现:自动滑动验证
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

# 配置Chrome无头模式(可选)
options = webdriver.ChromeOptions()
options.add_argument("--headless")  # 无界面模式
options.add_argument("--disable-blink-features=AutomationControlled")

driver = webdriver.Chrome(options=options)
driver.get("https://www.ke.com")

# 找到滑块元素并模拟拖动
slider = driver.find_element_by_css_selector(".slider")  # 替换为实际滑块元素
action = ActionChains(driver)
action.click_and_hold(slider).move_by_offset(300, 0).release().perform()

time.sleep(2)
driver.quit()
优化方案
  • 轨迹模拟:使用 **<font style="color:rgb(64, 64, 64);background-color:rgb(236, 236, 236);">move_by_offset</font>** 分阶段滑动,模拟真人操作。
  • 手动介入:遇到复杂验证时,可暂停脚本手动完成验证。
3.2 OCR识别验证码

对于图形验证码(如文字点选),可使用 OCR(光学字符识别) 技术自动识别。

代码示例:OCR识别验证码
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import pytesseract
from PIL import Image
import requests
from io import BytesIO

# 下载验证码图片
response = requests.get("https://www.ke.com/captcha.jpg")
img = Image.open(BytesIO(response.content))
text = pytesseract.image_to_string(img)
print("识别结果:", text)
优化方案
  • 深度学习模型:使用CNN训练专用验证码识别模型(如CRNN)。
  • 第三方打码平台:如超级鹰、联众打码。

4. 综合方案:代理IP + Selenium + OCR

结合上述技术,完整流程如下:

  1. 使用代理IP池 轮换请求,避免封禁。
  2. 控制请求频率,降低被检测风险。
  3. 遇到验证码时,使用Selenium模拟或OCR识别。
完整代码示例
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import requests
from selenium import webdriver
import time
import random
from selenium.webdriver.chrome.options import Options

# 16yun代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 代理IP池(包含认证信息)
PROXIES = [
    f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    # 可以添加更多代理
]

def get_with_proxy(url):
    proxy = random.choice(PROXIES)
    try:
        # 设置代理
        proxies = {
            "http": proxy,
            "https": proxy
        }
        response = requests.get(url, proxies=proxies, timeout=5)
        if "验证码" in response.text:
            return handle_captcha(url)  # 处理验证码
        return response.text
    except Exception as e:
        print("请求失败:", e)
        return None

def handle_captcha(url):
    # 配置Chrome代理
    chrome_options = Options()
    
    # 添加代理认证
    proxy_auth = f"{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
    chrome_options.add_argument(f'--proxy-server=http://{proxy_auth}')
    
    # 其他Chrome配置
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    # chrome_options.add_argument("--headless")  # 无头模式
    
    driver = webdriver.Chrome(options=chrome_options)
    driver.get(url)
    time.sleep(2)
    
    # 这里添加滑块/验证码处理逻辑
    # 示例:打印页面标题
    print("当前页面标题:", driver.title)
    
    page_source = driver.page_source
    driver.quit()
    return page_source

if __name__ == "__main__":
    data = get_with_proxy("https://www.ke.com")
    if data:
        print(data[:500])  # 打印部分内容

5. 结论

应对贝壳网的IP封禁和人机验证,核心策略包括:

  1. 代理IP池:避免单一IP被封。
  2. 请求频率控制:模拟人类操作节奏。
  3. Selenium自动化:处理滑块、点击验证码。
  4. OCR/打码平台:识别复杂验证码。

未来,随着反爬技术升级,可能需要更高级的方案,如:

  • 深度学习破解验证码
  • 浏览器指纹伪装
  • 分布式爬虫架构

合理使用这些技术,可以在合规的前提下高效采集数据。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-06-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验