Python使用爬虫IP抓取数据过程

原创

华科云商小徐

发布于 2025-04-11 03:21:36

16500

代码可运行

文章被收录于专栏：小徐学爬虫小徐学爬虫

运行总次数：0

代码可运行

用户之前询问了不同语言的爬虫示例，特别是Python、Node.js和Ruby。现在他们希望详细扩展Python版本中使用代理IP的过程。

用户可能已经掌握了基本的爬虫编写，但遇到了IP被封的问题，或者想防止被封。他们需要知道如何集成代理IP到现有的代码中，可能还关心代理IP的来源、验证以及轮换策略。

首先，我需要明确代理IP在爬虫中的作用：隐藏真实IP，避免被目标网站封禁。接下来，要详细说明如何在Python的requests库中添加代理。用户可能需要代码示例，所以应该提供具体的代码修改部分，比如在requests.get()中添加proxies参数。

然后，用户可能需要知道如何获取代理IP，包括免费和付费的来源。免费代理的稳定性可能不好，付费的更可靠，但需要提醒用户注意选择可信的服务商。同时，需要指导用户如何验证代理是否有效，比如发送测试请求检查响应状态码。

以下是为 Python 版本爬虫 添加代理 IP 功能的详细扩展说明，涵盖代理的获取、配置、轮换和异常处理：

1. 代理 IP 的核心作用

隐藏真实 IP：避免目标网站封禁你的服务器或本地 IP。
突破访问限制：绕过地域或频率限制。
分布式爬取：通过多 IP 分散请求压力。

2. 代理 IP 的配置方法（代码示例）

2.1 单次请求使用固定代理

在 requests.get() 中添加 proxies 参数：

import requests

proxies = {
    'http': 'http://123.45.67.89:8080',  # HTTP 协议代理
    'https': 'http://123.45.67.89:8080'  # HTTPS 协议代理（若与 HTTP 相同可省略）
}

response = requests.get(url, proxies=proxies, timeout=10)

2.2 代理认证（用户名密码）

若代理需要认证，格式为 http://user:pass@ip:port：

proxies = {
    'http': 'http://username:password@123.45.67.89:8080',
    'https': 'http://username:password@123.45.67.89:8080'
}

3. 动态代理池实现（自动轮换 IP）

3.1 从文件或 API 加载代理池

# 假设代理 IP 列表保存在 proxies.txt 或通过 API 获取
def load_proxies():
    with open('proxies.txt', 'r') as f:
        proxies = [line.strip() for line in f]
    return proxies

proxy_pool = load_proxies()

3.2 随机选择代理 + 异常重试

import random

def download_with_proxy(img_url, retries=3):
    for _ in range(retries):
        try:
            proxy = random.choice(proxy_pool)
            proxies = {'http': proxy, 'https': proxy}
            response = requests.get(img_url, proxies=proxies, timeout=10)
            response.raise_for_status()
            return response.content
        except (requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout):
            # 移除失效代理
            proxy_pool.remove(proxy)
            print(f"移除失效代理: {proxy}")
        except requests.exceptions.RequestException as e:
            print(f"请求失败: {e}")
    return None

4. 完整代码整合（带代理功能）

import os
import requests
from bs4 import BeautifulSoup
import random

# 代理池初始化
def load_proxies():
    # 示例：从文件加载，实际可替换为 API 获取
    return [
        'http://123.45.67.89:8080',
        'http://111.222.33.44:3128',
        # 更多代理...
    ]

proxy_pool = load_proxies()

def download_image(img_url, save_dir):
    for _ in range(3):  # 最多重试 3 次
        if not proxy_pool:
            print("无可用代理，终止下载")
            return
        proxy = random.choice(proxy_pool)
        proxies = {'http': proxy, 'https': proxy}
        try:
            response = requests.get(img_url, proxies=proxies, timeout=15)
            response.raise_for_status()
            filename = os.path.join(save_dir, os.path.basename(img_url))
            with open(filename, 'wb') as f:
                f.write(response.content)
            print(f"成功下载: {filename} (使用代理: {proxy})")
            return
        except Exception as e:
            print(f"代理 {proxy} 失败: {str(e)}")
            proxy_pool.remove(proxy)  # 移除失效代理

# 主函数
def main():
    url = 'https://example.com/images'
    save_dir = 'images_py'
    os.makedirs(save_dir, exist_ok=True)
    
    try:
        # 获取页面（使用代理）
        proxy = random.choice(proxy_pool)
        response = requests.get(url, proxies={'http': proxy}, timeout=10)
        response.raise_for_status()
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 遍历图片
        for img in soup.select('img'):
            img_url = img.get('src')
            if not img_url.startswith('http'):
                img_url = f'https://example.com{img_url}'
            download_image(img_url, save_dir)
    except Exception as e:
        print(f"主流程错误: {e}")

if __name__ == '__main__':
    main()

5. 代理 IP 的获取渠道

免费代理（适合小规模测试）：
- 网站：https://free-proxy-list.net, https://www.zdaye.com
- 缺点：稳定性差，需频繁验证。
付费代理（推荐生产环境）：
- 服务商：BrightData（Luminati）、Oxylabs、SmartProxy
- 特点：高匿、稳定、支持并发。

6. 代理有效性验证

在加载代理池时，先筛选可用 IP：

def validate_proxy(proxy):
    try:
        test_url = 'http://httpbin.org/ip'  # 返回请求的 IP
        response = requests.get(test_url, proxies={'http': proxy}, timeout=10)
        return response.json()['origin'] in proxy
    except:
        return False

# 过滤无效代理
valid_proxies = [p for p in proxy_pool if validate_proxy(p)]

7. 高级优化方向

代理类型支持：
- SOCKS5 代理：使用 requests[socks] 库，配置格式 'socks5://user:pass@host:port'
异步请求：
- 使用 aiohttp + asyncio 提升并发效率。
商业代理 SDK：
- 集成如 BrightData 的 SDK 自动管理 IP 轮换。
IP 地理定位：
- 选择特定地区的代理 IP（如 proxy = 'http://jp.xxx.xxx:8080'）。

8. 注意事项

法律合规：确保代理来源合法，避免侵犯隐私。
频率控制：即使使用代理，仍需设置合理延迟（如 time.sleep(2)）。
Header 伪装：添加随机 User-Agent 和 Referer。
日志监控：记录代理使用情况，便于排查问题。

通过代理 IP 的合理配置，可显著提升爬虫的稳定性和抗封禁能力。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

#Python

#爬虫IP

登录后参与评论

0 条评论

热度