python实战 | 如何利用海外代理IP采集国际学术数据库的数据

原创

阿秋数据采集

修改于 2025-11-20 14:48:45

620

一、引言

在现代化的世界里，很多国际学术数据库对我们的日常工作研究中起着非常重要的作用。比如：

写课程论文、开展课题研究、做科研；

检索成果、获取数据支撑研究；

跟踪技术前沿、分析产品研发；

……

这些科研、教育、学术相关的从业者都离不开国际学术数据库的数据，而美国和欧盟都在推“开放获取”（Open Access），比如Plan S计划，要求公费研究成果必须免费公开。数据提醒：到2025年，预计超过50%的学术论文会是OA（Open Access）模式。

但问题来了，使用国内的IP访问这些数据库动不动因为地域限制访问不了，甚至直接给你屏蔽了。

那该如何获取这些数据呢？

这时候，海外代理IP就成了必需品，借用海外代理IP，就是能高效采集公开数据。那，具体怎么做呢？别急，跟着我的步骤，一步一步为你详细拆解清楚。走你~

二、关于海外代理IP

2.1 什么是海外代理 IP？

啥是海外代理IP？简单讲，就是位于国外的IP地址，通过代理服务器来中转你的网络流量。比方说，你想访问美国的数据库，就用一个美国的代理IP，这样数据库才会以为你是”自己人“，把数据交给你带走。

2.2 为什么访问国际数据库需要“本地” IP？

突破地域限制：解决某些网站附以国别或地域访问限制问题
提升网络稳定性：尤其是遇到网络抵抗、CDN不可用、连接不通时
便于分布式采集：多个IP对接多个目标数据库时更加精准、高效

2.3 获取海外代理IP的主要方式

免费代理IP渠道。不过不建议用“公开免费代理”，大多数早进黑名单，采尚未采到半路就挂了，属于是创业为半而中道崩殂了- - ！
自建代理海外服务器。这适合有技术团队的程序员。路径呢？租个国外VPS，装上Squid或Shadowsocks代理软件，然后配置转发。但成本高，还得维护，不是一个人玩的转。
使用商业代理服务平台。使用像青果网络这类的服务商，稳定性高，而且始皇大佬推荐过，他们自己技术也够硬，速度稳定，高并发也顶得住，还适合咱们大规模采集的。

↑ 他们家带宽监控

拿到自己的API key，不用说，直接上代码。

Pythonimport requests

def get_proxy():
    # 用青果海外IP API获取一个代理，返回格式如 "123.123.12.1:8888"
    proxy_url = "https://overseas.proxy.qg.net/get?key=yourkey&num=1&area=&isp=&format=txt&seq=\r\n&distinct=false"
    try:
        resp = requests.get(proxy_url, timeout=5)
        if resp.status_code == 200:
            proxy = resp.text.strip().splitlines()[0]
            return {
                'http': f'http://{proxy}',
                'https': f'http://{proxy}'
            }
    except Exception as e:
        print(f"代理IP获取失败: {e}")
    return None

三、实操配置

3.1 浏览器代理设置（快速验证）

先从简单入手，学术数据采集前，得测试环境。Chrome浏览器为例：

安装SwitchyOmega插件。
新建代理配置：协议选HTTP或SOCKS5，填入青果网络给的IP和端口（比如IP: 123.45.67.89，端口: 8080）。
切换到这个代理，访问目标网站测试。如果能正常打开PubMed（NCBI的生物医学文献数据库，超级多医学和生命科学的论文）啥的，就OK了。

这步是环境准备，确认海外代理ip有效。

3.2 爬虫脚本调用海外代理IP

import requests  # 导入requests库，用于发HTTP请求
import random  # 用于随机延时
import time    # 用于sleep

def get_proxy():
    """从青果网络海外代理IP API获取一个代理"""
    proxy_url = "https://overseas.proxy.qg.net/get?key=yourkey&num=1&area=&isp=&format=txt&seq=\r\n&distinct=false"  # 替换yourkey为你自己的API key
    response = requests.get(proxy_url)  # 调用API获取IP
    if response.status_code == 200:
        proxy_ip = response.text.strip()  # 假设返回格式是 IP:PORT
        return {
            'http': f'http://{proxy_ip}',
            'https': f'http://{proxy_ip}'
        }
    else:
        raise Exception("获取代理失败，状态码: " + str(response.status_code))

# 步骤1: 获取代理
proxies = get_proxy()

# 步骤2: 发送请求。目标URL是PubMed的搜索页面（公开的）
url = 'https://pubmed.ncbi.nlm.nih.gov/?term=AI'  # 搜索AI相关的论文

try:
    response = requests.get(url, proxies=proxies, timeout=10)  # 用代理发GET请求，超时10秒防卡住
    # 步骤3: 检查响应
    if response.status_code == 200:  # 200表示成功
        print("成功访问！内容长度:", len(response.text))  # 打印内容长度确认
        # 这里你可以解析HTML，比如用BeautifulSoup提取数据
    else:
        print("出问题了，状态码:", response.status_code)  # 调试用
except Exception as e:
    print("异常:", e)  # 捕获错误，比如代理失效

# 加点延时防封
time.sleep(random.uniform(1, 5))

小小tips：如果用爬虫框架如Scrapy，配置更简单：在settings.py加HTTP_PROXY = 'http://ip:port'，但动态获取的话，可以写中间件调用get_proxy。

3.3 PubMed示例

用他们的Entrez API。安装biopython（pip install biopython）。

from Bio import Entrez  # 导入Entrez模块
Entrez.email = 'your_email@example.com'  # 必须填邮箱，遵守规则

handle = Entrez.esearch(db='pubmed', term='machine learning', retmax=10)  # 搜索机器学习，10条
record = Entrez.read(handle)  # 读取结果
for id in record['IdList']:
    print(id)  # 打印PMID

注意：Entrez不支持直接proxies，但你可以用requests作为底层，改配置。或者在外层用青果网络代理IP的环境跑。