IP代理在网络爬虫中的应用

生信修炼手册

发布于 2020-11-02 02:33:31

45200

代码可运行

文章被收录于专栏：生信修炼手册生信修炼手册

运行总次数：0

代码可运行

欢迎关注”生信修炼手册”!

通过用户代理我们可以将普通的爬虫程序伪装成浏览器，而IP代理的作用则是用于突破目标服务器对同一IP访问频率的限制。

在网站的反爬虫策略中，限制IP访问频率是比较常见的措施。具体体现为，当我们的爬虫程序短时间内对服务器发起大量请求时，会出现访问限制或者IP被封禁的现象，此时无论是爬虫程序，还是通过浏览器访问，都无法访问到目标服务器。

为了突破这一限制，可以使用IP代理。IP是互联网中的门牌号，IP代理的作用就是将我们的爬虫程序伪装成不同的用户，这样就避免了对同一个用户访问频率的限制。在python中，通过urllib和requests这两个模块都实现IP代理。

1. urllib

代码如下

>>> proxy="http://119.8.44.244:8080"
>>> proxy_support=urllib.request.ProxyHandler({'http':proxy})
>>> opener = urllib.request.build_opener(proxy_support)
>>> urllib.request.install_opener(opener)
>>> r = urllib.request.urlopen('http://icanhazip.com')
>>> r.read()
b'119.8.44.244\n'

2. requests

代码如下

>>> import requests
>>> proxies = {'http': 'http://119.8.44.244:8080'}
>>> r=requests.get("http://icanhazip.com", proxies=proxies)
>>> r.text
'119.8.44.244\n'

上述代码中的目标网站是一个检测IP的网站，当我们成功访问后，会显示对应的IP地址，从而帮助我们判断代理IP是否生效。

可以看到，相对于urllib，requests模块的代理IP使用起来更加简单。

在实际应用中，既有免费的代理IP,也有收费的代理IP。免费的代理IP需要我们从对应的网站上爬取IP列表，然后还需要自己检测代理IP的有效性，而通常情况下，免费的代理IP有效性都很低，所以更推荐使用收费的代理IP。

收费的代理IP会提供一个API借口，可以方便的嵌入程序中，通过API调用直接返回一系列可用的代理IP。

通过一个例子来看下代理IP的使用，代码如下

import requests
import random
import threading


# 获取代理IP
def get_proxy():
    ip_list = [
        'http://197.231.196.44:42461',
        'http://190.124.164.78:8080',
        'http://87.117.169.23:48705',
    ]
    return random.choice(ip_list)



# 下载单个网页
def getHtml(url, proxy):
    retry_count = 5
    while retry_count > 0:
        try:
            html = requests.get(url, proxies= {'http':proxy})
            return html
        except Exception:
            retry_count -= 1
    return None


# 每个线程的处理逻辑
def download_html(ko, semaphore, proxy):
    semaphore.acquire()
    url = 'https://www.genome.jp/dbget-bin/www_bget?ko:{}'.format(ko)
    out = './{}.kgml'.format(ko)
    r = getHtml(url, proxy)
    if r:
        print('{} download success!'.format(ko))
        with open(out, 'w') as fp:
            fp.write(r.text)
    else:
      print('{} download failed!'.format(ko))
    semaphore.release()

if __name__ == '__main__':
    ko_list = ['K{:05d}'.format(i) for i in range(1, 201)]

    thread_list = []
    semaphore = threading.BoundedSemaphore(100)
    for cnt, ko in enumerate(ko_list):
        if cnt % 10 == 0:
            proxy = get_proxy()
        p = threading.Thread(target = download_html, args = (ko, semaphore, proxy ))
        p.start()
        thread_list.append(p)
        
    for thread in thread_list:
        thread.join()