爬虫程序部署后常见问题整理

原创

python亦希

发布于 2022-01-14 20:10:03

2200

文章被收录于专栏：python理论python理论

在爬虫程序本地测试运行通过之后，一些同学就迫不及待的将程序部署到服务器上进行正式运行，然后跑一段时间之后就出现了各种错误甚至程序退出，这里将一些常见的问题整理下供参考：

　　1、本地调试通过只是说明程序从请求到数据分析的流程已经完整了，但是并不代表程序能长期稳定的采集数据，针对采集的网站需要进行自动化测试，一般建议按照一定次数或时间进行稳定性测试，看看网站的响应情况和反爬情况

　　2、程序需要加上数据处理的异常保护，如果是数据要求不高，可以单线程运行，如果数据要求较高，建议加上多线程运行，提高程序的处理性能

　　3、根据采集的数据要求和网站情况，配置适当的爬虫代理，这样可以降低网站反爬的风险，爬虫代理的选择对比中，要重点关注网络延迟、IP 池大小和请求成功率，这样可以快速选择适合的爬虫代理产品

　　下面提供一个 demo 程序，用来统计请求和 IP 分布，也可以根据需求修改成数据采集程序：

#! -- encoding:utf-8 --

import requests

import random

import requests.adapters

# 要访问的目标页面

targetUrlList = [

    "https://",

    "https://",

    "https://",

# 代理服务器(产品官网 h.shenlongip.com)

proxyHost = " h.shenlongip.com"

proxyPort = "  "

# 代理验证信息

proxyUser = "username"

proxyPass = "password"

proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

    "host": proxyHost,

    "port": proxyPort,

    "user": proxyUser,

    "pass": proxyPass,

# 设置 http和https访问都是用HTTP代理

proxies = {

    "http": proxyMeta,

    "https": proxyMeta,

#  设置IP切换头

tunnel = random.randint(1, 10000)

headers = {"Proxy-Tunnel": str(tunnel)}

class HTTPAdapter(requests.adapters.HTTPAdapter):

    def proxy_headers(self, proxy):

        headers = super(HTTPAdapter, self).proxy_headers(proxy)

        if hasattr(self, 'tunnel'):

            headers['Proxy-Tunnel'] = self.tunnel

        return headers

# 访问三次网站，使用相同的tunnel标志，均能够保持相同的外网IP

for i in range(3):

    s = requests.session()

    a = HTTPAdapter()

    #  设置IP切换头

    a.tunnel = tunnel

    s.mount('https://', a)

    for url in targetUrlList:

        r = s.get(url, proxies=proxies)

        print r.text

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

登录后参与评论

0 条评论

热度