python在数据分析领域的优势

原创

小白学大数据

发布于 2023-06-13 08:23:04

45900

代码可运行

文章被收录于专栏：python进阶学习python进阶学习

运行总次数：0

代码可运行

如今，数据分析已经是我们生活中重要的一部分，数据分析的相关工作也越来越受到人们的青睐。在it行业，很多编程语言都可以用来做数据分析的工具，比如Python、B、Matlab等，Python凭借着自身无可比拟的优势，被广泛地应用到数据科学领域中，并成为主流语言。选择Python做数据分析，主要考虑的是Python具有以下优势。

1、语法简单精练，适合初学者入门，Python的语法非常简单，代码的可读性很高，非常有利于初学者的学习。

2、拥有一个巨大且活跃的科学计算社区，Python在数据分析、探索性计算、数据可视化等方面都有非常成熟的库和活跃的社区，这使得Python成为数据处理的重要解决方案。这就为数据分析提供了方便，更时候初学者

3、拥有强大的通用编程能力，Python的强大不仅体现在数据分析方面，而且在网络爬虫、Web等领域也有着广泛的应用，比如公司需要一些新闻数据，我们可以使用爬虫椎架Serapy收集数据，然后交给Pandas库做数据处理，最后使用Web框架Django给用户做展示，这一系列的任务可以全部用Python完成，大大地提高了公司的技术效率。下面我们简单示例下使用python爬虫些新闻数据的过程，通过python设置scrapy 中间件，使用代理IP获取数据：

# -*- coding: utf-8 -*-
import base64
import random
import scrapy

# 定义一个函数，用于将字符串或字节转换为base64编码
def base64ify(bytes_or_str):
    if isinstance(bytes_or_str, str):
        input_bytes = bytes_or_str.encode('utf8')
    else:
        input_bytes = bytes_or_str

    output_bytes = base64.urlsafe_b64encode(input_bytes)
    return output_bytes.decode('ascii')

# 定义一个类，继承自scrapy.downloadermiddlewares.DownloaderMiddleware
class ProxyMiddleware(scrapy.downloadermiddlewares.DownloaderMiddleware):
    # 重写process_request方法
    def process_request(self, request, spider):
        # 设置代理服务器的主机名和端口号
        proxyHost = "t.16yun.cn"
        proxyPort = "31111"

        # 设置代理验证信息的用户名和密码
        proxyUser = "16yun"
        proxyPass = "16ip"

        # 在request.meta字典中添加'proxy'键值对，值为代理服务器的URL
        request.meta['proxy'] = f"http://{proxyHost}:{proxyPort}"

        # 如果scrapy版本小于2.6.2，则需要在request.headers字典中添加'Proxy-Authorization'键值对，
        # 值为'Basic ' + base64编码后的用户名和密码
        if scrapy.__version__ < '2.6.2':
            request.headers['Proxy-Authorization'] = 'Basic ' +  base64ify(proxyUser + ":" + proxyPass)

        # 根据需求，在request.headers字典中添加'Proxy-Tunnel'键值对，
        # 值为一个随机数字符串，用于切换IP地址
        tunnel = random.randint(1,10000)
        request.headers['Proxy-Tunnel'] = str(tunnel)

        # 在request.headers字典中添加'Connection'键值对，
        # 值为"Close"，表示每次访问后关闭TCP连接，强制每次访问切换IP地址
        request.header['Connection'] = "Close"