前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python热门库是哪些呢,爬取下载信息探索探索

Python热门库是哪些呢,爬取下载信息探索探索

作者头像
用户6825444
发布于 2022-01-07 07:35:29
发布于 2022-01-07 07:35:29
4250
举报
文章被收录于专栏:木下学Python木下学Python

前言

近期有读者分享了一个网站,可以用来查 Python 第三方库的信息,包含了库的介绍版本,近 30 天总下载量,近 30 天 pip 下载量:

https://www.pyprapi.top/docs

搜索了一下资料 Python 语言有超过12万个第三方库,覆盖信息技术几乎所有领域。

小编自己安装第三方库时,基本用 pip 就可以解决了,但有时候有些库 pip 还真安装不了,就去下载 whl 文件来装。

小编下载 whl 文件都是从下面这个网站下载的,这算比较全的了,包含很多库,基本能找到需要的库:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

从这个网站爬取所有库名,在爬取库近 30 天下载量,描述简介信息。

虽然很多库不知道是干嘛的,没用过,但可以根据数据,分析一下热门的第三方库是哪些,描述简介涉及哪个方向的是比较多的。

数据获取

先从第三方库网站爬取获得所有库名,再爬取每一个库近 30 天下载量,描述信息,最后保存数据,整个逻辑并不难,完整源代码文末获取:

可视化

对近 30 天下载量降序排序,最高的第三方库下载量居然高达 2 亿!

小编查了查,这个库是一个和 web 开发有关的库:

我们直接通过词云图来看看近 30 天第三方库的下载量主要分布:

上面讲的 botocore 是一个 web 相关的库,boto3 也是。

setuptools 是 pip 安装的一个必备模块,大概率是环境出了问题,不能安装包,才先来下这个。

紧接着可以看到 urllib3,requests 这两库,这就比较熟悉了,爬虫方向所使用的,近几年爬虫渐渐走进大众视野,引起了很多人的兴趣。

还有 pandas,numpy 数据处理库,机器学习大数据喊的最热的这些词,在 Python 处理清洗数据中比较常用的就这两个库。

其他库就不多说了,第三方库实在是太多了,从那个网站上采集到了 1700 多个库名,通过所有描述信息,看看涉及最多的方向是哪些:

io,file 读写文件数据流,看来是比较多的模块都会涉及到的。

image,img 图片图像,各种绘制图表的库,图像处理等,现在出现了很多,如典型的 matplotlib,PIL,seaborn,pyecharts等,可视化数据,图像数据处理也是一个比较热门的方向。

data 可以联想到数据时代,Python 处理采集数据有着一定的优势,所以爬虫相关的 requests,urllib3,处理数据相关的 pandas,numpy 下载量相对较高。

2022年了,祝大家新年快乐,找到自己感兴趣的方向,一路前行~

感兴趣的读者可以继续探索探索噢。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-01-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 木下学Python 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
如何评估云原生NFV中的容器化VNF部署
电信应用和IT应用对云原生虚拟网络功能(VNF)有不同的需求,通过微服务和容器部署VNF将能够推动云原生NFV部署的成功。 NFV的最佳应用是如何整合、构建和进一步加强电信服务提供商的5G实施。基而目
SDNLAB
2018/06/11
1.5K0
云原生架构总览
傍晚时分,你坐在屋檐下,看着天慢慢地黑下去,心里寂寞而凄凉,感到自己的生命被剥夺了。当时我是个年轻人,但我害怕这样生活下去,衰老下去。在我看来,这是比死亡更可怕的事。--------王小波
山河已无恙
2023/03/02
2.7K0
云原生架构总览
虚拟机时代的终结与云原生未来:Rainbond驱动企业IT基础设施升级
企业的数字化转型已经成为全球范围内各行业共同面临的挑战。无论是制造、金融、零售,还是医疗、政府等领域,IT基础设施都在扮演着至关重要的角色。传统的IT基础设施主要依赖于虚拟机管理,如通过VMware或OpenStack创建虚拟机并分配给应用系统。然而,随着云计算的兴起,企业的信息化需求正在快速变化,尤其在云原生技术大规模普及的背景下,企业的IT基础设施管理方式正发生着根本性转变。
Rainbond开源
2024/10/16
1170
重生的 SDN?云原生网络功能介绍
作者 | Wavell Watson 译者 | 明知山 策划 | 丁晓昀 在三类云资源(计算、存储和网络)中,网络似乎最经得起云原生非功能性需求的考验。例如,计算弹性是通过虚拟机、容器和编配器合理分配的,并通过 CI/CD 管道进行管理。网络在实现方面似乎缺乏弹性。在本文中,我们将试图通过云原生网络功能将网络应用程序引入云原生世界。但究竟什么是 CNF,为什么它们如此重要? 1 重生的 SDN?我们以前没试过吗? 软件定义网络(SDN)在过去和现在都是网络配置自动化的一种尝试。云原生网络功能并
深度学习与Python
2023/03/29
6700
重生的 SDN?云原生网络功能介绍
NFV迈向云原生时代:Network Service Mesh项目介绍
当第一次看到Network Service Mesh这一名词时,你很可能和我一样好奇它到底是什么?是否和Service Mesh有什么关系?Network Service Mesh是云原生领域中一个新的热点,是CNCF(云原生基金会)中的一个沙箱项目。本文将介绍Network Service Mesh的起源和架构,并探讨其与Service Mesh、SDN、NFV等相关技术的区别与联系。
赵化冰
2022/08/01
1.3K0
NFV迈向云原生时代:Network Service Mesh项目介绍
云原生概述
1. 什么是云原生 1.1 CNCF组织 在讲云原生之前,我们先了解一下CNCF,即云原生计算基金会,2015年由谷歌牵头成立,基金会成员目前已有一百多企业与机构,包括亚马逊、微软。思科等巨头。 目
aoho求索
2018/04/03
4.1K0
云原生概述
就烦别人问我到底什么是云原生?
近年来,随着云计算概念和技术的普及,云原生一词也越来越热门,无论是应用还是安全,凡是和云相关的,都要在云后面加上原生二字,好像不提云原生,在技术上就落后了一大截。
架构师修行之路
2021/05/11
9280
从后端架构演化史到云原生,一文解读云原生架构!
自 2013 年容器(虚拟)技术(Docker)成熟后,后端的架构方式进入快速迭代的阶段,出现了很多新兴概念:
用户2781897
2020/11/10
1.4K0
从后端架构演化史到云原生,一文解读云原生架构!
OPNFV Fraser日趋成熟,获运营商青睐
2018年5月1日,OPNFV项目是Linux基金会的一个开源项目,通过参考平台开发,集成,部署和测试,促进各种开源生态系统的网络功能虚拟化(NFV)组件的开发和演变。今天宣布推出第六款OPNFV平台版本OPNFV Fraser。Fraser将NFV的状态推进到云原生应用程序和新的上游项目集成中,同时在部署和测试虚拟化网络时更好地支持用户。 通过增加对云原生应用程序的支持并按需提供对NFV基础设施的访问,OPNFV提供了开发人员所需的平台和工具,最终用户正在与其积极协作验证、集成、板载和测试N
SDNLAB
2018/06/11
5690
Kubernetes 简介:容器编排与集群管理的进化
在当今快节奏的软件开发和部署环境中,容器化技术和集群管理扮演着关键的角色。Kubernetes作为容器编排的领军工具,不仅在开源社区中广受欢迎,而且在产业界得到了广泛的应用。本文将探讨Kubernetes的发展历程,从其诞生背景到如今成为最流行的容器编排平台的过程,以及其在产业界取得的成功案例和未来的发展趋势。
猫头虎
2024/04/08
3310
Kubernetes 简介:容器编排与集群管理的进化
网络功能虚拟化(NFV)从PNF、VNF再到CNF的演进
网络功能虚拟化(NFV),在多年前就开始流行,通过创建虚拟网络功能(VNF)的方法,以取代基于硬件或基于设备的网络服务,例如负载平衡、网关和防火墙。
Flowlet
2022/08/18
2.2K0
网络功能虚拟化(NFV)从PNF、VNF再到CNF的演进
未来已来:网络功能虚拟化(NFV)势必引领下一代通信技术革命!
网络功能虚拟化(Network Function Virtualization, NFV)是当前网络领域的一项颠覆性技术,它将传统网络架构推向新的高度。在过去的几十年里,网络一直是固定功能的,运行在专用硬件上,这种架构在灵活性、可扩展性和成本方面存在挑战,随着云计算、物联网和5G等新兴技术的崛起,现有的网络架构不再能够满足快速变化的需求。NFV出现在这一背景下,它革新了网络功能的交付方式,将其虚拟化成软件实体,运行在通用硬件上。这一技术的影响不仅仅局限于电信和网络服务提供商,还延伸到了云计算、企业网络和边缘计算等领域。
网络技术联盟站
2023/11/13
4K0
未来已来:网络功能虚拟化(NFV)势必引领下一代通信技术革命!
云原生5G核心网需要DPU吗?
2022 年,全球 5G 连接数突破 10 亿大关,每个 5G 用户消耗的数据量是非 5G 用户的两倍,移动网络流量正在快速增长。分析机构Omdia 预测:到 2023 年,5G用户平均每月将消耗14GB,到2027年将翻一番,达到28GB。
SDNLAB
2023/02/26
7160
云原生5G核心网需要DPU吗?
2019年主要的企业云趋势
商业混合混云工具和多重云工具越来越多,它们将降低将企业IT资产从内部部署的传统平台迁移到原生于云端的平台即服务和基础设施即服务平台的成本。2019年,越来越多的企业将在不重写现有应用程序的情况下对遗留的负载进行容器化,从而减轻常常与复杂的迁移相关的技术风险。公共云提供商的首要任务就是提供迁移工具、多重云主干、专业服务,从而帮助企业快速,高效地迁移,并且使风险可控。
静一
2018/12/29
1.2K0
2019年主要的企业云趋势
云原生技术概谈
说起“云原生技术”,大家可能有点懵,只闻其声,不明其意。但是云原生背后典型的几个公司或者技术产品的名称可能大家经常听到:
架构狂人
2023/08/16
4980
云原生技术概谈
云原生到底是个啥?
随着云计算技术的发展,企业上云已成为趋势,越来越多的企业都已将应用部署到了云上。但是应用上云并不意味着就能充分利用云平台的优势。目前,大部分云化的应用,都是基于传统的软件架构来搭建的,然后再移植到云上去运行,和云平台的整合度非常低,主要表现在以下几个方面:
DevOps持续交付
2021/05/11
1K0
CNCF启动云原生网络功能认证计划
基于新 CNF 测试套件的计划将允许电信运营商和电信组织放心地采用 Kubernetes 和云原生工具
CNCF
2022/06/10
5440
CNCF启动云原生网络功能认证计划
什么是云编排?
编排能不能被视为交付和配置管理方案的替代品是值得商榷的,在云原生应用程序的前提下尤为明显。我们可以从各个角度来看这个问题:与数据中心解决方案进行比较,区分基础设施(云端和云外)与容器(主要关注云)的编
SDNLAB
2018/06/11
9K3
从传统云架构到云原生生态体系架构的演进
随着科技的不断发展,云计算领域也经历了巨大的变革。这一演进的核心焦点是从传统云架构过渡到云原生生态体系架构,这个过程在过去的几年里已经发生了显著变化。本文将深入探讨这一演进过程,以及它对企业和技术生态系统的影响。
小小工匠
2023/10/25
8320
从传统云架构到云原生生态体系架构的演进
浅谈云原生下的安全
云原生(Cloud-Native)是近年来在云计算领域崭露头角的炙手可热的概念。随着云计算技术的不断发展和普及,云原生架构逐渐成为现代应用开发和部署的主流趋势。
德迅云安全--陈琦琦
2024/04/26
1510
相关推荐
如何评估云原生NFV中的容器化VNF部署
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档