Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python抓取抖音用户画像,摩羯天蝎居然刷得最多?「建议收藏」

python抓取抖音用户画像,摩羯天蝎居然刷得最多?「建议收藏」

作者头像
全栈程序员站长
发布于 2022-06-27 13:08:41
发布于 2022-06-27 13:08:41
5060
举报

大家好,又见面了,我是你们的朋友全栈君。

日刷抖音三百条,悠悠一笑乐逍遥,夜深忽醒窗外事,不知今夕是何年。

要从上个月说起,那天晚上准备睡觉了,然后朋友突然发来一个抖音热门视频。

一向一本正经苟于工作的我,竟然沉醉于小姐姐的甜蜜的笑容,加之想到抖音好像周边的人都在玩,让我不由地也下了抖音,则立马陶醉于这抖音真对味,这世界真新鲜,这世上竟有如此光鲜亮丽的美女帅哥萌娃的感叹之中,简直没舍得合上眼。

等我准备合眼的时候,看了时间,已经早上4点半了,感叹于抖音的强大,更对抖音的用户产生了浓厚的兴趣(其实就是想看看有多少漂亮的小姐姐),也巧会一点数据分析的皮,养成了小小的职业病,什么问题都希望用数据说话,就开始爬数据分析之旅。

爬数据

爬数据用的工具都比较常见,网上大家一搜的教程一大堆,这里就简单介绍下我爬取过程。

1.引入相关python库包

首先新建python工程,引入本次爬取网页数据和写入MySQL数据库所需要的requests、pymysql、bs4这三个包:

2.获取网页数据

然后如下图所示,通过编写Python代码获取到某抖音排行榜数据网站的网页信息:

3.HTML标签解析

接着再对DIV样式下的HTML数据包进行逐一解析,获取到我需要的作者ID、作者标签、作者性别、作者粉丝数量、视频标题、视频播放数、视频点赞数、视频评论数。其中对应网页的标签样式可以通过浏览器的F12开发选项进行快速获取。

循环遍历该平台选择20w个热门用户的一条数据,总共得到20W+条信息数据,解析好数据之后,再将解析好的数据写入到MySQL数据库中就可以了。

可视化及分析

成功get了数据之后,就要对数据摆弄一番做一下分析,做成一个可视化大屏。作为数据分析的老司机,自然有各种手段来让我达成目的。在这里顺带安利一下我最常用的一款能够对接python数据同时做可视化分析也很强大的工具FineBI,支撑数据挖掘、对接Hadoop等多种企业数据源不在话下,让一个小白做大屏也很酷炫。当然它对个人使用完全免费,这就很nice了。

1、 性别

没想到抖音短视频的用户男女比例据然差别这么大,女性远远多于男性。作为一本正经苟于工作的我不禁有点小小心动,分明就是海量“小姐姐”任你挑选。不过仔细想想,抖音的入口不需要注册登录就可以直接观看视频,这部分部分非活跃的普通用户里男性应该会比女性多,因为女性可能比男性更加大胆去展现自己阳光青春的一面个人揣测,这就导致了非注册男性用户没有计算到这部分比例。

2、年龄分布

在年龄分布上,24 岁以下、 25-30岁和31-35岁用户占比最高,分别占比27%、29%和26%,平均年龄在25-30岁左右。粗略推想,这个年纪的用户一般有一定经济储蓄——懂得打扮自己,观念先进——喜欢接受酷潮的东西,并在社会引领潮流。被抖音的用户年龄小小的感叹了一下,难怪可以和微信微博血拼下杀出一条血路,让各大厂奔向小视频领域。

3、地域分布

4、省份分布

一二三线级城市分布

拉了一下用户数量TOP10的省份,广东、江苏和山东占据了前三甲。再把注册城市的信息按照线级城市人工整理之后,得到上面的线级城市分布数据。可以看到一、二线城市的用户居多,合计超过了60%的抖音用户分布在一二线城市。

5、星座分布

一个意外的惊喜,居然拉到了星座标签的数据,然后得到的结论更让我震惊。天蝎座和魔蝎座两个星座最多,而狮子座、白羊座则相对占比只有旗一半不到。尽管星座是一种统计学,不过这里面看来的确有着一些星座玄学?

上面是抖音用户的一些基础属性,再来看一下抖音用户们的行为特征。

6、各时段流量分布

首先是活跃用户数的活跃时间段,可以看到中午 12 点到13点之间和18 点后,抖音的用户达到两次高峰期。中午一个小时的饭后午休时间段,抖音让大家有了放松的一个良好手段,将碎片化的时间集中起来在抖音上进行消费,而晚上饭后的闲暇时光,便是将抖音作为饭后娱乐项目了。而这个时间段的发布视频数量也达到了高峰。

7、关键词分布

对视频标题的关键词汇进行了统计。可以看到整体词频方面,除了“小哥哥”、“小姐姐”以及“小助手”以外,具备强烈生活色彩的“爸爸”、“我妈”、“弟弟”、“老公”、“我家”这些词同样被高频率使用。可以看到用户们发布的内容相当贴近生活和家庭,而且都比较正能量。抖音的内容门槛很低,软件上手门槛也很低,难怪这么受大众喜欢。

8、视频时长平均点赞数

可以看到用户们发布的视频时长也是有规律的,时长过长过短都不适宜,10-15s的视频时长点赞都不错,其中10s的视频时长最佳。看来比较考验用户们如何把包袱压缩在10s内,过长用户可能就直接跳过了。

9、视频分类TOP5

最后再看一下视频分类,名人明星、娱乐、搞笑幽默、旅游和美食占据TOP5.

最终用户画像

通过以上,我们就可以直接或者间接地了解抖音的用户画像:一个25-30岁左右一二线城市的天蝎座魔蝎座的大概率女性用户,喜欢在13点和下午6点后,发布名人明星、美食类别的“吃”和”家庭“相关内容的时长在10-15s左右视频。

很好,我的目的达成。

不过这么分析完,似乎我并不能成为抖音的用户,我可能更喜欢在现实生活里吧。借用他人一句话:“抖音,却是一个有几分疗愈的地方,因为在日常生活中,就算你从不曾被取悦,在抖音,却似乎每个人都在努力取悦你”,不过对于我而言,比起活在虚无的世界里满足于娱乐活动,还是做一个活在真实世界里的人更加令我满足。当然,也可能因为我是金牛座,你呢?

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/133073.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年6月9,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
说说 WordPress 站点微信小程序
算起来从【微信小程序审核不通过原因整理汇总】一文发布至今,明月博客的微信小程序版已经上线四年多了,细心的站长们应该也发现最近明月博客每篇文章结尾都会有一个小程序二维码,微信扫一扫即可在打开小程序里对应的文章了,并且自从【微信小程序更新到开源版 2022 模板并加入企业微信插件】一文开始,微信小程序里文章结尾和关于页面里都加上了企业微信组件,点击后可以直接跟明月的企业微信互动交流。可以看出来在微信小程序上明月还是蛮用心的了,一直都在保持着维护和更新,明月已经用了四年多的 WordPress 站点微信小程序了,所以今天专门的给大家聊聊 WordPress 站点微信小程序。
明月登楼的博客
2022/11/18
7770
说说 WordPress 站点微信小程序
WordPress制作微信小程序,源码+使用教程
本次使用的微信小程序源码由酱茄提供的酱茄开源Free版小程序,是由MT运营库改版,名称是:酱茄开源Free版小程序小蓝主题。个人小程序也可以使用
小狐狸说事
2022/12/05
8.2K0
WordPress制作微信小程序,源码+使用教程
说说 WooCommerce 插件
玩儿过WordPress的估计都听说过WooCommerce插件吧?明月其实很早的时候就接触和体验过WooCommerce插件了,严格意义上来说WooCommerce应该是WordPress平台下开源电子商务解决方案才比较确切些,也就是说WordPress+WooCommerce就是一套电子商务解决方案了,也就是我们俗称的“在线商城”。
明月登楼的博客
2021/04/30
2.1K0
说说 WooCommerce 插件
微慕小程序开源版v4.0发布
距离微慕开源上次更新(上次更新是2020年8月9日)已经过去半年了,最近我对微慕小程序开源版做了一些小的升级和完善,除了修复一些bug外,主要增加了两个核心功能:直播、扩展设置和提交微信搜一搜
Jianbo
2021/02/22
7640
微慕小程序开源版v4.0发布
微信小程序 从后台接口接收数据并把数据传给要跳转的页面–小程序中页面传值数据不完整(mpvue)
  var res=await app.wx_tb_request(app.domain+’/api/index/cat_qsy’,’post’);
超级小可爱
2023/02/20
1.1K0
微信小程序直播安装和开发指南
2020年2月28日微信小程序直播能力启动公测。微信小程序直播是微信官方提供的商家经营工具,商家可通过在小程序内直播,实现商家与消费用户互动,同时进行商品销售的闭环。在直播的时候无需任何的跳转,直接下单,提高下单转化率。这让直播成为打通商家和消费用户的重要销售渠道。
Jianbo
2020/05/22
4.2K0
微信小程序直播安装和开发指南
WordPress 博客微信小程序开发经验分享
说起微信小程序很多站长们应该都不陌生,刚开始的时候明月对小程序也有过关注,后来因为实在是想不出来自己的需求点在哪里留给淡忘了,上个月在看到【守望轩】博客开源的“WordPress 微信小程序”项目后非常认可博主的这个思路,那就是通过 WordPress 的 API 来对接微信小程序,通俗点说就是 WordPress 站点的小程序化。
明月登楼
2018/07/30
2.2K0
WordPress 博客微信小程序开发经验分享
小程序支持跳转网页会带来什么影响
11月2日,iphone X 发售的前一晚,微信小程序发布了一个重量级的更新: 小程序内嵌网页能力开发 使用教程很简单: 到mp.weixin.qq.com登录小程序号,并进入“设置”-“开发设置”-
花叔
2018/04/18
2.4K0
小程序支持跳转网页会带来什么影响
01-微信小程序开发准备
小程序的特点 微信小程序开发小程序注册一些基础的设置查看日志开发设置(AppID小程序ID)服务器域名接口设置开发者工具下载开发者工具安装开发者工具使用创建小程序
度假的小鱼
2023/11/19
3760
01-微信小程序开发准备
微信官方评选的「年度优秀小程序」,真正改变了我们的日常生活
2017 年,万众瞩目的小程序问世,一共经历了 32 次能力更新,创造出 58 万小程序,日使用小程序的用户量高达 1.7 亿。微信官方也在今年的颁奖年会中,评选出了 20 个「年度优秀微信小程序」。
知晓君
2018/07/26
6220
【前端探索】微信小程序跳转的探索——开放标签为什么存在?
【2022.01.25修正】现在URL Scheme支持微信内跳转了,可以不用在微信内特殊处理成开放标签。
luciozhang
2023/04/22
1.1K0
【前端探索】微信小程序跳转的探索——开放标签为什么存在?
微信小程序web-view的简单思考和实践
Jianbo
2018/01/08
1.8K0
微信小程序web-view的简单思考和实践
WordPress开源微信小程序分享
基于WordPress小程序微信新模板,基于强大的WordPress Mini Program API 小程序插件创建。 除了本次的这个新模板,其他模板已经成功帮助了众多的WordPress站长拥有了属于自己的小程序。
Kit
2019/01/31
3K0
WordPress开源微信小程序分享
2-STM32F103+ML307(中移4G Cat1)基本控制篇(自建物联网平台)-整体运行测试-Android和微信小程序扫码绑定ML307,并通过MQTT实现远程通信控制(使用模组内置MQTT协
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/ML307/my.html" frameborder="0" scrolling="auto" width="100%" height="1500"></iframe></p>
杨奉武
2024/09/05
3810
2-STM32F103+ML307(中移4G Cat1)基本控制篇(自建物联网平台)-整体运行测试-Android和微信小程序扫码绑定ML307,并通过MQTT实现远程通信控制(使用模组内置MQTT协
WordPress 小程序 API 插件,连接微信、QQ、百度、头条小程序
经过一番努力,基于 WordPress REST API 的小程序 API 插件终于完成了基础功能。依稀记得从 18 年 10 月起,就说过要制作全新的小程序 API 插件,经历了两个多月,中间断断续续,最终还是基于 WordPress REST 进行扩展。在这过程中,也有尝试过不基于 WordPress REST 框架创建的 API 插件,基础功能完成之后,感觉并不如想象中的好,强迫症作用下,又放弃了。因而,最后,还是回归 WordPress REST 扩展 API 。
小狐狸说事
2023/11/22
1.7K0
WordPress 小程序 API 插件,连接微信、QQ、百度、头条小程序
微信小程序-零基础入门手册
wx.showLoading(Object object) | 微信开放文档 (qq.com)
打不着的大喇叭
2024/03/11
3750
微信小程序-零基础入门手册
一篇文章读懂微信小程序:开发、生态、服务所有流程
小程序是一种不需要下载安装即可使用的应用,它实现了应用「触手可及」的梦想,用户扫一扫或者搜一下即可打开应用。也体现了「用完即走」的理念,用户不用关心是否安装太多应用的问题。应用将无处不在,随时可用,但又无需安装卸载。 想要理解小程序,不得不提一下张小龙的演讲。在 2016 年 1 月 11 日的微信公开课 PRO 版现场,张小龙献出了他的首次公开演讲,阐述了自己对于微信的设想,还讲述了微信的四个价值观。 一切以用户价值为依归:大家都明白用户很重要,但真正把用户价值第一做到产品里面去的不多,大部分只是把这个作
BestSDK
2018/02/27
1.9K0
一篇文章读懂微信小程序:开发、生态、服务所有流程
微信小程序——图片识别
课程大作业的目的是:运用在本次课程中学到的知识来指导实践,了解程序设计其实现方法,学会解决实际问题。掌握微信小程序设计的具体步骤与基本方法,针对选定的程序做调研分析。通过课程大作业,提高实践动手技能,培养独立分析分析问题和解决问题的能力。 课程大作业的要求:本次课程大作业的选题比较灵活,可以是自主选题,也可以参考课本中的案例自行修改完善,题目要符合课程大作业的要求,并且具备一定的水平和深度。
全栈程序员站长
2022/09/07
5.8K0
基于wordpress零基础纯新手向-2022最新最全面最详细教程-教你一步一步搭建自己的网站
我们日常生活工作都会浏览各式各样的网站,在这期间你是否也想过搭建一个属于自己的网站、博客,来分享、讨论、交流你的专业知识和兴趣爱好、展示自己的生活状态和艺术作品?
望舒瑾
2022/05/31
4K1
基于wordpress零基础纯新手向-2022最新最全面最详细教程-教你一步一步搭建自己的网站
微信小程序仿阿姨帮【含教程】
官方解释,微信小程序,简称小程序,是一种不需要下载安装即可使用的应用,它实现了应用“触手可及”的梦想,用户扫一扫或搜一下即可打开应用。简而言之,就是用户需要的时候打开,用完即走的一种应用。如果小程序能够兴起,我想到时候我们的手机将会变得很简单干净,因为你无需下载安装各种App!
用户5997198
2019/08/12
1.5K0
微信小程序仿阿姨帮【含教程】
推荐阅读
相关推荐
说说 WordPress 站点微信小程序
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档