今天分享的是 b 站弹幕数据集,使用 b 站弹幕爬虫,抓取 b 站著名百大 up 主「木鱼水心」关于三国演义、水浒传、红楼梦这些四大名著最火的几个视频的弹幕列表。
上次,我们做了一个B站/知乎大V排名监控工具(用python爬虫追踪知乎/B站大V排行)。
“吃瓜群众”“一亿小目标”“蓝瘦,香菇”“主要看气质”……如果你用过这些,你可能是9000后;
前几天在Python白银交流群【肉丸胡辣汤】问了一个Python网络爬虫和可视化的问题,提问截图如下:
书接上回,b 站除了评论区出人才,弹幕也是 b 站文化富集之地,所以今天分享的是 b 站弹幕爬虫,文末同时附上源代码和 exe 工具链接。
如果要抓取数据,一般使用Python是很方便的,不过如果你还不会推荐使用Chrome扩展 web scraper,下面就分别用Python和 web scraper 抓取豆瓣电影top 250 和b站排行榜的数据。
这样就实现从操作到展示的完整逻辑,所有直播间的水友都可以参与游戏,下面是实际效果:
《向往的生活》是湖南卫视一档十分温馨的生活类真人秀综艺节目,目前第三季正在更新中,常驻嘉宾加入了张子枫,深受广大观众的喜欢。而该节目的豆瓣评分也达到了7.9。这档综艺以明星艺人到村寨里体验生活为主线,融入了美食,劳动,幽默的元素,让人边看边有身临其境的感觉,仿佛自身也真正进入了“向往的生活”。
up主通过代码实现了实时读取直播间里的弹幕内容,进而控制自己的电脑,把弹幕翻译成指令操控《赛博朋克2077》游戏。
文本不会讲具体某个网站的弹幕抓取方法。而是描述抓取到二进制的弹幕信息以后,如何进行处理。
这个chrome扩展号称B站的好帮手https://chrome.google.com/webstore/detail/%E5%93%94%E5%93%A9%E5%93%94%E5%93%A9%E5%8A%A9%E6%89%8B%EF%BC%9Abilibilicom-%E7%BB%BC%E5%90%88%E8%BE%85%E5%8A%A9%E6%89%A9%E5%B1%95/kpbnombpnpcffllnianjibmpadjolanh ,最近更新时间2022年5月5日 ,安装后点击右上角图标可以截取画面,下载视频封面,查看视频aid,bvid,cid,下载各种清晰度的视频,下载和查询弹幕。
在上一篇 B 站爬虫 【爬取了 S10 SN vs DWG 总决赛视频的 10 w 条弹幕和评论】中简要分析了B站 S10 总决赛视频弹幕及评论的一些东西,本次分享将使用的 B 站弹幕及评论打包成工具供大家免费使用。
前段时间在掘金社区写文章,得了一台树莓派3B,加上之前在闲鱼曾经淘到一块1280x400的长条屏,就想着把一直想要的哔哩哔哩UP主助手给完成了。
各种评论视频“爆炸”网络,打开首页全是热点话题的内容,某知名UP主发布视频都要错下峰。
【导语】:今天我们来聊聊最近火到不行的综艺——《乘风破浪的姐姐》,Python分析弹幕部分请看第四部分。
【导语】:今天我们来聊一聊选秀节目《青春有你2》。Python技术部分请看第三部分。公众号后台,回复关键字“青你”获取完整数据。
在近期的工作代码中我遇到了一些小问题,导致了我的更新慢了不少。今天我就想把我在之前遇到的问题分享给大家,并通过一篇实战内容来教会大家,希望各位小伙伴以后遇到类似问题的时候,可以想起我的文章,并解决问题。
Python 已经成为一种再主流不过的编程语言了。许多同学开始学习它,又不知道该如何入手,需要依据每个人的情况来决定,想要自学python对各方面有一定要求的,比如说基础好、自学能力强、理解能力强,这种情况是可以选择自学python的。爬虫自学重点就是需要掌握数据抓取、数据提取、数据存储、爬虫并发、动态网页抓取、scrapy框架、分布式爬虫、爬虫攻防、数据结构、算法等知识。很多自学python的同学收集了很多的学习网站,关注了很多python博主,但是却不知道应该选择哪个进行深入的学习。
【导语】:今天我们来聊聊地摊经济,Python技术部分请看第四部分。公众号后台,回复关键字“地摊”获取完整数据。
主要是记录一下自己写Python爬虫的经过与心得。 同时也是为了分享一下如何能更高效率的学习写爬虫。 IDE:Vscode Python版本: 3.6
视频链接:https://www.bilibili.com/video/BV1zE411Y7JY
上一篇我们讲过Cookie相关的知识,了解到Cookie是为了交互式web而诞生的,它主要用于以下三个方面:
由于篇幅过大原因,文章将分为上篇与下篇:上篇为数据获取,下篇为数据分析。今天为大家带来的是上篇:获取B站数据!
感谢您来到黄同学《原创作品》所在地,这里将会分享很多实在的干货文章和手册,供大家学习。 先来看看他的原创好文 Python实战 20000字的深度分析 ,让你彻底搞懂《电信用户流失预测模型》! 数据分析实战之超市零售分析(附python代码) 20行代码教你用python给证件照换底色! Python热点 《大秦赋》最近很火!于是我用Python抓取了“相关数据”,发现了这些秘密...... 爬取周杰伦新歌《Mojito》MV弹幕,看看粉丝们都说的些啥! 太牛了!用 Python 实现抖音上的“人像动
今天继续分享实用的chrome扩展和油猴脚本分享几个让 b 站开挂的油猴脚本和chrome扩展 ,之前分享过的我都同步到博客了 https://blog-susheng.vercel.app/
作者:黄耀鹏, 腾讯PCG数据分析工程师 |导语 视频弹幕作为视频内容延伸、以及用户喜好反馈的一部分,有着巨大的挖掘价值。本文旨在通过运用文本挖掘技术,从弹幕中挖掘综艺节目热点话题,助力平台精准把握用户消费偏好、提升节目运营效率。 声明:本文运营方案相关的思考为个人观点,不代表腾讯视频既有运营方案和平台价值取向。本文仅纯粹作为个人感兴趣的技术研究总结。抛砖引玉,期待感兴趣的同学一起交流探讨。 1. 业务场景思考 1.1 视频弹幕的本质 弹幕文化,首先兴起于ACG社区等小众群体。而随着B站等弹幕视频网站的
从大三接触 Python 到现在几乎已经有两年的接触经验了,除去中间有一年左右接私活写写 Android 和 Lamp 之外,有 Python 实际项目开发经验也算是 9 个多月,也稍微算得上是一个入
目前公众号平台改变了推送机制,点“赞”、点“在看”、添加过“星标”的同学,都会优先接收到我的文章推送,所以大家读完文章后,记得点一下“在看”和“赞”。
最近想爬下B站的弹幕和评论,发现网上找到的教程基本都失效了,毕竟爬虫和反爬是属于魔高一尺、道高一丈的双方,程序员小哥哥们在网络的两端斗智斗勇,也是精彩纷呈。
不知不觉,web scraper 系列教程我已经写了 10 篇了,这 10 篇内容,基本上覆盖了 Web Scraper 大部分功能。今天的内容算这个系列的最后一篇文章了,下一章节我会开一个新坑,说说如何利用 Excel 对收集到的数据做一些格式化的处理和分析。
不会 Python 没关系,手把手教你用 web scraper 抓取豆瓣电影 top 250 和 b 站排行榜
B站(哔哩哔哩)是国内知名的视频弹幕网站,也是中国最大的年轻人聚集地之一,想要知道B站弹幕爱刷什么梗?不同分区UP主弹幕各有什么特点?如何快速成为B站弹幕老司机?本文就通过Python爬取B站不同UP主近20万+弹幕数据进行分析,全文共分为两个部分,第一部分为不同分区up主的弹幕分析,第二部分为Python爬取B站弹幕技术分析。
综艺,是我们劳累了一天的放松方式,也是我们饭后的谈资。看着自己喜欢的综艺,时光足够美。而《令人心动的offer》,就是一个不错的综艺选择。
Python爆红背后的原因是什么?为什么身边的小伙伴都开始学习Python?怎样零基础开始学习这门语言?学习难点在哪里?DT财经特邀纽约数据科学学院讲师张泽宇,为你们一一解答这些问题。 ▍火爆的Pyt
今天教大家用Python分析《沉默的真相》的17万条弹幕。公众号后台,回复关键字“沉默”获取完整数据。
今天给大家推荐一个数据分析&挖掘领域的大牛:徐麟,之前在携程、唯品会等互联网公司从事担任高级数据分析师,同时创建了个人公众号数据森麟。
最近想搞一点好玩的事情(技术),今天打算做一个小程序:一键查询明星个人信息。(从数据抓取到知识图谱展示,全程代码完成原创,不涉及调用api包)
我们为什么要了解网络爬虫? 因为当今从事科学研究等,需要大量的数据,但是这些数据公开的又非常的少,大量的数据都在大公司的手中。我们这些普通人本身并没有那么多数据,但是我们又需要大量的数据。那么,这时我们就需要用到网络爬虫了。
首先,通过b站网址,查看到《请回答1988》木鱼水心弹幕最多的一集,其URL如下:
《灵笼》艺画开天生产,B站独播,国漫里面制作算是精良,但是剧情有太多瑕疵。评论两极分化,好的说非常好,差的说非常差。看看弹幕说的啥吧
估计最近很火的连续剧《隐秘的角落》大家趁着端午假期都看过了吧?小编也跟着潮流,一口气把12集的连续剧全部看完了。看过的人肯定对朋友圈里有人发的“一起去爬山”、“小白船”、“还有机会吗”的意思心照不宣。没看过的,如果已为人父人母的,强烈要求看一下。
总所周知bilibili是没有办法直接查看弹幕的发送者的,这使得当我们看到一些nt弹幕的时候虽然生气,却无可奈何,但是B站是可以屏蔽某个用户发送的弹幕的,这说明数据接口里肯定有用户信息,由于最近在学爬虫,所以我想先找找弹幕接口,分析下里面的数据。
最近爱奇艺独播热剧『赘婿』特别火,号主我也在一直追,借助手中的技术,想爬取弹幕分析该剧的具体情况以及网友的评论!
前几天在看B站上的爬虫视频,虽说是免费的,但是要时刻联网,而且快进和后退还需要等待响应,想到这里,小编就觉得有点麻烦,于是乎就想着给它下载下来,这里整理成一篇小文章,分享给大家学习。
>>>> 1. 东方 Project 如果你曾看过一个名为「Bad Apple!!」的黑白影绘, 或者在各种音乐社区听歌时注意过「东方 Project」的字样, 但完全不了解这背后到底是什么? 所以好奇的在评论区发问——「这什么动漫?哪追番?」, 却遭到了冷遇甚至意义不明的嘲讽,之后无奈地只把它当作一个奇怪的符号。 那么希望这篇文章能让你有机会从数据的角度重新窥见这个由无数同人创作者构造的奇妙世界。 首先,东方 Project (后简称「东方」), 是指同人社团上海爱丽丝幻乐团所发布的弹幕射击系列游
内容来源:本文转自微信公众号—— Crossin的编程教室(ID: crossincode),好文请多支持!感谢您的阅读~
领取专属 10元无门槛券
手把手带您无忧上云