之前分享过 那些有趣/实用的 Chrome 扩展神器 ,准备做成一个系列，这是第2篇，关于谷歌浏览器安装Chrome扩展参考我之前的文章 那些你可能不知道的谷歌浏览器实用技巧 ， 上不了谷歌如何安装 Chrome.../screenity-screen-recorder/kbbdabhdfibnancpjfhlkhafgdilcnji，支持在屏幕上任意位置进行录制和标注信息，并可将录制内容导出 MP4、gif、webm...比如微博视频就可以直接下载。 ? 腾讯视频因为使用的m3u8格式，点击强力下载跳转 https://cococut.net/zh_cn/hls.html ? 很快就下载好了，文件是mp4格式。 ?...GitHub 文件树 平常看代码找文件很麻烦，推荐Gitako 扩展https://chrome.google.com/webstore/detail/gitako-github-file-tree/giljefjcheohhamkjphiebfjnlphnokk...还有可视化功能，看看你访问的top10网站是哪些。 ? 还可以导出txt文件，文件内容是逗号分隔，用Excel看会方便点，不过由于中文乱码的原因需要转换下，我这里用Python处理下。
谷歌浏览器一直是我推荐的浏览器，之前也写过几篇文章： 如何让你的搜索更高效 实用油猴脚本推荐，让你的谷歌浏览器更强大 谷歌浏览器安装的 Chrome 扩展越来越多，怎么管理？...网址显示全了 https://www.google.com.hk ? 这里再推荐几个有趣/实用的 Chrome 扩展神器，都是我经常使用的。...二管家 这是一个管理扩展的扩展 ，可以获取扩展更新通知并记录拓展历史，自动开启/关闭拓展，根据当前网站获取二管家社区推荐，Chrome 扩展地址 https://chrome.google.com/webstore...（由于没有上架谷歌商店，公众号后台回复 公众号 获取），支持文章列表导出为 CSV文件。...• 脱机浏览备份数据 • 将备份数据导出为 Excel 文件 • 将备份数据中的图片上传到 Cloudinary 云存储 • 迁移备份数据到当前豆瓣帐号 点击新建任务，选择备份的项目，我这里选的豆邮
teng-xun-70 就是我们要爬取的账号，answer.csv、post.csv、video.csv、pins.csv 分别是爬取的这个账号回答、文章、视频、想法的内容并保存下来的文件。...即可获得下载链接，下载到本地解压到新文件夹。...接下来是具体操作流程 第一步，确保电脑装了 chrome 浏览器，并在 cmd 下，切换到 chrome 的安装目录（一般是 C:\Program Files (x86)\Google\Chrome\Application...即 orgnization 的缩写，如果是个人号，url 中的 org会是people，程序中这一步只有输入 peo 才判断是个人号，否则默认是机构号。...，最近有同学在交流群里问怎么学爬虫，我觉得这是一个很大的话题，我一直是项目驱动至上主义，可能这并不适合所有人，想过出过一个爬虫基础系列，所以想在这里做个调研，可在下方留言区评论。
话说没有安装扩展的浏览器是没有灵魂的，之前分享过几篇关于Chrome扩展的文章： 上不了谷歌如何安装 Chrome 扩展？...将 Disabled 改为 Enabled，重启浏览器，然后在浏览器扩展页面 chrome://extensions/ 开启开发者模式，直接拖入你下载的 .crx 扩展文件即可安装成功。...纯粹的阅读体验 Circle 可以把网页中的内容提取出来，重新整理渲染成更方便阅读的排版界面 去除广告，看得更清爽https://ranhe.xyz/circle-usage/ ，扩展地址https:...可以一键抓取网页上的结构化数据，并导出为 JSON 和 CSV 文件，不用写代码，轻松高效 ，比如抓取豆瓣电影的标题，封面 https://movie.douban.com/top250 ?...注意抓取下载的文件名没有后缀，得自己加上，但是CSV文件里的中文会乱码，可通过sublime将CSV文件另存为有bom头文件即可解决。 ?
代码(代码获取方式直接到最后)实现的主要组成部分如下： • 将序列化文件作为输入生成web3.0域名(我从网上下载了英语词典里面有英语常用词汇) • 使用Selinum模拟用户对浏览器进行操作 • 多进程技术节省未注册域名批量查询时间...和web2.0时代用可读性好的域名代替IP地址类似，web3.0时代，用可读性好的域名去替代地址（我个人觉得这个钱包地址类似身份证是你的身份），ENS就是其中的代表性的域名服务。...序列化文件生成域名 我们打开浏览器，在地址栏中输入app.ens.domains，可以看到如下界面： 在搜索框中输入cvtutorials，我们可以看到cvtutorials.eth还没有注册:p（Available..._ori.csv文件中获取单词用来批量生成域名 words5_ori = [] csv_reader = csv.reader(open("....后记 就在我用完这个方法后，发现了有python库有这个功能，放在下一期吧:p，关注公众号机器视觉全栈er，后台回复ens即可获取单词的csv文件及项目源码。
前言 上篇文章分享一些好用的插件，受到不少朋友的好评收藏，是的，今天带着谷歌插件又来了，本次分享一些谷歌的扩展插件，作为前端老手你利用各种工具来提升工作效率和提升满足感，由于熟悉的工具之多，我也被同事戏称工具人...这时候你的好工具上线了，只需要点击这个插件一件生成二维码，你扫这个二维码即可访问目标网站，当然还有其他功能就需要同学们自行发挥了~ 推荐指数：⭐⭐⭐⭐ 下载地址：https://chrome.google.com...你想在GitHub上clone一个项目下来学一学但是clone速度太慢？甚至clone失败？别担心，装了他让你的下载速度嗖嗖嗖！...Dark Reader 我个人最喜欢用的插件，黑暗阅读，就像手机的暗黑模式一样，对于长期需要对着电脑屏幕的我们无疑是对眼睛的一个很好的保护，在配上vscode黑色主题，来回切换调试，简直不要太舒服！...一个超大的还没有格式化的json文件？或是压缩后的js文件？把你的内容貼在前端助手上，让他帮你处理格式化。
哔哩哔哩助手 这个chrome扩展号称B站的好帮手https://chrome.google.com/webstore/detail/%E5%93%94%E5%93%A9%E5%93%94%E5%93%...1080p下载的视频是flv格式，可以使用转换工具转mp4 ，如果嫌麻烦使用这个工具又一视频下载神器，一键下载b站收藏夹视频和up主所有视频 时间锚链接生成的链接可以跳转到视频指定秒数，其实就是在链接地址后加个时间...如果想在本地看有弹幕的视频，可以将视频和弹幕文件下载后放同一个目录下，比如【周杰伦纪录片】第七集：夏日狂想.flv和 【周杰伦纪录片】第七集：夏日狂想.ass，使用potplayer 播放视频的时候字幕也出来了...如果也想在本地看有字幕的视频可以下载字幕和视频文件后，将字幕和视频文件名改成一样，比如普林斯顿大学丨算法第四版.mp4 和 普林斯顿大学丨算法第四版.srt，播放视频就能看到字幕了，详情见之前文章下载b.../v/popular/rank/all 抓取导出的CSV数据文件： 为了方便你抓取，我提供了抓取代码，你可以直接导入抓取。
Python 可用于多种任务，其中包括处理逗号分隔值（CSV）数据。CSV文件一开始往往是以表格或电子表格的形式出现。本文介绍了如何在 Python 3 中处理 CSV 数据。 CSV 数据正如其名。...但是较长的数据文件或具有更多字段的数据文件可能很难用肉眼解析，因此在这种情况下计算机做得更好。 这是一个简单的示例，其中的字段是 Name、Email 和 Country。...大多数电子表格应用，无论是原生（例如 Excel 或 Numbers）还是基于 Web 的（例如 Google Sheet），都可以导出 CSV 数据。...因此，如果上面的文件在当前目录中为 example.csv，那么以下代码段是获取此数据的一种方法： f = open('example.csv', 'r') from csv import DictReader...我从电子表格中提取的 CSV 数据是一个简单的名字和邮件地址列表。 幸运的是，Python 有一个有用的 random 模块，可以很好地生成随机值。
答题转正 上次为了测试用脚本自动答题转正 5分钟搞定b站答题成为正式会员，每天自动刷经验值升级账号，我注册了个新号，自动答题效果如图（在公众号后台回复 b站获取脚本）： ?...如果想在本地看有弹幕的视频，可以将视频和弹幕文件下载后放同一个目录下，即【周杰伦纪录片】第七集：夏日狂想.flv和 【周杰伦纪录片】第七集：夏日狂想.ass，播放视频的时候字幕也出来了，详情见之前文章使用...字幕 想在本地看有字幕的视频可以下载字幕和视频文件后，将字幕和视频文件名改成一样，比如普林斯顿大学丨算法第四版.mp4 和 普林斯顿大学丨算法第四版.srt，播放 视频就能看到字幕了，详情见之前文章下载...如果你习惯有界面的，推荐简单易用的哔哩下载姬 https://github.com/FlySelfLog/downkyi （如果下载慢在公众号后台回复 b站 获取下载地址），可以下载几乎所有的B站视频，...并输出mp4格式文件，打开软件直接输入up主页地址下载up主所有视频。
像许多网站一样，该网站具有自己的结构、形式，并具有大量可访问的有用数据，但由于没有结构化的API，很难从站点获取数据。...在本教程中，我使用的是Google Chrome。...项目目录 使用Google Chrome浏览器（或Firefox）查找好起始URL 在爬虫框架中，start_urls是当没有指定特定网址时爬虫开始抓取的网址列表。...目前项目应具有以下内容： 我们将创建/添加的文件 运行爬虫 1.前往fundrazr / fundrazr目录，并输入： scrapy crawl my_scraper -o MonthDay_Year.csv...数据应该大致为这种格式 2.如果要下载较大的文件（这个是通过将npages = 2更改为npages = 450并添加download_delay = 2来爬取得），您可以从我的github（https
下载Chrome扩展需要先上谷歌，公众号回复 谷歌 获取使用方法，当然你也可以使用 https://chrome-extension-downloader.com/ 这个网站来下载crx文件，然后手动安装...简单来说就是打开谷歌的扩展管理页面 chrome://extensions/ ，然后将下载crx文件拖进去，如果提示该扩展程序未列在 Chrome 网上应用店中，并可能是在您不知情的情况下添加的或者程序包无效...因为我几十个相册有点大，比较耗时，所以先导出留言板 ? ? 下载后的目录结构如下，.md文件使用markdown软件Typora 打开，看看之前的文章用 Markdown 写简历和 PPT ? ?...留言备份文件内容 ?...hl=en 截图 ocr 这个扩展让你方便的复制图片/视频/PDF中的文字 https://ocr.space/copyfish ? 打开这篇文章那些我常听的中文播客节目，图片有中文的话先设置语言。
Docker 容器中的 Google Chrome 根据上面的代码，在容器内运行浏览器似乎很简单，但重要的是不要忽视安全性。...默认情况下，容器中的所有内容都以 root 用户身份运行，浏览器会在本地执行 JavaScript 文件。...当然，Google Chrome 是安全的，它不允许用户从基于浏览器的脚本访问本地文件，但仍然存在潜在的安全风险。你可以通过创建新用户来执行浏览器本身的特定操作来最大大地降低这些风险。...Google 默认还启用了沙箱模式，该模式限制了外部脚本访问本地环境。 以下是负责 Google Chrome 设置的 Dockerfile 例子。...run 命令处理用于获取 Chromium for Linux 的边缘存储库以及在 Alpine 上运行 chrome 所需的库。棘手的部分是要确保不会下载 Puppeteer 内嵌的 Chrome。
之前已经写过不少Chrome扩展那些我常用的 Chrome 扩展，这里继续推荐那些实用Chrome扩展 ，所谓实用就是能解决实际问题。...下载Chrome扩展需要先上谷歌，公众号回复 谷歌 获取使用方法，当然你也可以使用 https://chrome-extension-downloader.com/ 这个网站来下载crx文件，然后手动安装...简单来说就是打开谷歌的扩展管理页面 chrome://extensions/ ，然后将下载crx文件拖进去，如果提示该扩展程序未列在 Chrome 网上应用店中，并可能是在您不知情的情况下添加的或者程序包无效...留言备份文件内容 ?...hl=en 截图 ocr 这个扩展让你方便的复制图片/视频/PDF中的文字 https://ocr.space/copyfish ? 打开这篇文章那些我常听的中文播客节目，图片有中文的话先设置语言。
手机内存小的可以试试。 ? 如果不想保存拍照和编辑后的内容。在我 -设置-通用-照片，视频和文件 关闭选项，这样也可以给手机节省点空间。 ?...快捷搜索 在Chrome浏览器地址栏输入google.com的时候按tab直接搜索 ，不用进入网站再搜索，百度，微博等同理。 ? ?...这个Chrome扩展就行了，安装扩展可以看之前的文章那些我常用的 Chrome 扩展，可以自定义几倍速度，刷网课必备。...所以通常图种中夹带的压缩档内容仅为一种子文件， 供人下载某其它档案。固称为图种。...同样下载网易云的视频一样的操作，其他网站可以看看之前的文章如何轻松下载腾讯/微博/优酷/爱奇艺/b站等全网视频 搜索影视资源 不想在搜索引擎一页一页的翻资源，直接用油猴扩展加脚本帮你搞定搜不到你想看的书
大家好，又见面了，我是你们的朋友全栈君。 网络爬虫在许多领域都有广泛的应用，它的目标是从网站获取新的数据，并加以存储以方便访问。...它会在将网站内容下载到硬盘之前扫描指定的网站，并自动重新映射网站中图像和其他网页资源的链接，以匹配其本地路径。还有其他功能，例如下载包含在副本中的URL，但不能对其进行爬虫。...可以从整个目录中获取照片，文件，HTML代码，更新当前镜像的网站并恢复中断的下载。 另外，HTTTrack提供代理支持以最大限度地提高速度，并提供可选的身份验证。...Scraper Scraper是一款Chrome扩展工具，数据提取功能有限，但对于在线研究和导出数据到Google Spreadsheets非常有用。...它提供了先进的垃圾邮件防护功能，可消除垃圾邮件和不适当的语言，从而提高数据安全性。 Spinn3r索引类似于Google的内容，并将提取的数据保存在JSON文件中。
下面是使用DesiredCapabilities类访问Chrome浏览器上的AdBlocker扩展的步骤： Step 1) 在使用ChromeOption类之前，必须在Chrome浏览器上安装AdBlocker...按钮，将下载扩展名对应的CRX文件 ?...下一步是将保存的路径传递到ChromeOptions类 注意： 若不能访问Chrome官网，可到这里去下载已经生成好的CRX 文件,两个版本 AdBlock_Chrome广告拦截器extension_3...注意: 我们是通过自动化脚本在Chrome浏览器上启用AdBlocker扩展，而不是手动在Chrome浏览器上启用AdBlocker扩展。CRX文件是一种使用自动化脚本访问广告拦截器扩展的方法。...； 要操作Chrome浏览器的任何扩展插件，必须提取与扩展名对应的CRX文件，并将其添加到ChromeOptions类中； --incognito和--headless是ChromeOptions类为在
《一定要看到最后》 大家好，我是 ConardLi 去年我总结了 2021 年 JavaScript 大事记 之后，最近好多小伙伴催更我的 2022 年总结，这就来了。...更过分的是，作者不只添加了反战标语，还在 node-ipc 10.1.1-10.1.2 版本中添加了恶意 JS 文件删除俄罗斯和白俄罗斯用户文件： 攻击源码在仓库中仍可找到。...例如：在站点 A 中通过 iframe 嵌入了一个站点 C，正常情况下如果三方 Cookie 被禁用后，C 是无法在 A 站点访问到它的 Cookie 的。...，只更新页面中的内容。...在大多数情况下，它会让你的代码覆盖浏览器对该操作的默认行为。对于 SPA，这可能意味着让用户保持在同一页面上并加载或更改网站的内容。
来源：https://4ark.me//post/549a6198.html 前言 使用浏览器扩展程序可以使你的工作效率提高数倍不止，那么下面我就向大家分享一下我日常使用的扩展，可能大多数扩展大家都已经在使用了...我们下载插件一般回去谷歌商店下载，不过，如果你没有安装谷歌访问助手这个插件的话，你是访问不了谷歌浏览器的，所以建议先安装谷歌访问助手这个插件，已经访问外国网站的当我没说。...Chromoji - Emoji 在某些系统中并不能显示 Emoji 表情，安装此扩展后就能在浏览器中显示和输入，你也能选择显示 Apple 或 Google 风格的 Emoji。...Enhanced Github 这个可以在 GitHub 中显示仓库大小，每个文件的大小，下载链接和复制文件内容的选项。 要是能够支持单文件夹下载那就更好了。...Tampermonkey 油猴怕是没有人不知道，它基本上是所有扩展中的佼佼者了。
如有需要，请点击文末的“阅读原文”按钮，访问可以正常显示外链的版本。） 需求 我在公众号后台，经常可以收到读者的留言。 很多留言，是读者的疑问。只要有时间，我都会抽空尝试解答。...我们执行： jupyter notebook 默认浏览器（Google Chrome）会开启，并启动 Jupyter 笔记本界面： ?...希望阅读并动手实践后，你能掌握以下知识点： 网页抓取与网络爬虫之间的联系与区别； 如何用 pipenv 快速构建指定的 Python 开发环境，自动安装好依赖软件包； 如何用 Google Chrome...将来，你可能还要应对实践场景中的一些棘手问题： 如何把抓取的功能扩展到某一范内内的所有网页？ 如何爬取Javascript动态网页？ 假设你爬取的网站对每个IP的访问频率做出限定，怎么办？...当你面临数据获取任务时，应该先检查一下这个清单： 有没有别人已经整理好的数据集合可以直接下载？ 网站有没有对你需要的数据提供API访问与获取方式？
manifest.json 文件是 Chrome 扩展的配置文件，定义了扩展的基本信息、权限和功能。...可访问资源： web_accessible_resources：定义扩展中可以被网页访问的资源，例如内容脚本或图标。这使得网页能够访问扩展内的特定文件。...以上信息建议去官方查看，我就是因为版本 V2 教程耽误了好一阵子功夫。 常用功能 popup 页面 在 Chrome 扩展中，popup 页面是指当用户点击扩展图标时弹出的界面。...在 manifest_version 3 中，通过在 manifest.json 文件中定义 background 部分并引用 background.js 作为服务工作者，可以配置后台脚本来处理扩展的安装事件...setInterval(fetchData, 3600000); // 每小时运行一次 content_scripts 在 Chrome 扩展中，content.js 是内容脚本，用于在匹配的网页上执行
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
