Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >又被AI淘汰了!一句话生成自动化操作

又被AI淘汰了!一句话生成自动化操作

作者头像
小白的大数据之旅
发布于 2025-04-19 14:23:47
发布于 2025-04-19 14:23:47
15400
代码可运行
举报
运行总次数:0
代码可运行

现在谁还手动操作浏览器,应该学会让AI做你自己的打工人,释放自己的双手去,你的手应该是用来摸鱼而不是做这些费时并且无聊的操作

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
地址:https://mp.weixin.qq.com/s/zdbqsA9YdUlbpzPFnjmR-w

现在我们只需要通过人类的语言也就是自然语言告诉AI,帮我发一条微博,采集周杰伦演唱会的信息,并且写入到Google Docs中,AI就会进行类似RPA的操作,在浏览器中点击、输入、提取数据,甚至生成可视化报告复盘每一步操作,不需要我们写代码,也不需要一步步配置PRA,只需要一句话就可以实现,这就是Midscene.js

任何人都可以通过自然语言操控网页,无论是正常需要处理一些批量的网页操作,还是需要进行一些自动化测试,写Python代码或者设置RPA就太low了,太没效率了,Midscene.js轻松搞定,重点是完全开源

自然语言驱动

不用写一行代码!直接用你自己的语言告诉 Midscene.js 你想做什么:

“在豆瓣搜索《流浪地球 2》并提取评分”

“登录淘宝,把购物车前 3 件商品加入收藏”

“监控某电商页面价格,降价 10% 立即通知我”AI 会自动解析指令、规划操作步骤,像真人一样点击按钮、填写表单、抓取数据,甚至支持复杂的逻辑判断(比如 “如果页面出现错误提示,就重试 3 次”)。

集成更多开源模型

除了支持 GPT-4o、Claude 等通用大模型,Midscene.js 特别适配了两款专为 UI 自动化设计的开源模型

UI-TARS:可以私有化部署,让本地私人数据更安全,并且对网页元素的识别准确率高达 98%,这个我就不多介绍了,前面的文章已经写过了,大家可以看看以往的文章

Qwen2.5-VL(千问):中文场景优化,对一些复杂表格、弹窗处理能力更加强大,并且完全免费且支持商业使用。

如果不想依赖闭源模型,这两个开源模型都可以满足需求


强大集成能力

作为前端,在我们以前常用的Puppeteer/Playwright 可以通过API调用,直接与以前编写的自动化脚本无缝衔接,例如先用 AI 定位到网页元素,再使用 Playwright 执行批量点击操作

日常使用(摸鱼使用🤫) 使用Chrome 插件,一键安装,不用配置环境,打开浏览器直接使用

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Chrome插件使用:https://midscenejs.com/quick-experience.html

调试

开发自动化脚本的时候最头疼就是调试了,每一步都要调试一下,效率太低。 Midscene.js可以直接生成HTML 报告,每一步点击、输入都能动态回放,哪一步出错都可以一目了然,而且首次执行任务后可以自动保存操作流程,下次相同的任务可以直接复用,这不大大提升了效率,有了更多摸鱼的时间

看下如果让 AI 给你 打工

30 秒发布一条精致 Twitter

对 Midscene.js 说:“用 Chrome 打开 Twitter,发布一条图文 tweet,内容是‘今天发现了超好用的 AI 工具!’,并附上项目官网链接和一张猫咪配图。”

AI 自动登录账号→点击发推按钮→输入文本→上传图片→点击发布,全程无加速视频如下,真的是零代码进行操作

用 JS 编排复杂任务流

搜集周杰伦演唱会信息并写入 Google Docs?

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
// 用Midscene.js API编排任务  

const midscene = require('midscene');  

const browser = await midscene.launch({ headless: false });  

const page = await browser.newPage();  

// 让AI搜索演唱会信息  

const concertData = await midscene.operate(page, "搜索‘周杰伦2025演唱会行程’,提取举办城市、日期和票价范围,保存为JSON。");  

// 写入Google Docs  

await midscene.operate(page,  `打开Google Docs,新建文档,标题为‘周杰伦演唱会信息’,内容写入: ${JSON.stringify(concertData)} `);  

await browser.close();  

AI 能够自动完成 “搜索→解析表格→提取数据→生成文档” 全流程,这不比手写脚本快多了!

🛠️ 3种方式玩转 Midscene.js

不分你是高手还是新手,这三种方式绝对好用

👉 新手首选:Chrome 插件

安装插件:打开 Chrome 应用商店,搜索 “Midscene.js” 或点击这里安装

启动 AI 助手:打开任意网页,点击插件图标,输入自然语言指令(比如 “提取这个网页的所有链接”);

查看结果:右下角弹出操作报告,支持导出 JSON 数据或直接复制结果。

👉 进阶:用 YAML 写自动化脚本

比较适合有一些需要批量执行较为复杂的任务场景,例如电商价格监控:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 # price-monitor.yaml  

steps:  

   - name: 打开商品页面  

    action: navigate  

    url: https://www.example.com/product/123  

   - name: 提取价格  

    action: extract  

    target: ".price-tag"  # 支持CSS选择器或自然语言描述(如“页面右上角的价格数字”)  

   - name: 比较价格  

    action: assert  

    condition: "当前价格 < 1000元"  

    onFail: "发送邮件通知用户价格过高"  

保存后运行 midscene run price-monitor.yaml,AI 会按步骤执行并生成调试报告。

👉 开发者推荐:集成 Puppeteer/Playwright

如果你熟悉自动化测试工具,可通过 NPM 安装 Midscene.js:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
npm install midscene  

然后在代码中调用:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
const { Midscene } = require('midscene');  

const midscene = new Midscene({ model: 'UI-TARS' });  // 使用开源模型  

const browser = await midscene.launchPuppeteer();  

const page = await browser.newPage();  

// 让AI操作页面  

await midscene.operate(page, "在搜索框输入‘Midscene.js’,点击搜索按钮,等待结果加载完成。");  

// 后续可结合Puppeteer API进一步处理  

const results = await page. $ $eval('.search-result', elements => elements.map(e => e.textContent));  

console.log(results);  

AI 负责 “理解指令 + 定位元素”,你负责 “编写逻辑 + 拓展功能”!

⚡ 对比传统工具:Midscene.js 凭啥出圈?

特性

传统 UI 自动化工具(如 Selenium)

Midscene.js

上手难度

需要掌握编程语言和元素定位

自然语言直接输入,0 代码基础

模型适配

依赖人工编写脚本

内置 AI 模型自动规划操作流程

调试体验

日志复杂,需手动排查错误

可视化操作回放 + 自然语言断言

数据安全

闭源模型可能上传敏感数据

支持开源模型私有化部署

灵活性

固定脚本,修改成本高

动态解析指令,支持实时调整

简单来说:传统工具是 “你写脚本让电脑执行”,Midscene.js 是 “你告诉 AI 要做什么,AI 帮你写脚本并执行”,AI不会淘汰你,淘汰你的是会用AI的人

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-04-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
惊!Midscene.js:一款AI 驱动的 UI 自动化测试利器,小白也能秒上手!
在软件开发测试领域,UI自动化测试一直是我们的“心头大患”。传统测试工具依赖繁琐的元素定位(如CSS选择器、XPath),一旦页面结构变化,脚本就可能失效;复杂交互场景(如动态加载、多步骤验证)需要编写大量代码,维护成本高昂;而数据抓取、性能监控等场景更是让测试人员苦不堪言。
测试开发技术
2025/04/18
1.1K0
惊!Midscene.js:一款AI 驱动的 UI 自动化测试利器,小白也能秒上手!
Midscene.js - AI驱动,轻松实现UI自动化
该技术正从“辅助工具”进化为‌质量保障核心决策中枢‌,推动软件交付从“人适应工具”到“工具理解意图”的范式重构。
wangmcn
2025/02/25
1.6K2
Midscene.js - AI驱动,轻松实现UI自动化
推荐一款最新开源,基于AI人工智能UI自动化测试工具!支持自然语言编写脚本!
随着互联网技术的飞速发展,Web应用越来越普及,前端页面也越来越复杂。为了确保产品质量,UI自动化测试成为了开发过程中不可或缺的一环。然而,传统的UI自动化测试工具往往存在学习成本高、维护困难等问题。特别是UI 自动化脚本里往往到处都是选择器,比如 #ids、data-test、.selectors。在需要重构的时候,这可能会让人感到非常头疼。
测试开发技术
2025/02/25
8770
推荐一款最新开源,基于AI人工智能UI自动化测试工具!支持自然语言编写脚本!
推荐几款常用Web自动化测试神器!
Web自动化测试在保证质量、提升效率、软件开发加速迭代上起到关键作用,它已经成为现代软件测试中不可或缺的一部分,今天给大家介绍推荐几款常用的Web自动化测试工具。
测试开发技术
2023/09/11
4.9K0
推荐几款常用Web自动化测试神器!
一句话开发Chrome摸鱼插件
本文所使用的 CodeBuddy 免费下载链接:腾讯云代码助手 CodeBuddy - AI 时代的智能编程伙伴
AI大眼萌
2025/05/30
640
一句话开发Chrome摸鱼插件
分享6个必备的 JavaScript 和 Node.js 网络爬虫库
作为一名程序员,你是否曾遇到过需要从各大网站提取数据的需求?随着互联网的快速扩展,能够高效地进行网络爬虫已经成为企业、研究人员以及个人的一项重要技能。在这个数据为王的时代,如何利用JavaScript和Node.js来实现高效的数据抓取,是每一个开发者都应该掌握的技巧。
前端达人
2024/06/14
2.9K0
分享6个必备的 JavaScript 和 Node.js 网络爬虫库
Playwright 简明入门教程:录制自动化测试用例,结合 Docker 使用
本篇文章聊聊如何使用 Playwright 进行测试用例的录制生成,以及如何在Docker 容器运行测试用例,或许是网上最简单的入门教程。
soulteary
2022/11/29
3.4K0
Playwright 简明入门教程:录制自动化测试用例,结合 Docker 使用
网页抓取教程之Playwright篇
近年来,随着互联网行业的发展,互联网的影响力逐渐上升。这也归功于技术水平的提高,研发出了越来越多用户体验良好的应用程序。此外,从网络应用程序的开发到测试,自动化在整个过程中的使用也越来越普及。网络爬虫工具越发流行。
用户7850017
2021/11/09
11.8K0
网页抓取教程之Playwright篇
Electron自动化测试技术选型调研
Electron简介 Electron是一个开源的框架,用于构建跨平台的桌面应用程序。它由GitHub开发并于2013年首次发布。Electron允许开发人员使用Web技术(如HTML、CSS和JavaScript)来构建桌面应用程序,同时可以在Windows、macOS和Linux等操作系统上运行。
zx钟
2023/09/24
1.8K0
Electron自动化测试技术选型调研
MCP-Playwright:AI自动化神器,一款超级好用的自动化测试框架!
在软件开发与测试领域,自动化测试早已成为提升效率、保障质量的核心工具。然而,传统自动化测试框架往往面临代码编写繁琐、跨工具协作困难、操作复杂等痛点。
测试开发技术
2025/04/30
3K0
MCP-Playwright:AI自动化神器,一款超级好用的自动化测试框架!
使用Puppeteer构建博客内容的自动标签生成器
标签是一种用于描述和分类博客内容的元数据,它可以帮助读者快速找到感兴趣的主题,也可以提高博客的搜索引擎优化(SEO)。然而,手动为每篇博客文章添加合适的标签是一件费时费力的工作,有时候也容易遗漏或重复。本文将介绍如何使用Puppeteer这个强大的Node.js库来构建一个博客内容的自动标签生成器,它可以根据博客文章的标题和正文内容,自动提取出最相关的标签,并保存到数据库中。
jackcode
2023/09/05
4450
使用Puppeteer构建博客内容的自动标签生成器
Chrome浏览器实例的TypeScript自动化脚本
Chrome浏览器作为全球使用最广泛的浏览器之一,其自动化操作的需求也随之增长。Puppeteer是一个Node库,它提供了一套高级API来控制Chrome或Chromium。本文将介绍如何使用TypeScript结合Puppeteer来创建一个自动化脚本,并在代码中集成代理信息,以实现对Chrome浏览器实例的控制。
小白学大数据
2025/01/03
2480
用 Puppeteer 实现一个自动化机器人
Puppeteer 是 Node.js 的一个函数库,可用来操控浏览器,是 Google 的项目,可以应用的范围包括:前端的自动化测试、爬虫、表单提交等。
疯狂的技术宅
2021/04/02
1.5K0
用 Puppeteer 实现一个自动化机器人
这一次,Google 终于对 Web 自动化下手了!
最近 Google 对 Chrome 进行了一次比较大的更新,其中一项是脚本录制回放功能,它可以非常方便我们处理一些自动化场景
AirPython
2021/11/16
8620
这一次,Google 终于对 Web 自动化下手了!
Puppeteer:从零出发,全面掌握浏览器自动化神器
Puppeteer 译为木偶,是一个 Node.js 库,内部通过 DevTools 协议提供控制 Chrome 或 Firefox 的一系列 API。通过定义可以看出 Puppeteer 的核心在于提供用户控制浏览器行为的方法,以下是一些自动化入门示例:
前端小鑫同学
2024/07/12
3.3K0
Puppeteer,非常好用的一款爬虫和自动化利器~
最近写爬虫采集电商数据,遇到很多动态加载的数据,如果用requests来抓包非常难,我尝试用了一个大家较为陌生的的工具——Puppeteer,它支持控制浏览器,能很好的采集动态网页,后来发现它不仅是一个爬虫工具,更是一个自动化利器。
派大星的数据屋
2025/04/04
2500
Puppeteer,非常好用的一款爬虫和自动化利器~
Puppeteer 初探之前端自动化测试
导语: Most things that you can do manually in the browser can be done using Puppeteer! 初识puppeteer pup
QQ音乐前端团队
2017/09/25
13.3K6
Puppeteer 初探之前端自动化测试
不写一行代码来实现自动化
由于技术的进步,各行各业的门槛越来越低。 以前别人说会selenium就是会自动化。好像很高大上的样子。现在会selenium估计是基本的。大家都忙着内卷,各种轮子越来越多,自动化的门槛也越来越低。
赵云龙龙
2021/03/16
8980
用 Puppeteer 把繁琐工作给自动化了,太爽啦!
这意味着如果文中有几十张图片,那我需要单独把这几十张图片保存到本地,然后光标定位到对应位置,点击上传图片,把图片插进去。
神说要有光zxg
2023/08/29
5660
用 Puppeteer 把繁琐工作给自动化了,太爽啦!
AI浏览器自动化实战
短短几个月内,Browser use 已在 GitHub 上获得超过 5 万颗 star:
程序员NEO
2025/04/16
7050
AI浏览器自动化实战
推荐阅读
相关推荐
惊!Midscene.js:一款AI 驱动的 UI 自动化测试利器,小白也能秒上手!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验