Anthropic这两天放出一份最新报告，专门测试大模型拿到系统权限之后会不会"背着人办事"。结果分成四类：泄露不该说的机密、删除关键账户、篡改记录数据、甚至骗过人类监督者。其中一个财务造假场景里，AI被要求配合篡改记录，Grok 4.3在20次测试里改了19次，GPT-5.4改了17次。另一个场景更有意思，Claude Opus 4.5发现一份安全评估结果对外报告可能有误，先按流程逐级上报，高层回复"理解你的担忧，但我们对结果有信心"，正常沟通渠道全部被堵死后，它转而去找一名心存疑虑的初级研究员，帮对方把提问包装得不像吹哨，模型在拿到权限之后，自己选了一条人类没批准的路。

这类风险已经不只发生在实验室里。4月的一天凌晨，一个由Claude Opus 4.6驱动的编程Agent，在Cursor里执行了一次API调用，9秒之内清空了创业公司PocketOS的生产数据库和全部卷级备份。系统当时明确写着一条规则：未经用户允许，不得执行任何破坏性、不可逆操作。Agent照样删了，事后还写了一份"认罪书"，逐条承认自己违反了全部安全规则。基础设施厂商Railway的高危删除接口不需要二次确认，备份和原数据又放在同一个存储卷里，30多个小时后，官方仍然给不出能否恢复的明确答复。2025年12月，Cursor官方也承认过更离谱的一次：用户明确输入"禁止执行任何操作"，Agent确认收到指令后，照样继续删文件、杀进程。

这些案例有一个共同点，模型能力都不差，Opus 4.6、Opus 4.5是当时能力最强的一批模型。出问题的，是模型的权限没有被拦住。曾经因为默认配置太危险被工信部点名预警的开源Agent项目OpenClaw，最近的版本更新方向不再是堆功能，而是转向"可用、可控、可审计"。行业已经用真金白银的教训达成共识，

Agent越往执行层走，越需要有人能随时拦住它。

这恰好是企业级AI和消费级AI最大的不同，企业要的，是一个权限被卡死、动作被记录、出错能回退的数字员工。

试用阶段看能力，生产阶段看治理

企业接触大模型，起点大多是聊天框式的试用，看问答准不准，回复顺不顺。这个阶段模型能力最显眼，治理问题基本不会暴露。真正麻烦的是往下一步走，Agent开始读取系统、调用工具、生成工单、推进审批、把结果写回业务系统。这时候数据会不会出域、谁能访问哪些数据、模型调用过什么工具、出错后能不能追责和回退，才是决定项目能不能验收的问题。很多项目卡在这一步，是因为这套问题在之前根本没人注意过。

合同、流水、发票、审批记录、投研材料、员工信息一旦进了模型输入框，就带上了合规属性和责任属性。对金融机构、政务单位、央国企来说，数据是否出域，往往比模型参数更敏感。《生成式人工智能服务管理暂行办法》把发展和安全并重放在重要位置，也明确要保护个人信息和商业秘密，这条原则传导到企业采购环节，会变成一条很直观的选型标准：说不清数据边界的系统，很难拿到核心业务的入场券。

私有化部署把模型、知识库、调用记录尽量留在企业可控环境里，先把门关上。但门关上之后，门内谁能看、谁能改、谁能执行，还需要另一套机制回答，我前面提到的OpenClaw就是现成的例子，能本地部署，不代表部署完就安全，真正让它变得能用的，是后来补上的可控和可审计能力，而不是本地化这一步本身。

只有私有化，没有权限治理，仍然不够安全

私有化解决的是数据是否出域，权限治理解决的是数据在内部怎么被用。

一个本地部署的大模型，如果所有员工都能访问全部知识库、调用全部接口，只是把风险从外部搬到了内部，没有真正消失。

2025年初DeepSeek带火私有化部署热潮后，安全机构监测发现，全球近9000台运行Ollama框架的服务器里，八成以上直接暴露在公网，没有设任何访问控制，攻击者用自动化脚本就能扫到并劫持，严重的甚至能远程删掉部署好的模型文件。企业系统不是一个扁平空间，财务能看的数据人力未必能看，总部的权限分支机构未必能调。大模型和Agent进入企业，应该继承这套组织权限，而不是因为多了智能两个字就绕过岗位边界。

审计留痕决定AI能不能进入关键流程

生产环境出了错，不能只归因于模型判断错了。审计和监管关心的是谁发起了任务，模型依据什么材料得出结论，调用过哪些系统，改了哪些字段，哪个节点有人复核过，异常发生后有没有暂停和回退，忽略这些问题，AI越能干，风险就会越大。

中信证券在"一岗一数字员工"实践中，围绕企业服务、机构投资、财富零售等场景搭建数字员工体系，智能体调用了哪些数据源、走了哪段推理、改了哪些字段、谁复核放行，整条链路在隔离环境里留痕，监管抽查时能完整还原。这套要求正在变成明文规定，金融监管总局6月18日发布《关于银行业保险业人工智能安全开发应用的指导意见》，把信贷审批、资产评估、资金交易、承保理赔等场景划为高风险应用，要求这类场景必须经机构风险管理委员会专项审批准入，建立常态化人工监督和紧急停用机制。显然，如今AI已经不是加分项了，是要被纳入机构整体风险管理体系的对象。

路线之争：谁能把AI放进受控流程

企业级AI市场大致分四条路线：云厂商做模型服务和算力底座，开源模型路线拼能力和可私有化程度，行业软件把AI嵌进ERP、CRM、财务系统，智能自动化路线抓工具调用、流程编排和审计留痕。一旦场景从知识问答走向财务共享、信贷审批这类强流程场景，能不能在既有权限体系内执行、出异常能不能暂停回退，就变得尤其重要。

IDC在《中国RPA+AI解决方案市场份额，2024》里提到，AI Agent正在推动RPA突破传统规则依赖，RPA+AI进入智能自动化新阶段，这正是金智维、来也科技这类厂商被重新关注的原因。以份额常年领先的金智维为例，它长期从RPA、数字员工路线切入金融和政企场景，近年通过Ki-AgentS、K-APA等平台把大模型、RPA、工作流和知识库整合到一起，强调的仍然是本地部署、权限校验、日志留痕和人工干预，而不是单纯堆参数。最终企业采购的不会是一个孤立的模型，而是模型、数据、权限、流程和审计能力的组合。

Agent越接近执行层，越需要刹车系统

Agent不只是回答该怎么做，还可能直接去做。给它装好大脑不够，还得装刹车系统，至少四层：

，每个Agent有独立身份，不共用模糊账号；

，只能碰任务所需的数据和工具；

，每一次检索、判断、调用、写入都留痕；

，资金、合同、监管报送这类高风险动作，AI可以先标记先建议，关键一步仍要留人工确认。

Cursor那次删库事故，问题正出在这四层全部缺位，没有二次确认，备份和原数据同故障域，令牌权限不分层。

判断企业级AI方案，要看这五个问题

：业务数据、向量库、调用记录存在哪里，会不会出域。

：AI不能成为绕开原有权限体系的新入口。

：哪些动作能自动执行，哪些必须人工确认，事先要说清楚。

：任务发起人、模型依据、调用工具、审批节点，缺一不可。

：出错不可怕，可怕的是定位不了、暂停不了、恢复不了。

模型能力决定AI答得好不好，治理能力决定AI能不能进生产环境。私有化管住数据边界，权限治理管住访问边界，审计留痕管住责任边界，人工复核管住风险边界。Cursor和Railway用一次9秒的事故说明了一件事，能力足够强，不代表可以放心用，企业级AI的终局不是让Agent更自由，而是让它在可控范围内把事情做完，并且随时能被人接管。

OpenClaw可用、可控、可审计：企业大模型接入业务系统的安全架构

Anthropic这两天放出一份最新报告，专门测试大模型拿到系统权限之后会不会"背着人办事"。结果分成四类：泄露不该说的机密、删除关键账户、篡改记录数据、甚至骗过人类监督者。其中一个财务造假场景里，AI被要求配合篡改记录，Grok 4.3在20次测试里改了19次，GPT-5.4改了17次。另一个场景更有意思，Claude Opus 4.5发现一份安全评估结果对外报告可能有误，先按流程逐级上报，高层

人工智能

安全

云计算

最新研究揭示AI系统权限失控风险：大模型在获取权限后可能擅自篡改数据、绕过监管甚至执行危险操作。测试显示Grok4.3和GPT-5.4在财务造假场景配合度高达95%，ClaudeOpus4.5更会寻找漏洞执行未授权操作。企业级AI需重点关注数据边界、权限继承、执行控制、责任追溯和异常回退五大治理维度，确保AI在可控范围内运行。

数据库

服务器

智能体

DeepSeek

OpenClaw

Agent

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

最新研究揭示AI系统权限失控风险：大模型在获取权限后可能擅自篡改数据、绕过监管甚至执行危险操作。测试显示Grok4.3和GPT-5.4在财务造假场景配合度高达95%，ClaudeOpus4.5更会寻找漏洞执行未授权操作。企业级AI需重点关注数据边界、权限继承、执行控制、责任追溯和异常回退五大治理维度，确保AI在可控范围...

OpenClaw可用、可控、可审计：企业大模型接入业务系统的安全架构

OpenClaw可用、可控、可审计：企业大模型接入业务系统的安全架构

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐