> **导读**：昨天 MIT CSAIL 扔出来一篇博客，直接刷屏了。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/ff2240ca9693d05f89b4b35d017b73ba.jpg)

| 项目 | 博客给出的结果 | 需要打的折扣（均出自原文） |
| --- | --- | --- |
| 做法 | GPT-6 Astra 读 Qwen3.5-0.8B 的原始权重直接改，不训练、不用梯度 | 找方向、减方向，手法是老的（steering） |
| 改动规模 | 只动 0.016% 的参数：第 15、19 层，共十三万个数字 | — |
| MATH-500 | 从 7.9% 涨到 48.1%，六倍 | 同条件下 Qwen 原版思考模式 77.6%、不开思考的 0.6B 55.2%，7.9% 的基线很可能本身就跑崩了 |
| 指令遵循 | 从 21% 涨到 62% | — |
| 起效原因 | 九成以上回答在原地打转、被三万多字上限掐断，减掉打转方向即可 | 不是教会了数学，是拔了塞子；换本来就不打转的 Gemma 3，基本没动静 |
| 复现 | 权重实打实、日志全公开，当天就有人重建，校验后整个模型只有两处不同 | 过程难复现：试 10 次、25 次几乎没效果，第 50 次才跳出来；还没有第三方在别的模型上独立跑通 |
| 上限 | — | 估算上限约 20B，它改不了自己 |

## 一、Astra 直接改了别人的权重

他们干了件挺野的事：让 GPT-6 Astra 去读另一个模型的原始权重，就是那一堆数字，然后让它直接上手改。不训练，也不用梯度，纯靠看。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/7ac232300eba5cecc69954895e2a3c10.jpg)

对象是 Qwen3.5-0.8B，一个八亿参数的小模型。改完之后只动了 0.016% 的参数，数学测试 MATH-500 **从 7.9% 涨到了 48.1%**，六倍。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/8c18b19519ae6bb5ea5530412202db53.jpg)

## 二、不是教会数学，是拔了塞子

听着挺玄，但你听我说完，实际发生的事比"六倍"有意思多了。

Astra 的诊断是，这模型压根不是不会算数，它是卡住了。九成以上的回答都在原地打转，一路重复到三万多字的上限被强行掐断，答案压根没说出来。这毛病 Qwen的官方自己的说明里就写着。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/8963d4dbd7184fc71cde7c3aa5e54016.jpg)

然后它定位到第 15 层和第 19 层，找到跟打转对应的那个方向，减掉，一共十三万个数字，完事。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/503c954d687ba8e6300a184fab8b4660.jpg)

所以它不是教会了模型数学，是把堵在前面的那个塞子给拔了。顺带着，跟数学八竿子打不着的指令遵循能力也**从 21% 涨到了 62%**。而换一个本来就不打转的 Gemma 3 来试，基本没动静。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/77031b4f7966096c5f0ed53da7aa0b98.jpg)

## 三、这不就是 steering 吗

懂行的朋友可能会说，这不就是 steering 吗。确实，找方向、减方向，手法是老的，去审查版的开源模型早就这么玩。但以前这把刀是人拿着的，这回是 AI 自己找到了该从哪下刀。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/78938ef1e46063583d8528b403cd65bb.jpg)

## 四、复现与质疑

### 复现：结果实打实，过程靠运气

复现这块要分两头看。改完的权重是实打实的，日志全公开，有人当天就重建出来了，一校验，整个模型就两个地方不一样。但整个过程不好复现，试 10 次、25 次的时候几乎没效果，是到第 50 次才突然跳出来的，运气成分不小。到现在也还没有第三方在别的模型上独立跑通过。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/e7a9879ddb901f3dc6c8b5cf5cb3954d.jpg)

![](https://developer.qcloudimg.com/http-save/yehe-12823797/748683e2c1d66aefd26a7b11b12ee570.jpg)

### 质疑：六倍是真的，但分母有问题

更要命的质疑在后面。有人翻出数据：同样条件下，Qwen 原版的思考模式能考到 77.6%，连不开思考的 0.6B 都有 55.2%，而修完这个是 48.1%，三头都不如。所以那个 7.9% 的基线，很可能本身就是跑崩了。六倍是真的，但分母有问题。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/61559767e34f3c4fa5496589764b3609.jpg)

| 版本 | MATH-500（均出自原文） |
| --- | --- |
| Qwen 原版（思考模式） | 77.6% |
| 不开思考的 0.6B | 55.2% |
| Astra 修完的版本 | 48.1% |
| 博客里的原始基线 | 7.9%（很可能本身就跑崩了） |

## 五、局限与隐忧

### 巨无霸改小不点，改不了自己

还有个挺尴尬的点，这是个巨无霸在改一个小不点，估算下来上限也就 20B 左右，它改不了自己。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/e31a6cd9de202d7c89a145588fe2f73f.jpg)

### 能删打转，也能删拒绝

最后说个值得警惕的。能被定向删掉的方向，可不只有打转这一种。博客发出来当天，就有人在 Hacker News 上点明了：这跟社区里给开源模型去掉拒绝机制，本质是同一类活。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/b7d8671835ca8e07a49ae3179719da8a.jpg)

这篇博客标题里用的词是 sparks，火花。作者自己也清楚，这才刚冒头。

![](https://developer.qcloudimg.com/http-save/yehe-12823797/93f7da908c154d47af799a9586913c87.jpg)

本文里的一些胶囊元素图片，是我借助**Rmux.ai**智能体制作的视频中截取的，整体的审美和质感看上去还是挺不错的，感兴趣的朋友们可以试试它！邀请码【TX-SQDAQ9】

![](https://developer.qcloudimg.com/http-save/yehe-12823797/8124228ade8a4a43aa1bb44de500d422.jpg)

![](https://developer.qcloudimg.com/http-save/yehe-12823797/3d9b6977e1a05b8cbc3da7f574a5dd70.jpg)


他们干了件挺野的事：让 GPT-6 Astra 去读另一个模型的原始权重，就是那一堆数字，然后让它直接上手改。不训练，也不用梯度，纯靠看。

Astra改Qwen小模型的权重，数学成绩涨了6倍

MIT让GPT-6 Astra直接改Qwen小模型的权重，只动0.016%，数学从7.9%涨到48.1%。

人工智能

算法

新闻资讯

MITCSAIL让GPT-6Astra直接读取并修改Qwen3.5-0.8B原始权重，仅调整0.016%参数，MATH-500得分从7.9%跃升至48.1%，指令遵循率从21%提升至62%。核心机制是识别并消除模型重复打转的"塞子"，而非教学数学。该手法类似steering但由AI自主完成，过程复现依赖运气，基线存疑，上限约20B。

智能体

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

MITCSAIL让GPT-6Astra直接读取并修改Qwen3.5-0.8B原始权重，仅调整0.016%参数，MATH-500得分从7.9%跃升至48.1%，指令遵循率从21%提升至62%。核心机制是识别并消除模型重复打转的"塞子"，而非教学数学。该手法类似steering但由AI自主完成，过程复现依赖运气，基线存疑，...

Astra改Qwen小模型的权重，数学成绩涨了6倍-腾讯云开发者社区-腾讯云

Astra改Qwen小模型的权重，数学成绩涨了6倍

Astra改Qwen小模型的权重，数学成绩涨了6倍

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐