![文章封面](https://developer.qcloudimg.com/http-save/10106350/91dda754f30295e1b393a72b85133814.jpg)

MIT CSAIL 博士生 Rikiya Takehi 和团队提出了一种权重空间编程方法，用 GPT-6 Astra 直接读写神经网络的权重参数，无需传统的梯度下降训练流程。他们在 Qwen3.5-0.8B 模型上修改了约 0.016% 的权重，让指令遵循能力提升 3 倍。实验在小型模型上完成，Astra 如何实现权重读写的技术细节未公开。

![](https://developer.qcloudimg.com/http-save/10106350/956c54114962eedf4383f156e2b60e63.jpg)

传统训练神经网络需要准备数据集、定义损失函数、通过反向传播计算梯度、多轮迭代更新权重。这次实验跳过了这些步骤，让大语言模型直接操作权重矩阵里的数值，类似用代码编辑器修改程序变量，而不是通过编译器和优化器间接调整。

## 四组实验的具体结果

团队在 Hacker News 披露的实验细节显示，他们测试了从简单策略到语言模型的多个场景。实验 1 是在 10×10 网格上训练一个策略网络玩游戏，传统方法训练后模型在某项任务中成功率为 0%,Astra 修改权重后成功率提升到 100%。

实验 2 用 12×12 灰度图像训练一个视觉分类器，训练过程用 Adam 优化器跑 40000 步、批次大小 512。这是传统训练方法建立的对照基线，Astra 在训练完成后修改权重改变了模型行为。

实验 3 分析了一个宽度 384 的小型语言模型，Astra 识别出负责复制任务的注意力头得分在 0.22 到 0.55 之间，而其他头的得分最高只有 0.02。

实验 4 成功率同样从 0% 提升到 100%，但来源未区分实验 1 和 4 的任务差异。

## 方法的适用边界

目前披露的实验都在小型模型上进行，Qwen3.5-0.8B 有 8 亿参数，实验 3 中的语言模型宽度只有 384。

GPT-6 Astra 是 OpenAI 尚未公开发布的模型，其权重读写能力的实现机制、适用模型规模上限、是否需要模型架构先验知识，团队尚未说明。在已披露的 8 亿参数规模实验外，更大模型的适用性未知。

方法名为权重空间编程，但权重的语义可解释性一直是神经网络研究的难题。单个权重或一组权重对应什么功能，通常需要通过激活分析、因果干预等手段推断。Astra 如何定位需要修改的权重、如何判断修改的幅度和方向、修改是否会引发其他层的连锁反应，这些问题的答案决定了方法的泛化性。

## 与传统训练方法的对比

梯度下降训练的优势是有理论保证和大规模工程实践积累，但需要大量数据、算力和时间。权重空间编程如果成立，可以在特定任务上快速调整模型，但缺少对收敛性、稳定性和副作用的系统分析。

实验中 0.016% 的修改比例小于常见微调方法涉及的参数范围。直接修改原权重的风险是可能破坏预训练阶段学到的知识，除非修改的位置和幅度经过精确控制。

指令遵循能力提升 3 倍的衡量标准未公开，可能是成功率、准确率或人工评分。如果只在特定指令格式或任务类型上有效，泛化性就受限。

团队尚未发布代码、论文或更详细的技术报告，也没有第三方复现结果。方法的可重复性和在实际开发场景中的适用范围仍需验证。

MIT CSAIL 博士生 Rikiya Takehi 团队提出权重空间编程方法，用 GPT-6 Astra 直接读写神经网络参数，在 Qwen3.5-0.8B 上修改 0.016% 权重后指令遵循能力提升 3 倍，但 Astra 的权重操作机制尚未公开披露。

MIT 团队用 GPT-6 Astra 改写小模型权重，跳过梯度训练提升指令遵循能力

人工智能

算法

新闻资讯

MITCSAIL提出权重空间编程方法，用GPT-6Astra直接修改神经网络权重，无需梯度下降。在Qwen3.5-0.8B上仅调整0.016%参数，指令遵循能力提升3倍，小型任务成功率从0%升至100%。技术细节未公开，大模型适用性待验证。

编译器

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

MIT 团队用 GPT-6 Astra 改写小模型权重，跳过梯度训练提升指令遵循能力-腾讯云开发者社区-腾讯云

MIT 团队用 GPT-6 Astra 改写小模型权重，跳过梯度训练提升指令遵循能力

MIT 团队用 GPT-6 Astra 改写小模型权重，跳过梯度训练提升指令遵循能力

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐