首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >刷新世界记录!40B模型+20万亿token,散户组团挑战算力霸权

刷新世界记录!40B模型+20万亿token,散户组团挑战算力霸权

作者头像
新智元
发布于 2025-05-27 01:29:51
发布于 2025-05-27 01:29:51
15205
代码可运行
举报
文章被收录于专栏:新智元新智元
运行总次数:5
代码可运行


新智元报道

编辑:KingHZ

【新智元导读】全球网友用闲置显卡组团训练大模型。40B大模型、20万亿token,创下了互联网上最大规模的预训练新纪录!去中心化AI的反攻,正式开始。OpenAI等巨头的算力霸权,这次真要凉了?

互联网上最大规模的预训练来了!

Nous Research宣布正式推出Psyche网络(Psyche Network),通过去中心化方式革新人工智能(AI)训练。

Psyche网络利用区块链技术,汇聚全球计算资源,成功启动了40B参数大语言模型Consilience的预训练任务,总计20万亿token,创下了迄今为止互联网上最大规模的预训练纪录。

大语言模型Consilience采用DeepSeek V3的多头潜在注意力(MLA)架构,相较于Llama使用的GQA架构更具表达力,同时通过优化QKV投影矩阵减少计算开销。

三种注意力的对比

Psyche利用全球闲置的计算资源(如4090、A100和H100等消费级GPU),大幅降低训练成本。

通过并行实验,Psyche鼓励开源社区提出新的模型架构和训练方法,未来可能催生更多创新。

Psyche网络技术原理图,核心在于DisTrO优化器与Solana区块链

过去,人们总觉得「AI模型的去中心化训练」不过是一种幻想,尤其在那些超越了爱好者规模的语言模型面前更是如此。

但几项关键技术突破——尤其是并行化和强化学习——正在逐渐打破这种局限,让除了OpenAI、Anthropic这类大公司之外的小型团队也开始进入这个赛道。

现在看来,聪明的算法可以弥补基础设施的不足,而像Nous Research这样的去中心化参与者正希望抓住这个机会。

砸碎算力墙

近年来,AI模型的训练逐渐被大型科技公司垄断。

训练一个前沿模型需要数千个高性能GPU和超高带宽的集群,这使得普通研究者或小型团队几乎无法参与。

这种集中化趋势不仅限制了创新,还可能导致少数科技去投垄断甚至控制AI模型。

集中式AI,可能会少数科技巨头「比你更了解你自己」。

Hermes系列中规模最大的模型——Hermes 3 405B,是在基础的Llama 3.1模型上进行微调完成的。

整个训练过程动用了128块H100 GPU,耗时约16小时(总计约2,086GPU小时)。

从成本上看其实并不离谱——目前租用8块H100的计算节点每小时大约在16到24美元之间,因此一次完整训练的开销大约在5,000美元左右

作为Nous Research Hermes系列的最新迭代Hermes 3 405BLlama-3.1 405B的全参数微调模型

但如果我们想更进一步,想得更大呢?

毕竟,Hermes目前还是依赖Llama作为基础模型。

如果我们不再依赖已有的模型,而是从零开始构建自己的基础模型,那我们就需要更庞大的“船”了。

要以更大规模、低成本地实现类似的训练成果,确实面临不少挑战,尤其是当训练从集中化的GPU集群转向基于互联网的去中心化网络时。

Nous Research提出了Psyche网络的解决方案:通过去中心化的方式,让全球的计算资源参与AI模型训练,降低进入门槛,推动AI发展的民主化。

Nous Research的Psyche网络成功实现了去中心化的AI训练,开创了一个全新的模式。

Psyche不仅降低了AI开发的门槛,还推动了全球协作和创新。

Consilience模型的预训练只是起点,未来Psyche网络有望成为AI民主化的重要基石,为开源社区和小型团队提供与科技巨头抗衡的机会。

用DisTrO解决带宽瓶颈

在去中心化训练中,网络带宽一直是最令人担忧的问题之一。

在传统的数据中心里,GPU之间通过极高带宽的连接(如NVLink或InfiniBand)相连,带宽可达每秒几百Gb(千兆位)。

而相比之下,互联网上的志愿者节点,往往只有几十甚至几百Mb(兆位)每秒的带宽。

质疑者认为,这种高达100倍甚至1,000倍的带宽差距,会让跨互联网的AI训练变得无比缓慢、几乎不可能。

毕竟,传统的训练方式需要GPU之间持续地交换更新信息,而如果试图用普通家用网络来完成这些通信,很可能会陷入「灾难级」的训练体验。

在此前对DeMo(Decoupled Momentum Optimization)的研究基础上,Nous推出的DisTrO技术,能够让所有训练节点保持高度同步,同时将所需带宽降低1,000到10,000倍

2024年12月,Nous与多位合作伙伴一起,在封闭测试网中,训练了一个150亿参数的基础模型,并成功验证了多项理论设想:

  • 首次将DisTrO优化器系列大规模应用于训练任务
  • 验证了节点中途掉线和新增节点时的容错能力
  • 证明了增加训练节点确实能提升整体训练速度

这次实验标志着分布式、去中心化训练迈出了从理论走向现实的关键一步。

区块链+AI

在硅谷的一些圈子里,「加密」这个词几乎成了贬义词,而Nous一直努力保持与AI开发者之间的开放交流桥梁不被切断。

也正因如此,他们这次将Psyche搭建在区块链上,是一个值得关注的重要转变

Psyche将成为Nous用于预训练、微调和部署下一代模型的平台。

通过将技术栈迁移到Solana区块链,Nous希望释放区块链的以下三大优势:

  • 无需许可:任何人都可以贡献计算资源
  • 弹性与高可用性:不再依赖中心化基础设施
  • 激励机制:协调并奖励为网络作出贡献的参与者

将这一协议向整个市场开放,意味着任何人都能拥有其中的一部分。而其潜在的扩展性之大,显然已经让不少极客兴奋不已。

计划概览

Nous的初期目标是先上线一个封闭测试网(Phase 0),验证是否能在Solana上运行一个更大规模、分布式、具备容错能力的DisTrO系统。后续阶段会逐步引入更高级的功能。

在Phase 0阶段,贡献者可以携带自己的GPU加入进来(明确提到支持4090、A100和H100等型号),并开始获得奖励。此阶段会对参与者进行筛选,以防止恶意行为者加入。

一旦系统稳定运行,权限将逐步开放,允许不同类型的计算资源(无论是专业的还是消费级的)自由接入网络,协助训练Llama、Diffusion等不同类型的模型架构。

强化学习后训练阶段

强化学习(Reinforcement Learning,RL)不依赖于预先准备好的数据集,而是通过模型与环境直接互动来学习。

每个节点如果做出有助于模型进化的行为,就会获得正反馈,反之则获得负反馈。

由于这些节点可以异步运行,分布式训练在强化学习框架下反而运行良好。

每个节点可以独立行动,收集经验,并定期与其他节点分享进展。

这极大缓解了传统训练中常见的「同步难题」,特别是在硬件能力和网络延迟差异大的情况下。

通过RL,Psyche上的预训练模型可以进一步学会推理能力和领域知识。

而每个Psyche节点在训练过程中的表现都将影响它的奖励:计算能力更强或使用了更先进训练方法的节点,可能会获得更多代币激励。

区块链:回归初心

在常常被斥为「过度炒作又频频令人失望」的区块链生态中,能看到真正的创新成果,确实令人欣慰——简直让人「冷漠的灵魂也重新燃起了热情」。

这一切,真的令人感到振奋。

Nous并不是一开始就拥抱区块链技术的,相反,他们几乎是被「拖着、踢着、喊着」走上了这条路——

但原因很简单:区块链确实是解决他们问题最合适的工具

他们需要一种方式,不论对方来自哪里,都能吸引计算资源与人才并进行公平支付;区块链,在这一点上表现得无比出色。

他们需要一种手段,能够协调并扩展大规模训练任务;而协调与扩展,正是区块链技术的「第二天性」。

他们还需要一种不受停电、封禁、宕机等影响的托管机制,能让项目「打不死」、无法被关闭;在这方面,区块链(这次不再是讽刺)也的确提供了最可靠的保障。

而最值得欣慰的是:这一次,人们选择区块链,不是出于投机炒作,而是出于对实际问题的认真思考与真实需求的回应。

如果Psyche成功了,它不仅将证明去中心化训练是切实可行的,更是回归初心:为取代的集中化计算,提供了强有力的工具

参考资料:

https://x.com/NousResearch/status/1922744483571171605

https://nousresearch.com/nous-psyche/

https://x.com/563defi/status/1909976170990313594

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-05-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
(Docker容器技术)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
镜像(images)是一种轻量级、可执行的独立软件包,它包含运行某个软件所需的所有内容
用户11865655
2025/10/13
1700
(Docker容器技术)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
步骤2中进入/mydata/mysql-master/conf目录下新建my.cnf -> vim my.cnf
刘大猫
2024/12/30
1300
Docker高级篇:实战Redis集群!从3主3从变为4主4从
通过前面两篇,我们学会了三主三从的Redis集群搭建及主从容错切换迁移,随着业务增加,可能会有主从扩容的,所以,本文我们来实战主从扩容
凯哥Java
2022/12/21
1.1K0
Docker高级篇:实战Redis集群!从3主3从变为4主4从
docker高级篇第二章-分布式存储之实战案例:3主3从redis集群扩容配置
在上一篇文章中,我们介绍了分布式存储的三种方式:hash取余分区、一致性哈希算法分区以及哈希槽分区。本篇,我们就来实战3主3从的哈希槽Redis集群搭建。
凯哥Java
2022/12/19
7440
docker高级篇第二章-分布式存储之实战案例:3主3从redis集群扩容配置
docker搭建3主3从redis集群(主从容错切换、主从扩容、主从缩容)
–cluster-replicas 1 表示为每个master创建一个slave节点
别团等shy哥发育
2023/02/25
1K0
docker搭建3主3从redis集群(主从容错切换、主从扩容、主从缩容)
redis cluster(集群)模式-基于docker 哈希槽分区
哈希槽分区在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里放的是数据。
鱼找水需要时间
2023/02/16
4260
redis cluster(集群)模式-基于docker 哈希槽分区
docker安装redis集群--分布式存储案例
如果有1~2亿条数据需要缓存,那如何设计这个存储案例呢?单机是100%不可能的,肯定得是分布式存储,那具体如和实现呢?
害恶细君
2022/11/22
1.6K0
docker安装redis集群--分布式存储案例
docker高级篇(大厂进阶):安装redis集群
查看集群状态,命令:redis-cli --cluster check 自己IP:6381
刘大猫
2024/12/17
2500
docker搭建Redis3主3从集群并扩缩容
3主3从Redis集群扩缩容 使用主从时需要避免主与从在同一物理机, 否则当一对主从挂机后, 对应数据不可使用 一. 构建 1. 创建6个Redis容器实例 docker run -d --name redis-node-1 --net host --privileged=true -v /opt/redis/share/redis-node-1:/data redis --cluster-enabled yes --appendonly yes --port 6381 docker run -d --na
buiu
2022/02/04
3490
Docker高级篇笔记(七)在docker里面进行redis三主三从的集群案例搭建步骤
执行完成以上的命令 –cluster-replicas 1 表示为每个master创建一个slave节点
一写代码就开心
2022/05/09
4340
Docker高级篇笔记(七)在docker里面进行redis三主三从的集群案例搭建步骤
Docker 实践经验(五)docker上部署 redis 三主三从集群
1、一个 redis 镜像 2、准备一份 redis.conf,建议使用物理机安装 redis 后自带的。 3、准备一个承载目录,用于挂载 redis 容器数据卷,以及将配置文件放进去。 我这里使用 /redis-data
看、未来
2022/05/06
5470
Docker 实践经验(五)docker上部署 redis 三主三从集群
接近3w详解Docker搭建Redis集群(主从容错、主从扩容、主从缩容)
简单粗暴,直接有效,只需要预估好数据规划好节点,例如3台、8台、10台,就能保证一段时间的数据支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡+分而治之的作用。
小熊学Java
2022/09/04
7580
docker入门篇
docker pull centos       # 从docker仓库下载一个镜像例如:docker pull centos:6.7
保持热爱奔赴山海
2019/09/18
6870
Docker 学习总结
推荐安装 vagrant + VirtualBox 快速搭建 docker host,不推荐直接使用 Docker for Mac
CS逍遥剑仙
2020/06/07
3.2K0
使用Docker搭建redis集群
看到输出 docker 版本则表示 docker 已经成功安装,此时我们可以继续运行 hello world 的容器,测试容器是否可以正常运行。
鳄鱼儿
2024/05/21
2620
使用Docker搭建redis集群
docker 实现redis集群搭建
摘要:接触docker以来,似乎养成了一种习惯,安装什么应用软件都想往docker方向做,今天就想来尝试下使用docker搭建redis集群。
老梁
2019/09/10
1.4K0
docker 实现redis集群搭建
Docker篇之秒杀项目环境部署
后期要使用Canal,需要把MySQL的配置文件提取出来,所以要进行相关的配置文件的编写
Maynor
2021/12/06
7020
Docker核心技术学习笔记
思维导图: http://naotu.baidu.com/file/85634842b0e8e8630651d0fc5bf5b9a4
全栈程序员站长
2022/07/20
1.5K0
Docker核心技术学习笔记
「实战篇」开源项目docker化运维部署-搭建mysql集群(四)
PS:如果通过docker的方式直接拉取haproxy和keepalived镜像,比直接在镜像里面安装应用方便很多,建议各位老铁尽量避免在容器内安装应用,这样真心麻烦不爽,别人封装的镜像根据pull的量好好看看api就可以使用了。像h1如果容器stop后,重新start,还需要进入容器把keeplived给起起来。而h2直接start里面的haproxy和keeplived,同时都起起来了。 两个容器的采用的热备的方案,让用户毫无感知,切换ip的形式真是美滋滋。mysql集群的高性能,高负载,高可用基本完成了,可用按照这个思路搭建不同的主机下。
IT架构圈
2019/05/07
1.2K0
「实战篇」开源项目docker化运维部署-搭建mysql集群(四)
docker高级篇1-dockeran安装mysql主从复制
大家好,咱们前面通过十篇的文章介绍了docker的基础篇,从本篇开始,咱们的《docker学习系列》将要进入到高级篇阶段(基础篇大家可以查看之前发布的文章)。
凯哥Java
2022/12/20
1.1K0
docker高级篇1-dockeran安装mysql主从复制
推荐阅读
相关推荐
(Docker容器技术)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
更多 >
LV.1
这个人很懒,什么都没有留下~
交个朋友
加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档