colossus - 腾讯云开发者社区

文章/答案/技术大牛

发布

谷歌Colossus文件系统的设计经验

Colossus，巨人，谷歌第二代GFS文件系统。与GFS相比，Colossus相关的文章和信息却零星稀少。...@ Google》，透露了Colossus设计的深层思考。...从 GFS 到 Colossus：谷歌的集群存储，如何使用Colossus提高存储效率。...Colossus客户端与Colossus对话，以确定从哪个D服务器读取/写入数据，然后直接与D服务器对话，以执行读取/写入操作。如下图所示。...2007年，Colossus开始在一些集群中替换GFS作为BigTable的后端。 2008年1月，Colossus的开发者搭建了第一个产品级Colossus 单元部署。

2.3K3 0

一文读懂马斯克10万卡xAI Colossus超级AI集群组网！

PART 01 算力引擎：解构Colossus的计算核心 1.1 GPU计算节点：定制化Supermicro液冷系统有点让人意外的是xAI Colossus集群并没有采用新房交钥匙产品——NVIDIA...图1: xAI Colossus数据中心大规模部署的计算集群图2: xAI Colossus数据中心单个POD模块（8个计算柜+1个网络柜） Colossus最小模块化构建单元是定制化的Supermicro...Colossus为此构建了一套多供应商、分阶段演进的EB级存储集群。...图5: xAI Colossus数据中心内的Supermicro 1U NVMe存储节点 2.2 软件定义：VAST与DDN的双雄战略 Colossus的存储软件层采用了业界领先的软件定义存储方案，其核心是...xAI的长期目标是将Colossus 2的规模扩展到100万个GPU，将Colossus 2打造成AI领域发展最快、算力最强的数据中心，为Grok大模型、下一代特斯拉全自动驾驶系统和Optimus机器人训练提供支持

5881 0

您找到你想要的搜索结果了吗？

是的

没有找到

X的巨型计算机改变了SC500性能游戏

X.AI刚刚安装完成Colossus，这是世界上最大的AI超级计算机。微软、谷歌、Facebook、亚马逊和Oracle等超大规模云服务提供商也正在投入数十亿美元。...译自 X's Colossus Supercomputer Changes the SC500 Performance Game，作者 Agam Shah。...X.AI刚刚完成了Colossus的安装，它是世界上最大的AI超级计算机。Colossus用于训练Grok 3。它拥有的GPU数量超过世界上任何已知的传统超级计算机。...X尚未公布Colossus的系统性能，但如果将其作为传统计算机进行基准测试，它很容易进入前十名。...X.AI的Colossus超级计算机将成为讨论的重要内容。英伟达将Colossus归类为世界上最大的加速系统。

2061 0

马斯克点火全球最大超算，首个1GW狂飙奇点！6万亿Grok 5在训

Colossus 2的用电，要比旧金山全市用电峰值还要高。预计在今年4月，升级到1.5GW，约等于一座大型核电站的输出。...更夸张的，是他们的执行速度： Colossus 1：从零到全面上线，只用了122天 Colossus 2：刚突破1GW门槛，目标直接冲着总共2GW去 Epoch AI此前一份报告称，Colossus...外界对于Colossus 1的了解，要比Colossus 2系统得多。从0开始仅用122天就拔地而起，拥有大约20万张H100/H200，以及约3万张GB200 NVL72。...据介绍， Colossus 2造价高达数百亿美元。而xAI现在基本没外部收入，主要靠母公司X输血。...这栋新建筑——MACROHARDRR，延续了Macrohard命名，位于Colossus 2旁，占地面积超80万平方英尺。

3161 0

一套用了 70 年的计算机架构 —— 冯·诺依曼架构

到了 1943 年，Colossus Mark I 计算机（巨人 1 号）在英国 Bletchley 公园（二战时的密码破译机构）被建造出来，以破解纳粹通信，好家伙一口气造了 10 台。...Colossus Mark I 被认为是第一台可编程的电子计算机，编程方法就是使用大量的开关和插线板（PlugBoards）。...但 Colossus Mark I 并不是通用计算机，它只被设计用于执行密码分析相关的计算。...Colossus Mark I —— 图片引用自 Wikipedia 直到 1945 年，John Mauchly 和 J....但是，ENIAC 和 Colossus Mark I 一样都使用插线板编程，虽然不需要拆掉整台计算机来重新编程，但是编程效率依然非常低，据说一个简单程序在 ENIAC 上编程最多要花费三个星期。

3.2K8 2

4.27VR行业大事件：Oculus.com已被Meta Store取代；日本公司用VR控制机器人建铁路

Meta将长期运营的Oculus.com重定向到其新的Meta Store网站；日本JR West公司用VR驱动巨型机器人建铁路；开发商Helifax发布了《Wolfenstein II：The New Colossus...04 《Wolfenstein II：The New Colossus》 VR Mod已发布《Wolfenstein II：The New Colossus（德军总部2：新巨人）》是由Machine

6092 0

分析 Google Cloud Spanner 的架构

Colossus Colossus 是从 GFS 演化而来的分布式文件系统。一个厉害的数据库需要一个高性能的文件系统支持。...Colossus 项目由 BigTable 团队发起的，并且 Colossus 也为 BigTable 提供了支持。因此，Spanner 也成为了文件系统 Colossus 的使用方。

4.1K1 0

谷歌对决亚马逊在云中运行Hadoop

最新的成果是Colossus。...今天的发行版本提供了准确的——使用了一个简单的连接器库，Hadoop现在可以直接地在Google Cloud Storage运行——一个对象存储创建在Colossus上。

1.6K3 0

【译】如何通过 Google Spanner 实现万亿级数据存储与5个九的高可用性

Colossus 文件系统Tablets 存储在 Colossus 上，这是 Google 的分布式文件系统。...Colossus 提供了容错性和高性能存储，使得 Spanner 能够实现存储与计算资源的独立扩展。 Splits表中的数据依据连续的键值范围进行划分，这些范围称为 splits。...所有数据均存储在 Colossus 上，该系统为分布式、复制的文件存储而设计，通过在多台物理机器间复制数据来确保高耐久性，从而在硬件故障时能够恢复数据。...所有写操作的数据均存储于 Google 的 Colossus 分布式文件系统中，该系统通过将数据复制到多台物理机器上，即使部分机器或区域出现故障，也能从其他副本中恢复数据。

5360 0

浅析三款大规模分布式文件系统架构设计

这里不得不提一下，GFS 的下一代产品: Colossus。由于 GFS 的架构设计存在明显的扩展性问题，所以 Google 内部基于 GFS 继续研发了 Colossus。...Colossus 不仅为谷歌内部各种产品提供存储能力，还作为谷歌云服务的存储底座开放给公众使用。Colossus 在设计上增强了存储的可扩展性，提高了可用性，以处理大规模增长的数据需求。...下面即将介绍的 Tectonic 也是对标 Colossus 的存储系统。篇幅关系，这篇博客不再展开介绍 Colossus，有兴趣的朋友可以阅读官方博客 [2] 。...wiki/File_system [2] 官方博客: https://cloud.google.com/blog/products/storage-data-transfer/a-peek-behind-colossus-googles-file-system

8712 0

Google Spanner原理：地球上最大的单一数据库

Colossus（GFS II） Colossus也是一个不得不提起的技术。他是第二代GFS，对应开源世界的新HDFS。GFS是著名的分布式文件系统。 ? 初代GFS是为批处理设计的。...Colossus是第二代GFS。Colossus是Google重要的基础设施，因为他可以满足主流应用对FS的要求。...Colossus的重要改进有： · 优雅Master容错处理 (不再有2s的停止服务时间) · Chunk大小只有1MB (对小文件很友好) · Master可以存储更多的...Metadata(当Chunk从64MB变为1MB后，Metadata会扩大64倍，但是Google也解决了) Colossus可以自动分区Metadata。...每个数据中心会运行一套Colossus (GFS II) 。每个机器有100-1000个tablet。Tablet概念上将相当于数据库一张表里的一些行，物理上是数据文件。

13.3K9 2

浅析三款大规模分布式文件系统架构设计

9512 0

「数据仓库技术」怎么选择现代数据仓库

BigQuery依赖于谷歌最新一代分布式文件系统Colossus。Colossus允许BigQuery用户无缝地扩展到几十PB的存储空间，而无需支付附加昂贵计算资源的代价。

6.3K3 1

Filecoin挖矿的剑宗与气宗

此后，GFS以及后续的Colossus成为业界借鉴的对象，催生了Hadoop生态系统以及大量的云存储厂商。同时普通商用服务器的做法，也掀起了国内去IOE的浪潮。...参考这篇文章：谷歌Colossus文件系统的设计经验。搞清楚基础架构的TCO并不是一件容易的事情。TCO不仅包括服务器、存储、网络和IT劳力，还包括每年的资本成本以及摩尔定律对未来价格的影响。...可以参考的是谷歌Colossus文件系统的设计经验。 13/ 鸿钧七式：矿池的规模。矿池规模多大比较好？矿池规模是不是越大越好？如下图所示，随着数据量的增加，云存储的TCO快速增加。

7382 0

银幕上的智能革命：从终结者到造物主，人工智能电影史上的11个里程碑

1970：巨人：福宾计划（Colossus: The Forbin Project）这部科幻惊悚片中的主角是超级计算机Colossus，它被设计用于管理美国的核武器系统。...Colossus是最早探讨 AI 带来的存在性威胁的电影之一。它引发了关于机器是否会始终按照编程行动，以及当 AI 发展出不可控制的生命特性时会发生什么的讨论。...影片最受赞赏的地方在于对超级AI Colossus的真实刻画，这个智能体充满威胁性，但正因如此显得格外迷人。

1.2K1 0

最佳开发工具大全！前谷歌工程师两年打造“厂外生存指南”，登上GitHub热榜

比如将Colossus和HDFS对比是在开玩笑，相比之下，HDFS就像是一个玩具。要说对比，它智能和十年前已经退役的GFS相当。...但HDFS恐怕是开源软件中Colossus最好的替代品，对于“通用，大型，分布式文件系统”的使用情况，很难找到有比HDFS更好的了。

8093 0

谷歌的海量数据排序实验史

在这一年中，谷歌将GFS更新为下一代分布式存储系统Colossus。...之前使用GFS时所遇到的数据损坏问题不再出现了，我们还在输出结果中使用了RS编码（Colossus的新功能），从而将写入的总数据量从3PB（三路复制）减少到大约1.6PB。

1.3K8 0

System|分布式|Aegean Replication

个人想了一下，感觉spanner就是我说的这种，Paxos集群各自拥有自己的数据存在Colossus里面，而Colossus里面又对于数据进行备份。

4982 0

System|分布式|Spanner

---- Spanserver软件栈文件系统升级到了论文没发的Colossus(目测未来又是篇OSDI)，存储引擎依然是之前的LSM tree。tablet的结构稍微改变了一点，没有按照行列组织。...int64) → string Paxos状态机不同于Bigtable所保证的最终一致性，谷歌用了Paxos状态机保证强一致性一组Paxos维护的备份称为Paxos Group tablet的状态储存在Colossus

7153 0

聊聊云原生数据库的一致性

很多年前，当我无意间听到了 Google Colossus 存储元信息的方式，不禁为它的设计拍案叫绝：Colossus 基于 GFS 存储所有的元信息，GFS 的数据存储在 Colossus 上，而 Colossus

7761 0

点击加载更多

谷歌Colossus文件系统的设计经验

一文读懂马斯克10万卡xAI Colossus超级AI集群组网！

X的巨型计算机改变了SC500性能游戏

马斯克点火全球最大超算，首个1GW狂飙奇点！6万亿Grok 5在训

一套用了 70 年的计算机架构 —— 冯·诺依曼架构

4.27VR行业大事件：Oculus.com已被Meta Store取代；日本公司用VR控制机器人建铁路

分析 Google Cloud Spanner 的架构

谷歌对决亚马逊在云中运行Hadoop

【译】如何通过 Google Spanner 实现万亿级数据存储与5个九的高可用性

浅析三款大规模分布式文件系统架构设计

Google Spanner原理：地球上最大的单一数据库

浅析三款大规模分布式文件系统架构设计

「数据仓库技术」怎么选择现代数据仓库

Filecoin挖矿的剑宗与气宗

银幕上的智能革命：从终结者到造物主，人工智能电影史上的11个里程碑

最佳开发工具大全！前谷歌工程师两年打造“厂外生存指南”，登上GitHub热榜

谷歌的海量数据排序实验史

System|分布式|Aegean Replication

System|分布式|Spanner

聊聊云原生数据库的一致性

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐