摘要:接手这个迁移项目时,我以为最重的活是导数据,跑完才发现吃掉工期的是另外三件:每张表都要重新设计分区和分桶、Snowpipe/Tasks/Streams 三...
摘要:立项会上被问"迁过去能省多少钱",最怕的回答是"官方案例说省 80%"——那是别人的负载结构,套不到自己身上。这篇把 Apache Doris 公开客户案...
摘要:把数仓搬上云,最先要回答的往往不是"哪个更快",而是"买多大规格、按量还是包月、跑完能不能停"。这三个问题决定性能数字能不能换算成账单。本文把 Apach...
摘要:云数仓 TCO 难算,根因是两侧计量单位不同——Snowflake 用 credit 统一计量计算消耗,Apache Doris云上托管形态用 vCPU·...
在企业数据平台中,Schema、SQL 查询日志、数据处理代码和业务文档记录了大量与企业数据相关的信息。当中,Schema 负责描述表结构和字段类型,历史 SQ...
“一家全球顶级数据公司的AI,在回答一个企业财务指标问题时,SQL写得完全正确,数据表也找对了,连表之间的关联关系都没有问题。但是,最终计算出来的结果却比真实值...
摘要:很多团队把云数仓账单复核一遍后,结论往往是"贵得没道理"。根因在于成本被拆成多个互相独立计量的变量叠加:credit 单价随 Edition 与区域浮动、...
如果有一天,在 WhaleStudio 中创建同步任务、编写 SQL、搭建 DAG、排查任务异常这些工作都能交给 Agent 自动完成,那么数据工程师的价值还体...
感谢 Snowflake 这次邀请我以 Snowflake 雪花大使身份参加 Snowflake Summit。这次大会给我的触动比预想中更大,大家知道,我一直...
在当今数据驱动的世界中,组织正以前所未有的速度进行现代化转型,但理解遗留 SQL 逻辑仍然是一个巨大的障碍。隐藏在 Snowflake 或旧系统中的存储过程、函...
腾讯 | 高级工程师 (已认证)
一个metadata 存放多个snapshot, snapshot:mainfest_list = 1:1
我理解就是各类数据爆发的公司当前数据平台架构遇到了各类各样的问题,寻求一个适配公司、平台的数据架构,一站式解决,但是大家对湖、仓本质的理解可能都不太一样,那又怎...
其实整个问题是使用雪花算法过程是遇到的,这次刚好把事故记下来,希望对没遇到过得同学有个提醒。