传统的大数据集群往往采用本地中心化的计算和存储集群。比如在谷歌早期的【三驾马车】中，使用 GFS 进行海量网页数据存储，用 BigTable 作为数据库并为上层提供各种数据发现的能力，同时用 MapReduce 进行大规模数据处理。 但随着互联网业务的发展，本地中心化的架构开始受到以下两个方面的挑战： 数据增长越来越快，并且数据格式更加丰富多样，非结构化数据越来越多。传统的分布式存储引擎难以大规模存储和处理文本、音视频等非结构化数据。 计算和存储强耦合在本地应用上，缺少弹性。强耦合的模式增加了企业
原生对象存储服务的索引是扁平化的组织形式，在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。
近日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果，腾讯云云原生数据湖基于对象存储 COS，数据湖加速器 GooseFS、数据万象 CI 和容器服务 TKE 的数据湖解决方案 V5.0，在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容性能力、运维能力、高可用能力等方面，通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。
背景介绍 原生对象存储服务的索引是扁平化的组织形式，在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能，为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。 （一）什么是元数据加速器？ 元数据加速功能是由腾讯云对象存储（Cloud Object Storage，COS）服务提供的高性能文件系统功能。 元数据加速功能底层采用了云 HDFS 卓越的元数据管理功能，支持用户通过文件系统语义访问对象存储服务，系统设计指标可以达到2.4
又一项大能力-云原生数据湖获得信通院认证啦！ 近日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果，腾讯云云原生数据湖基于对象存储 COS，数据湖加速器 GooseFS、数据万象 CI 和容器服务 TKE 的数据湖解决方案 V5.0，在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容性能力、运维能力、高可用能力等方面，通过了工业和信息化部中国信息通信研究院大数据能力专项评测，荣获“云原生数据湖基础能力专项评测证书”。 随着数据规模的增加，数据格式的丰富
传统的大数据集群往往采用本地中心化的计算和存储集群。比如在谷歌早期的【三驾马车】中，使用 GFS 进行海量网页数据存储，用 BigTable 作为数据库并为上层提供各种数据发现的能力，同时用 MapReduce 进行大规模数据处理。
2021年12月20日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十三批“大数据产品能力评测”结果，腾讯云对象存储凭借业内领先的产品能力，以满分的成绩，通过了工业和信息化部中国信息通信研究院对象存储基础能力专项评测，荣获“对象存储基础能力专项评测证书”。 “中国信通院大数据产品能力测试”是国内首个面向大数据产品的权威评测体系，旨在从基础能力、性能、可靠性、安全性等维度全面衡量企业级大数据产品能力，目前已经成为大数据领域最权威的第三方评测品牌之一，通过评测的产品，也就意味着对象存储产品基础能力
2021年12月20日，中国信息通信研究院 (以下简称“信通院”) 正式公布了第十三批“大数据产品能力评测”结果，腾讯云对象存储凭借业内领先的产品能力，以满分的成绩，通过了工业和信息化部中国信息通信研究院对象存储基础能力专项评测，荣获“对象存储基础能力专项评测证书”。
导语 | 云原生数据湖架构以低成本优势推动客户上云，同时云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」的《云原生数据湖新一代数据架构》演讲分享整理而成，为大家详尽介绍云原生数据湖的价值和背景，云原生数据湖架构原则和挑战，同时分析腾讯云数据湖产品，展望腾讯云数据湖解决方案。 点击可观看精彩演讲视频 一、云原生数据湖架构的价值 今天分四个阶段来为大家
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。
2022年，搜狐智能媒体完成了迁移腾讯云的弹性计算项目，其中大数据业务整体都迁移了腾讯云，上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果，达到了预期的降本增效目标。
海量数据时代，大容量、低成本、易扩容的云存储无疑是大势所趋。 在全球市场，以AWS、Azure等为代表的云计算厂商，正在超越传统企业级存储厂商，成为全球企业存储市场数一数二的企业存储供应商。
对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS 提供网页端管理界面、多种主流开发语言的 SDK、API 以及命令行和图形化工具，并且兼容 S3 的 API 接口，方便用户直接使用社区工具和插件。
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱，并且首次推出腾讯云的云原生数据湖产品。文章作者：于华丽，腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中，成本一直是绕不开的话题。“公有云太贵了，一年机器就够托管三五年了”，这基本上是刚开始接触公有云的企业，在进行了详细价格
导语 文章整理了全球软件开发大会QCon《PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘》。大数据基于海量数据的分析，硬件、存储、计算资源尽量都可以用廉价的资源完成，如何在廉价资源上进行性能优化尤为重要。大数据是一种IO密集型负载，性能优化也首先着眼于IO优化。 开篇：云提供了便利的按需使用方式，最佳实践非常重要 主持人：过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB 至 EB 级别，在此基础上，腾讯自研业务也启动了云原生湖仓能力建设
GooseFS 是腾讯云对象存储团队最新推出的高性能、高可用以及可弹性伸缩的分布式缓存系统，依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，可加速基于腾讯云对象存储的各类海量数据分析以及机器学习等任务。本文将介绍如何在腾讯云 EMR 上使用 GooseFS 加速大数据计算任务。 GooseFS 是腾讯云对象存储团队近期面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Comp
2022年11月30日，腾讯全球数字生态大会上，发布了和知名分析机构IDC合作的《IDC 2022年云上产品演进趋势白皮书》。大数据作为重点赛道之一，在白皮书里面也传递了腾讯云对这个赛道发展趋势的判断：云原生，数据治理，数智融合，隐私计算。
GooseFS 是腾讯云对象存储团队近期面向下一代云原生数据湖场景推出的存储加速利器，提供与 HDFS 对标的 Hadoop Compatible FileSystem 接口实现，可为云上的大数据计算任务提供：
在前面的几篇文章中大家已经跟着我了解了HDFS以及HDFS的一些基础排障，接下来我们呢继续学习。要学习到的产品是腾讯云产品中的对象存储COS。
“传统的IT存储厂商，‘存’是其核心关注点；而互联网企业，不仅要做好‘存’，还要做强‘用’。”
全球分布式云大会是分布式云技术和商业交流的旗舰级平台，2023全球分布式云大会·北京站将于6月28日-29日正式召开，本次大会以“云智筑基”为主题，探究人工智能（AI）在大模型全新的发展风口，构建新型泛在算力网络的趋势，如何利用分布式云、分布式数据库、分布式存储、边缘云等构建新型算力网络，打造更强大的数字经济价值引擎。
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（Jame
引言 随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。 腾讯云弹性 MapReduce(EMR) 是腾讯云的一个云端托管的弹性开源泛 Hadoop 服务，支持 Spark、Hbase、Presto、Flink、Druid 等大数据框架。 近期，在支持一位 EMR 客户时，遇到典型的存储计算分离应用场景。客户使用了 EMR
针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。
在数字化时代，数据已经成为各行各业的核心资产，需要以一种高效、可扩展和高可靠性的方式进行存储和管理。对象存储是一种以对象为中心的存储方式，将数据存储为对象而不是文件，它具有高度可靠性、高扩展性和高性能等优点。
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James
2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的，原汁原味的。数据湖中的水从源头流入湖中，各种用户都可以来湖里获取、蒸馏提纯这些水（数据）。此时， 大家对于数据湖的理解主要是当作一个集中式的存储系统，允许存储任意规模的结构化和非结构化数据。
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？腾讯云原生湖仓 DLC 从哪些方面着手解决问题？接下来由腾讯云大数据专家工程师于华丽带来相关分享。 云原生湖仓的诞生背景、价值、挑战 当前这个阶段，相信大家对于数据湖，数据仓，湖仓一系列的名词已经不算陌生了，我用最直白、最狭义方式去解释“湖仓”的话，就是数据湖跟数仓存储架构统一。 数据湖最初的需求是，要存储和
数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说，如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 下面，让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构，将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案，从数据中挖掘价值；支持
某医药集团信息中心数据库组组长，13 年数据库行业从业经历，Oracle OCM，关注 Oracle、MySQL、Redis、MongoDB、Oceanbase、Tidb、Polardb-X、TDSQL、CDH、Clickhouse、Doris、Databend 等多方面的关键领域技术，服务过传统通信、电力，互联网、移动互联网等行业。
在当今快速发展的人工智能领域，数据作为AI模型训练的基石，其处理和存储方式对模型的性能有着决定性影响。特别是在AIGC和自动驾驶技术的研发中，对数据处理的要求更是严苛。
2021 Apache首次亚洲虚拟技术峰会:大数据专场即将在8月6日-8月8日震撼来袭。腾讯云存储高级工程师程力将在8月7日14:50分和8月8日14:10分别给您带来腾讯云OZONE如何通过RAFT协议建立起高可用性和数据湖加速器GooseFS为主题的大数据论坛分享。
Nvidia将收购对象存储软件公司SwiftStack，具体收购条款尚未披露。这是近期第二期针对对象存储的收购案。之前，昆腾宣布收购西部数据的对象存储ActivScale产品线。
本文主要介绍了腾讯云对象存储（COS）的基本功能，包括对象管理、安全保障、大数据及开放能力等方面。COS不仅提供海量数据的存储，还提供了诸如断点续传、自定义对象头部、静态网站等功能，同时通过Referer防盗链、跨域访问、多地域存储等特性保障数据的安全性和稳定性。此外，COS还提供持久化音视频处理、PS级图片处理和多种数据迁移工具等开放能力，帮助开发者更好地应对各种应用场景。
近日，在Apache Hadoop社区主导及邀请下，腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技术实践，来自腾讯、Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾参与了分享讨论。 腾讯开源运营负责人王春雨表示：“中国企业的参与是开源生态建设不可或缺的一部分。腾讯作为国内开源的先行者，将持续投入社区协同合作，以开放的心态，推动更多开源社区之间的交流对话，助力技术生态发展。” Hadoop是由Apache基金会所开发的分布式系
近日，在Apache Hadoop社区主导及邀请下，腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技术实践，来自腾讯、Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾参与了分享讨论。 腾讯开源运营负责人王春雨表示：“中国企业的参与是开源生态建设不可或缺的一部分。腾讯作为国内开源的先行者，将持续投入社区协同合作，以开放的心态，推动更多开源社区之间的交流对话，助力技术生态发展。” Hadoop是由Apache基金会所开发的分布式系统基
腾讯云是全球领先的云计算服务商之一，将腾讯集团在QQ、微信、QQ空间等业务中积累的海量互联网服务能力，开放给各行各业，并不断输出计算机视觉、智能语音、大数据分析、安全防护、音视频等业界领先的智能科技，为政务、金融、电商、零售、视频、出行、汽车、工业、能源等不同行业打造科技高速路，并携手合作伙伴一同创建智慧的数字生态。
随着网络性能提升，云端计算架构逐步向存算分离转变，AWS Aurora 率先在数据库领域实现了这个转变，大数据计算领域也迅速朝此方向演化。
随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台。 ” 雁栖学堂-湖存储专题直播第三期将邀请到腾讯云存储高级工程师“严俊明”，介绍GooseFS：元数据加速能力篇。 分享内容 本次分享会通过对传统大数据分析的优劣势进行深入分析，探讨云时代大数据分析发展阶段及趋势，以及云原生环境下腾讯云存储如果应对大数据分析所面临的元数据性能挑战。 分享大纲 元数
数据爆炸时代已经来临，数据作为企业的核心资产，如何利用好数据对企业来说至关重要，数据湖存储应运而生。腾讯云存储团队技术大牛程力，围绕数据湖加速器GooseFS展开演讲，下面让我们一起回顾下程力老师的精彩演讲内容。今天的主题是数据湖存储方面的内容。整个内容分四个部分：
腾讯云存储团队两位技术大牛，围绕“数据湖”、“内容安全”、“存算分离”等热门话题展开演讲，下面让我们一起回顾下两位老师的精彩演讲内容。
开局先来一张礼品清单～ 5月26日（本周三）下午，腾讯云知识分享季公开课又要开播啦～ 这一次，我们邀请到了腾讯云存储团队的两位大牛和科技媒体TechSugar的媒体编辑，给大家带来一场干货满满的主题分享以及圆桌对话。 数据湖是能够把各种数据进行集中存储并进行分析的系统。在存算分离架构趋势下, 以对象存储作为底座的存储技术进行了哪些架构调整演进，提供了什么样的方案, 来满足数据湖上的各种计算分析应用？ 作为网络内容的运营者，如何杜绝各种场景下的敏感信息，给企业审核带来的巨大挑战？互联网企业要如何做好
这一次，腾讯云存储团队的两位大牛和科技媒体 TechSugar 的媒体编辑，将给大家带来一场干货满满的主题分享以及圆桌对话。
2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下，成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么，Snowflake 在数仓技术方面有哪些独到之处？其成功的背后又有哪些技术原因和趋势值得关注？
随着数字化进程不断深入，数据呈大规模、多样性的爆发式增长。为满足更多样、更复杂的业务数据处理分析的诉求，湖仓一体应运而生。在Gartner发布的《Hype Cycle for Data Management 2021》中，湖仓一体（Lake house）首次被纳入到技术成熟度曲线中。
腾讯云对象存储（Cloud Object Storage，简称：COS）是腾讯云提供的面向非结构化数据，支持 HTTP/HTTPS 协议访问的分布式存储服务，它能容纳海量数据并保证用户对带宽和容量扩充无感知，可以作为大数据计算与分析的数据池
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
