导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？腾讯云原生湖仓 DLC 从哪些方面着手解决问题？接下来由腾讯云大数据专家工程师于华丽带来相关分享。 云原生湖仓的诞生背景、价值、挑战 当前这个阶段，相信大家对于数据湖，数据仓，湖仓一系列的名词已经不算陌生了，我用最直白、最狭义方式去解释“湖仓”的话，就是数据湖跟数仓存储架构统一。 数据湖最初的需求是，要存储和
导语 文章整理了全球软件开发大会QCon《PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘》。大数据基于海量数据的分析，硬件、存储、计算资源尽量都可以用廉价的资源完成，如何在廉价资源上进行性能优化尤为重要。大数据是一种IO密集型负载，性能优化也首先着眼于IO优化。 开篇：云提供了便利的按需使用方式，最佳实践非常重要 主持人：过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB 至 EB 级别，在此基础上，腾讯自研业务也启动了云原生湖仓能力建设
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。
受疫情影响，多数企业员工目前无法回到写字楼办公，学生推迟开学，稳定高效的进行远程办公和直播授课成为2020年的开年刚需。2月，腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议，央视新闻联播对此也给予了报道。 出生不久的腾讯会议瞬间成为了一款国民会议软件，海量用户呈几何级爆发涌入，1月29日开始到2月6日，腾讯会议每天都在进行资源扩容，日均扩容云主机接近1.5万台，8天总共扩容超过10万台云主机，共涉及超百万核的计算资源投入，2月10日，腾讯会议后台服务器请求数增长了5倍。 那么腾讯会议是如何做到
本期技术沙龙将会聚焦在大数据、存储、数据库以及Alluxio应用实践等领域，邀请腾讯技术专家和业界技术专家现场分享关于Alluxio系统的基本原理、大数据系统架构、数据库应用运维、AI计算机视觉技术及落地实践等主题，带来丰富的实战内容和经验交流。
Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台，项目自开源发布以来吸引了众多相关方向领域专家和工程师的关注，在大家的积极反馈下社区不断演进。近期 Fluid 0.6 版本正式发布，在该版本中，Fluid 主要新增改善以下三个方面内容：
高策，腾讯高级工程师，Kubeflow 社区训练和自动机器学习工作组 Tech Lead，负责腾讯云 TKE 在 AI 场景的研发和支持工作。 7 月 9 日，GOTC 2021 全球开源技术峰会上海站与 WAIC 世界人工智能大会共同举办，峰会聚焦 AI 与云原生两大以开源驱动的前沿技术领域，邀请国家级研究机构与顶级互联网公司的一线技术专家，为参会的开发者和技术爱好者带来了最硬的行业技术干货，提供了一个难得的技术交流平台。 在本次会议上，腾讯云高级工程师高策进行了题为“公有云上构建云原生 AI 平台的
点击上方蓝字每天学习数据库 | 导语 4月27日，在天府之国，与你共享大数据与Alluxio的技术魅力。 本期技术沙龙将会聚焦在大数据、存储、数据库以及Alluxio应用实践等领域，邀请腾讯技术专家和业界技术专家现场分享关于Alluxio系统的基本原理、大数据系统架构、数据库应用运维、AI计算机视觉技术及落地实践等主题，带来丰富的实战内容和经验交流。 13:00 活动签到 14:00 开源大数据存储系统Alluxio的新特性介绍与缓存性能优化 分布式文件系统处于大数据系统中基础地位，在行业大数
导语 | 云原生数据湖架构以低成本优势推动客户上云，同时云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」的《云原生数据湖新一代数据架构》演讲分享整理而成，为大家详尽介绍云原生数据湖的价值和背景，云原生数据湖架构原则和挑战，同时分析腾讯云数据湖产品，展望腾讯云数据湖解决方案。 点击可观看精彩演讲视频 一、云原生数据湖架构的价值 今天分四个阶段来为大家
ArchSummit全球架构师峰会 ArchSummit 聚焦业界强大的技术成果，秉承“实践第一、案例为主”的原则，展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。旨在帮助技术管理者、CTO、架构师做好技术选型、技术团队组建与管理，并确立技术对于产品和业务的关键作用。 “腾讯云原生，让用云更简单”，4月25、26日，腾讯云5位技术专家现身ArchSummit全球架构师峰会上海站与广大开发者聚焦高效低成本业务架构实践、构建运行可弹性扩展云原生技术应用、微内核弹性与微服务技术架构
日前，腾讯云高级工程师程力老师在 ArchSummit 全球架构师峰会上分享了存算分离架构下的数据湖架构。
关于 ArchSummit ArchSummit 全球架构师峰会是 InfoQ 中国团队推出的面向高端技术管理者、架构师的技术大会，54%参会者拥有8年以上工作经验。 2021年 ArchSummit 全球架构师峰会于4月 25-26日在上海宝华万豪酒店举行，此次会议的主题是“云原生”。 此次峰会由腾讯云担任“云原生技术应用”专题的出品方。腾讯云5位技术专家参与了 ArchSummit 全球架构师峰会的专题演讲，与开发者分享云原生、大数据计算与负载均衡等话题。 在会场外的特装展区，也展示了容器、中间
马上十一、中秋双节，很多客户开始做节日活动，基本都有一个共性需求：活动期间，流量预计翻N备，由此引发了一轮MySQL的容量治理与保障。
近年来，随着大数据规模的增长，以及大数据应用的发展，大数据技术的架构也在持续演进。早期的技术架构是计算资源和存储资源高度融合，计算和存储资源一体化存在以下明显的挑战：
导语 | 随着企业大数据规模和应用的增长和发展，计算与存储分离的架构渐渐成为主流，它解决了计算量和存储量不匹配问题， 实现了算力的按需使用，但也引来了一些新的问题。腾讯云EMR团队与Alluxio社区合作，探索出了开箱即用的计算存储分离优化版本，大幅优化网络带宽，带宽削峰20%-50%，节省总带宽10%-50%，同时能在IO密集型场景提升性能5%-40%，下面就让我们来一探究竟。 一、当前大数据挑战 近年来，随着大数据规模的增长，以及大数据应用的发展，大数据技术的架构也在持续演进。早期的技术架构是计
存储网关（Cloud Storage Gateway，CSG）是腾讯云提供的混合云存储服务。您可以通过 CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据，无缝接入公有云，实现数据的实时共享和冷热分层。腾讯云 CSG 可以根据您的业务需求灵活地部署在云上或者本地，让您更轻松地进行数据的云上处理、备份归档以及灾难恢复。
存储网关（Cloud Storage Gateway，CSG）是腾讯云提供的混合云存储服务。您可以通过 CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据，无缝接入公有云，实现数据的实时共享和冷热分层。腾讯云 CSG 可以根据您的业务需求灵活地部署在云上或者本地，让您更轻松地进行数据的云上处理、备份归档以及灾难恢复。
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱，并且首次推出腾讯云的云原生数据湖产品。文章作者：于华丽，腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中，成本一直是绕不开的话题。“公有云太贵了，一年机器就够托管三五年了”，这基本上是刚开始接触公有云的企业，在进行了详细价格
谢远东，腾讯高级工程师，云原生机器学习社区 Kubeflow Member、 云原生数据编排与加速框架 Fluid（CNCF Sandbox） 核心开发者、Istio Member ，负责腾讯云 TKE 在 AI 场景的研发和支持工作。 彭芳，腾讯云容器产品经理，负责腾讯云 TKE 在存储、安全和云原生etcd服务的产品策划工作。 前言 Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架，已于近期完成了 v0.6.0[1] 版本的正式发布。腾讯云容器 TK
|导语 随着企业大数据规模和应用的增长和发展，计算与存储分离的架构渐渐成为主流，它解决了计算量和存储量不匹配问题， 实现了算力的按需使用，但也引来了一些新的问题。腾讯云EMR团队与Alluxio社区合作，探索出了开箱即用的计算存储分离优化版本，大幅优化网络带宽，带宽削峰20%-50%，节省总带宽10%-50%，同时能在IO密集型场景提升性能5%-40%，下面就让我们来一探究竟。 一、当前大数据挑战 近年来，随着大数据规模的增长，以及大数据应用的发展，大数据技术的架构也在持续演进。早期的技术架构
数据是企业的核心资产，随着数据规模的快速增长，企业对存储功能和性能的要求也在不断增加。对云厂商和企业用户来说，如何在提升业务性能的同时降低成本是一巨大挑战。11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 下面，让我们一起回顾下两位老师的精彩演讲内容👇 数据湖是一种可拓展的技术架构，将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案，从数据中挖掘价值；支持
陈云，数数科技资深云原生研发工程师，专注于云原生在大数据场景下的应用探索。负责数数科技TE(新一代数据分析引擎)的云原生方向架构建设、优化和迭代。 背景 ThinkingEngine （简称“TE”）新一代数据分析引擎，由数数科技研发，提供一站式的数据应用服务。让数据分析能够覆盖全品类分析场景，帮助游戏公司专注在游戏本身的业务上，更好地挖掘数据价值。 我们常常会收到客户的反馈：在业务高峰时容易出现分析查询慢和卡顿的情况。造成这种现象的原因是查询引擎在业务高峰时资源瓶颈，查询只能排队等待。用户也采取过增加资源
谢远东，腾讯高级工程师，云原生机器学习社区 Kubeflow Member、 云原生数据编排与加速框架 Fluid（CNCF Sandbox） 核心开发者、Istio Member ，负责腾讯云 TKE 在 AI 场景的研发和支持工作。
GDCC 分 布 式 云 云智相生 GDCC 2023 4月20日，2023全球分布式云大会·北京站正式召开。作为本次AIGC数智中国科技周的重要组成部分之一，大会以“云智相生”为主题，着眼于分布式云和人工智能，以分布式云促进人工智能发展，以人工智能降低分布式云上云和用云门槛，为构建数智中国夯实基础设施和技术底座。 本次大会，全球分布式云联盟携手腾讯云等海内外云计算领军企业和运营商，共同开启分布式云智能化新纪元。 腾讯云 王登宇 在上午举办的分布式领袖论坛上，腾讯云存储专家架构师 王登宇发表了题为《
无服务器化后台服务已成为后台服务转型一个炙手可热的方向，相对于传统后台架构有降低运维、资源成本等诸多优点，云函数就是目前应用较为成熟的无服务器架构方案。那么云函数自身后台架构是如何实现的呢？
在4月底举办的Techo TVP 开发者峰会暨腾讯云原生技术生态峰会上，腾讯云重磅发布全新升级的云容器产品，通过分布式云+FinOps 的云原生技术能力，为企业多云环境管理、运维服务和性能提升提供更加降本增效、安全可靠的解决方案，推动企业构建云原生新生态。 峰会现场，腾讯云容器产品中心总监于广游表示，“云原生当前呈现出三大重要趋势，即环境更复杂、运维更困难、应用更多样。基于此，腾讯云围绕云边新演进、运维新范式、性能新高度三个维度，针对性地将云原生产品进行全新升级，进一步推动企业降本增效。” 具体来说，
背景介绍 4月23日09:00-12:45，在DataFunSummit2022：大数据计算架构峰会上，由腾讯云大数据资深高级工程师熊训德出品的大数据计算加速论坛，将邀请来自腾讯、阿里巴巴、矩阵起源、喜马拉雅的5位技术专家，就相关主题进行深度分享，欢迎大家一起探讨交流。 具体日程 详细介绍 出品人：熊训德 腾讯云 大数据资深高级工程师 个人介绍：四川大学硕士毕业后加入腾讯，在腾讯云大数据从事 hadoop 生态相关的云存储和计算等后台开发，专注于研究大数据、虚拟化和人工智能等相关技术。 嘉宾介绍：
GDCC 全球分布式云大会 自2020年以来，在全球分布式云大会的推动下，中国云计算领域更上一个台阶，完成了从分布式云的定义探索到规模化应用实践的蜕变。当下，分布式训练推动AI技术取得新的突破，分布式领域应把握机遇，利用AI技术进一步降低政企上云门槛，向新的领域拓展商业版图。 2023全球分布式云大会·北京站将以分布式云与人工智能为核心话题，探讨分布式云如何更好地支持人工智能发展，打造MaaS（模型即服务）新业态，以及利用人工智能赋能分布式云进一步降低上云门槛等热门话题。 嘉宾介绍/ Distribute
近日，腾讯云原生数据库TDSQL-C Serverless性能和架构进行了全面升级，可覆盖更多高性能和超高负载、超大流量的业务场景，自动扩缩容瞬时场景下慢查询时长降低30%保证业务“无毛刺”。与此同时，全新发布资源包付费模式，刊例价对比同规格包年包月产品降幅高达25%，Serverless按实际使用量计费的特性能帮助用户最高降本80%。
首先我们项目的定位是一个图片,音频为主体的分享应用,于是服务器对于大资源的存储有了常规数据库,nginx静态资源存储和对象存储服务的选型问题.常规数据库(如mysql)的业务存储不可避免的遇到服务器带宽问题和单点问题.于是我们选择了COS服务进行大对象存储,同时对于生成目录等用户关键信息进行云Redis存储并选择双机备份.项目开发,压测结束Redis只占用了2M内存空间,COS服务+CDN溯源提供了优秀的读写带宽和数据保持.
内容来源：2018 年 08 月 25 日，腾讯游戏云产品总监王永和在“腾讯云GAME-TECH游戏开发者技术沙龙 小游戏”进行《腾讯云小游戏解决方案》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
峰会背景 以“加速数据创新，赋能数智未来”为主题， 由百易传媒（DOIT）主办的2023数据基础设施技术峰会，将于5月26日在苏州中茵皇冠假日酒店召开。来自大数据、云计算、数据存储以及AIGC产业代表带来最前沿的思考，分享数据创新应用实践，预见未来。腾讯云首席存储技术专家温涛受邀参会，分享AIGC场景的数据存储与管理之道，敬请关注5月26日16:00~16:30。 分享概要 随着AIGC的兴起，海量数据和算力成为构建AI能力的关键，企业在寻求提升模型训练和推理效率的解决方案。随着腾讯云数据湖存储新一代的架构
国际权威市场研究机构IDC近日发布了《IDC PeerScape：金融领域中数据管理分析服务最佳实践案例》报告，腾讯云大数据TBDS和某股份制银行的存算分离数据湖项目凭借其领先的技术架构、强大的数据能力以及全面的国产化适配，荣获该报告的最佳实践案例。这一荣誉证明了腾讯云在金融领域数据管理和分析方面的领先地位，以及其为客户提供卓越解决方案的承诺。
2021年7月 VOL:15 腾小云告诉你最前线的产品新特性， 总有一款让你心动～ 云说新品 容器产品新特性 7月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务（Tencent Kubernetes Engine for Edge，简称 TKE Edge）是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 7月23日，SuperEdge v0.5.0 正式发版，带来的功能包括： 1) 集成kube-vip，作为集群默认的Master高可用
Fluid 作为基于 Kubernetes 开发的面向云原生存算分离场景下的数据调度和编排加速框架，已于近期完成了 v0.6.0 版本的正式发布。腾讯云容器 TKE 团队一直致力于参与 Fluid 社区建设，在最新版本中贡献了以下两大特性：缓存引擎高可用运行时、新增数据缓存引擎实现 GooseFSRuntime 。
一台机器上运行着N个进程，各种连接、缓存等都是进程级别的。连接数经常打满，链路稳定性的问题很多。
上期我比较了腾讯云和阿里云的MySQL数据库，文章发布之后引起了一些反响，有质疑数据的，也有希望了解更多细节的同学。其实一个数据库产品的好坏，不光是QPS、TPS这种吞吐量指标，其他特性如主从复制、灾备、稳定性、可视化管理等也起着重要作用，有兴趣的同学可以自己去体验一下，我也会逐步完善这些数据库测试。这期我们来看另一个常用的数据库：Redis。
上周举行的腾讯云知识分享，雁栖学堂第七期 GooseFS 数据湖存储数据成本管理能力篇已经圆满结束了。
云计算时代，数据库上云已成为产业数字化转型的重要动力。近期，在2022腾讯全球数字生态大会云原生数据库技术探索专场上，腾讯云分享了在云原生数据库领域的技术演进与探索，并就其在不同行业场景中的最佳实践进行了详细讲解，为广大企业运用云原生数据库实现业务创新提供了有效借鉴。 腾讯云数据库高级工程师潘怡飞在致辞中表示：“作为基础软件的‘三驾马车’之一，国内数据库的发展正呈现三大趋势：行业客户的多元化，对数据库性能与成本的平衡提出了更多样的需求；应用场景的不断丰富，要求数据库具备更高的弹性和灵活性；数据库已成为数字社
近日，腾讯云原生数据库TDSQL-C 发布新版本，在云原生架构、基础硬件能力、自研内核等方面进行了全面升级。本次升级涵盖了基于英特尔 傲腾持久内存的二级缓存、全链路RDMA网络、7*24持续无锁备份等核心功能。性能测试结果显示，在全缓存场景、大数据集场景中，新版TDSQL-C 性能全面超越业内其他云原生数据库产品，对比传统云数据库达到200%性能提升。此外，TDSQL-C价格仅为商业数据库的1/10，是企业上云的最佳选择。
作者：龙逸尘，腾讯 CSIG 高级工程师 腾讯云原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。 复杂的使用场景和超大的数据量，导致我们在实时数仓的建设与使用过程中遇到许多挑战。 时效性 数仓使用者对时效性有非常强烈的诉求：希望查询响应更快，看板更新更及时，指标开发更快完成。因为时效性越高，数据价值也就越高。如何保障数仓的时效性是首要难题。 架构复杂度 如何在保障时效性的同时，降低架构复杂度以减少开发和维护成本，
为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于2023年1月9日举办了2022年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。 云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已
自建开源大数据平台会随着企业数据的增长遇到：性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
上周举行的腾讯云知识分享，雁栖学堂第三期 GooseFS 数据湖存储数据管理能力篇已经圆满结束了。
刚刚，联合国在纽约总部正式宣布：腾讯公司成为联合国全球合作伙伴，为联合国成立75周年提供全面技术方案。在联合国成立75周年的对话系列活动中，腾讯会议将为联合国提供在线会议和沟通交流平台，面向全球公民灵活组织不同规模的在线会议。而腾讯云Redis和TDSQL为腾讯会议提供了底层数据库支持。
2022年3月 VOL:23 腾小云告诉你最前线的产品新特性， 总有一款让你心动～ 云说新品 容器产品新特性3月上新 腾讯云弹性容器服务EKS 安全稳定的无服务器 Kubernetes 服务 弹性容器服务（Elastic Kubernetes Service，EKS）是腾讯云容器服务推出的无须用户购买节点即可部署工作负载的服务模式。 EKS 支持 HPC 组件 EKS 镜像缓存支持自定义延期销毁 CBS 盘 EKS 资源创建时若当前规格无资源，则支持资源自动升配重试 新增预留券资源概览，
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
