日前，第11届PostgreSQL中国技术大会圆满落幕，大会上腾讯云多位顶级技术达人携手亮相，分别对腾讯云PostgreSQL系列产品技术亮点和创新实践案例进行了深入解读，针对TDSQL-C PostreSQL高可用特性、TDSQL-A发展历程、技术架构等做出了详细介绍。 会上腾讯云数据库开源产品TDSQL PostgreSQL版（开源代号Tbase）再次公布升级：分区表能力增强，分区剪枝性能提升30%，分布区表关联查询性能（Join）提升超十倍。此外，异地多活易用性增强、分布式死锁自动检测并解锁功能上线
导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。 引言 这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进，随着云计算的普及，传统的数据仓库架构在资源弹性，成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO，腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成，为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术，以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
近日，腾讯云联手宇信科技，共同完成了信贷平台、数据中台、手机银行等核心金融业务的联合解决方案，以及双向适配认证、深度测试和优化工作，并已在某头部农商行、某头部城商行投产运行。未来，双方将在信贷系统和国产数据库的深度适配测试、监管报送国产化联合方案、云原生PaaS平台双向适配认证等领域持续推进合作。 腾讯云TDSQL&宇信科技 新一代智能信贷服务平台V5.0深度适配 TDSQL是腾讯云自主研发的企业级分布式数据库，提供业界领先的高可用、计算存储分离、数据仓库等能力，具备智能运维平台等标准统一的产品服务方案，可
Greenplum 是全球首个开源、多云分布式数据库，2019年被 Gartner 列为全球十大经典和实时数据分析产品中唯一开源数据库。为了让大家更好的了解和使用Greenplum，我们准备了《六节课快速上手Greenplum》系列直播。
近日，腾讯云联手宇信科技，共同完成了信贷平台、数据中台、手机银行等核心金融业务的联合解决方案，以及双向适配认证、深度测试和优化工作，并已在某头部农商行、某头部城商行投产运行。未来，双方将在信贷系统和国产数据库的深度适配测试、监管报送国产化联合方案、云原生PaaS平台双向适配认证等领域持续推进合作。 新一代智能信贷服务平台V5.0深度适配 TDSQL是腾讯云自主研发的企业级分布式数据库，提供业界领先的高可用、计算存储分离、数据仓库等能力，具备智能运维平台等标准统一的产品服务方案，可满足各行业需求。历时3个多月
本期嘉宾 简丽荣 酷克数据联合创始人兼CEO 简丽荣，北京酷克数据科技有限公司联合创始人兼CEO。2008年毕业于清华大学计算机系本科，2010年获得香港科技大学硕士学位，毕业后曾先后在IBM中国研究院、雅虎北京研发中心和Pivotal中国研发中心从事分布式计算相关研发工作。简丽荣是开源数据仓库Greenplum Database的contributor和Apache HAWQ的创始committer，在云计算及数据库领域长期保持着敏锐的洞察力和判断力。 主持人 田超 腾讯云企业中心总经理 田超，腾
12月20日，在腾讯2020 Techo Park开发者大会大数据专场上，腾讯云大数据产品总经理聂晶对数据仓库近30年发展历程做出总结，并分享了他对目前行业的认知以及未来发展的判断。聂晶表示，当前技术环境变化飞速，单一主体企业难以应对数仓领域爆发式发展挑战，腾讯云希望通过开放开源的生态给用户带来更为透明和精细化的技术及产品服务，助力企业生产力加速提升。 数据仓库从1991年被正式提出，历经近30年的发展历程，企业对数据仓库的重要性感知愈加强烈，同时数据仓库在企业端越来越走向成熟和理性。 “企业不再停留
2020年12月20日，在腾讯2020 Techo Park开发者大会大数据专场上，腾讯云大数据产品总经理聂晶对数据仓库近30年发展历程做出总结，并分享了他对目前行业的认知以及未来发展的判断。聂晶表示，当前技术环境变化飞速，单一主体企业难以应对数仓领域爆发式发展挑战，腾讯云希望通过开放开源的生态给用户带来更为透明和精细化的技术及产品服务，助力企业生产力加速提升。
关注腾讯云大学，了解行业最新技术动态 直播预告 8月8日 （周六） 14:00——15:00 腾讯云大学将邀请 Greenplum原厂高级解决方案架构师 李兴欣老师 带来 《6节课快速上手Greenplum之备份、安全与高可用》 简 介 Greenplum 是全球首个开源、多云分布式数据库，2019年被 Gartner 列为全球十大经典和实时数据分析产品中唯一开源数据库。为了让大家更好的了解和使用Greenplum，我们准备了《六节课快速上手Greenplum》系列直播。第二场活动是关于Green
2019 年 3 月 16 日，在北京国粹馆举行了首期 TVP 修炼营，这是一场专属于热爱大数据的技术专家们的活动。TVP，即腾讯云最具价值专家（Tencent Cloud Valuable Professional），是腾讯云实现数字化转型、建设智慧生态的重要战略计划之一，旨在通过建立与行业技术专家的交流平台，促进腾讯云与技术专家和用户之间的有效沟通，从而提升腾讯云产品能力，打造云计算技术生态，实现“用科技影响世界”的美好愿景。
前两天在刷朋友圈，看到一个视频号链接，说有个云数仓，比ClickHouse 还快3倍。我就点进去看了，原来是 SelectDB 公司的“为数而生，因云而新” SelectDB 产品发布会。这个发布会上 SelectDB 发布了云数仓产品 SelectDB Cloud。
导语 | 伴随着Snowflake的成功，重新激活了数据分析市场，大大小小的创业公司不断创立，各种OLAP的开源产品层出不穷。其中，ClickHouse凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但其在功能特性、易用性等方面都还有较多不足。同时，在OLTP、对象存储、Elasticsearch、MongoDB等系统中累积了大量数据和分析需求，不能较好的得到满足。因此，我们希望以Clickhouse为基础，借鉴Snowflake的设计思路，打造一款高性能的云原生OLAP数仓，为用户提供多数据源、多场景下的一站式数据分析平台。
一时间，似乎所有与数据库有关的厂商都在提“湖仓一体”，仅从百度新闻搜索查询到权重较高的媒体文章就至少有150多篇。随着企业数字化转型进入深水区，越来越多的企业视“湖仓一体”为数字变革的重要契机，如今湖仓一体受到前所未有的关注。
近日中国民生银行、中国光大银行定向采购华为数据库。项目中标金额分别为 1935 万元、2199 万元。以下为详情，供大家参考。 中国民生银行项目 2021年8月18日，中国民生银行股份有限公司发布《2021年华为数据库软件采购项目》招标公告。 采购内容：拟采购60套GuassDB（DWS）MPP数据库软件的全集团范围内的永久使用授权，包含1年期维保。 2021年9月26日评审结果公示发布，中电金信软件有限公司 1935 万元中标。 中国光大银行项目 2021年8月13日，中国光大银行发布《华为高斯数据库
摘要 OLAP数据库/引擎日新月异，不断推陈出新，在各种场景下有不同引擎的价值：flink擅长于实时数据集成/实时计算；spark批处理、tb级以上、hive生态、复杂join的数据分析、以及机器学习；presto联邦分析、较简单join、tb级以下hive生态udf数据分析；clickhouse 大宽表聚合操作、无数据更新、尽量无join、没有复杂udf的亚秒级分析，tensorflow深度学习等等 即使相同的引擎，考虑资源隔离、成本分摊、数仓研发/使用周期（test，adhoc，prod，backfil
数据库，一个让人熟悉又陌生的名字。陌生在于大多数人的不明所以，但它在日常生活中却是司空见惯。
关注腾讯云大学，了解行业最新技术动态 Greenplum 是全球首个开源、多云分布式数据库，2019年被 Gartner 列为全球十大经典和实时数据分析产品中唯一开源数据库。 和腾讯云大学合作的《六节课快速上手Greenplum》已经进行到第五场，在前四场的活动中，来自Greenplum社区和原厂的专家们分别为大家介绍了Greenplum的安装与部署，Greenplum备份、安全与高可用，生态与工具，和快速调优等的干货内容，相关PPT欢迎前往Greenplum中文社区网站下载页面获取。 第五堂课的主题是G
安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程，对日志数据进行追溯分析，可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。
一、OALP 引擎汇总整理引擎优势不足适合场景文档Kylin1、支持标准SQL，提供JDBC/ODBC接口2、通过预计算Cube显著降低查询时的计算量。3、支持精确去重计数，并且由于预计算，查询去重指标的速度很快。4、可以支持比较高的查询并发。1、需大量资源做预计算，数据导入效率低。2、schema变更需重跑历史，稳定性低。3、需要学习Cube定义和优化，学习成本较高。4、不支持AdHoc查询。5、HBase没有二级索引，过滤的性能稍逊色。5、支持的维度数量不宜过多（20），否则Cube的计算和存储开销会明
近日，由权威机构赛迪顾问主办的“2024IT市场年会”隆重召开，并在会上发布了备受瞩目的“2024IT市场权威榜单”。腾讯云大数据处理套件TBDS凭借其卓越的创新能力和实践案例，荣获两大奖项：
导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。文章作者：王方晓，腾讯运营开发工程师。 一、背景 奕星 (EAS) 是腾讯内部专注于游戏营销活动分析的系统，在营销活动效果分析中，奕星遇到一个最大的问题就是对活动参与人数的去重，并给出对应的活动号码包。单个营销活动的周期是固定的，但活动与活动之间时间很少会有完全相同的情况。 比如A活动时间是1-10号
“以前一个客户分析特定的数据量可能需要100台机器，但用我们的方案只需要10台；原来查一周都查不了或者直接宕机，我们只需要一分钟。”
在数据大爆炸时代，随着企业的业务数据体量的不断发展，半结构化以及无结构化数据越来越多，传统的数据仓库面临重大挑战。通过以Hadoop, Spark为代表的大数据技术来构建新型数据仓库，已经成为越来越多的企业应对数据挑战的方式。
每一个游戏制作者都想制作出一款让玩家满意的游戏。但是作为开发者，如何知道哪些点是让游戏玩家满意的，哪些是不满意的？今天我们就聚焦这些点来进行讨论。
云原生Clickhouse 优势概述 以Clickhouse为基础，借鉴Snowflake等系统的设计思路，打造一款高性能的云原生OLAP系统，为用户提供多场景下的一站式的数据分析平台。 简单、易维护：集群管理、统一共享分布式调度服务 高可用、可扩展：支持500万以上的Table 低成本：存储成本至少降低了50% 兼容开源，复用超高性能：兼容协议、语法、数据库存储格式 Clickhouse是一款性能十分强悍的OLAP引擎，凭借优秀的性能在用户行为分析、ABTest、在线报表等多个领域大放异彩，但是目前C
TDSQL-A是在腾讯业务场景下诞生的在线分布型OLAP数据库系统，在处理海量数据分析业务的过程中持续对产品构架进行升级调整，是PG生态中分析型MPP产品的又一力作。 本文将由腾讯云数据库专家工程师伍鑫老师为大家详细介绍TDSQL-A的发展历程、技术架构和创新实践，以下为分享实录： TDSQL-A发展历程 TDSQL-A是一款基于PostgreSQL自主研发的分布式在线关系型数据库。是一个面向海量数据实时在线分析产品，采用无共享MPP构架。面向分析型场景的极致性能优化，我们自研了列式存储，同时也支持行列混合
摘要：MySQL在充分利用多核计算资源方面比较欠缺，无法同时满足在线业务和分析型业务的客户需求，而单独部署一套专用的分析型数据库意味着额外的成本和复杂的数据链路。本次主题将介绍腾讯云数据库为满足此类场景而在HTAP for MySQL产品方面进行的尝试。
ByteHouse云数仓版是字节跳动数据平台团队在复用开源 ClickHouse runtime 的基础上，基于云原生架构重构设计，并新增和优化了大量功能。在字节内部，ByteHouse被广泛用于各类实时分析领域，最大的一个集群规模大于2400节点，管理的总数据量超过700PB。本分享将介绍ByteHouse云原生版的整体架构，并重点介绍ByteHouse在查询上的优化（如优化器、MPP执行模式、调度优化等）和对MySQL生态的完善（基于社区MaterializedMySQL功能），最后结合实际应用案例总结优化的效果。
本文根据肖康在【第十三届中国数据库技术大会（DTCC2022）】线上演讲内容整理而成。
当前的大环境和技术氛围，提供给国产化技术厂商一个千载难逢的推广机会，操作系统、数据库、中间件、办公终端各领域，无论是供应商，还是使用者，比以往任何时候都更积极和主动，并且更具成效。
2021 Gdevops全球敏捷运维峰会 - 广州站，将在5月28日盛大举办。Gdevops经过创办6年成功举行近20场大会的经验积淀，于本次峰会打磨精选出最贴合当下运维痛难点及运维转型趋势热点的议题，本文带大家先睹为快。 腾讯大讲堂·限时专属优惠 报名 福利一： 扫描下方二维码，关注腾讯大讲堂，回复“Gdevops全球敏捷运维峰会·广州站”，就有机会抽取免费门票 福利二： 限时特价优惠门票有限，码上报名 运维主题看点 讲师介绍：现任职新炬网络副总裁，多年跨国大型IT企业的团队管理、销售和市
大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE，如腾讯基于HIVE深度定制改造，改名为TDW，小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。 当前在实时分析系统中，最难的是多维度复杂查询，目前没有一个很好的解决方案，这两天和人讨论到MPP DB（分布式数据库，以Greenplum为最典型代表）。如果从性能来讲，MPP
12月13日，“2017互联网+大数据高峰论坛”在北京中国大饭店拉开帷幕。来自政府、研究机构及高校、企业的大数据专业人士共聚一堂，以“慧聚数据之力，赋能智慧政企”为主题，畅谈大数据的现状及未来。腾讯技术工程事业群数据平台部刘煜宏受邀参加“腾讯慧聚”品牌的发布仪式，并向在场嘉宾介绍了“腾讯慧聚”的5大产品平台。 十年磨一剑，砺得梅花香。“腾讯慧聚”是腾讯运用多年技术及经验打造而成的政企大数据解决方案系列产品，旨在为政府和企业提供可靠、安全、易用的大数据处理平台。同时，通过深挖大数据潜在价值，助力用户提高
导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。
本文为「3306π」成都站系列专访，本期专访嘉宾为腾讯云TXSQL数据库研发工程师赖铮。 赖铮-腾讯 TXSQL数据库研发工程师 在即将举办的10月26日「3306π」成都站活动中，赖铮将分享腾讯云数据库TXSQL的内核新特性，诸如：异步删除大表，GTID复制功能扩展，隐藏列解决无主键表的复制延迟，新的事务调度算法等等，并详细介绍这些新特性的实现原理和使用方法。这些新特性极大的增强了腾讯云数据库的性能、稳定性和易用性，从而为腾讯云数据库的用户提供了更为完善的数据库服务。 以下是会前专访实录。 1、
6月11日9点，腾讯大数据将联合DataFun举办：多维分析架构峰会。腾讯数据平台部总监陈鹏将担任峰会的荣誉主席，计算平台组负责人陈奕安将担任峰会的主席。 本次峰会共设置9大主题论坛，来自腾讯的技术专家龙跃将担任新一代 MPP 数据库架构论坛出品人并作《腾讯新一代多维分析引擎MercsDB》主题分享。本次峰会精彩纷呈，内容上既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。 感兴趣的朋友欢迎预约直
1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。与此同时，由于不同国家的数据安全法限制，很多数据无法搬迁，数据安全和查询效率都难以保证
6月，腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级，Oracle兼容性和海量数据查询分析能力再上新台阶，并将在公有云全面开放。 TDSQL是腾讯云企业级分布式数据库，旗下涵盖金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系，提供业界领先的金融级高可用、计算存储分离、数据仓库、企业级安全等能力。 升级后的TDSQL PG版 Oracle兼容能力将进一步降低用户迁移改造成本，全面支持存储过程、Package管理等高级特性，同时支持分布式和集中式两种架构，用户
2021 年 4 月 25 日——领先的企业级开源分布式数据库厂商 PingCAP 正式发布面向企业级核心场景的 TiDB 5.0 版本。TiDB 5.0 在性能、稳定性、易用性等方面均取得了巨大进步，并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性，通过引入 MPP （Massively Parallel Processing，即大规模并行处理）架构成为具备完整 HTAP 能力的分布式数据库，为高成长企业和数字化创新场景提供一栈式数据服务平台。
大数据起源于2000年左右，也就是互联网高速发展阶段。经过几年的发展，到2008年 Hadoop 成为 Apache 顶级项目，迎来了大数据体系化的快速发展期，到如今 Hadoop 已不单单指一个软件，而成为了大数据生态体系的代名词。
12月6日-7日，由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区，演讲嘉宾依据热点话题，面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
12月6日-7日，由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区，演讲嘉宾依据热点话题，面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。 在 QCon 盛会上，腾讯云大数据专家工程师陈龙为大家带来了题为《看云上 ClickHouse 如何做计算存储分离》的分享，以下是分享整理全文。 各位朋友大家好，我是陈龙，我今天给大家分享的内容是：看云上 ClickHouse 如何做计算存储分离。 首先介绍下我自己，我来自腾讯云
在永洪数据集市分为本地集市（单机版数据集市）和MPP集市（多机版数据集市）。如果用户数据量在GB级别，并且单机服务器配置还可以，采用本地集市可以达到数据加速的功能。如果用户数据在TB级别，就可以采用MPP云结构来支撑秒级的数据分析响应速度。
「 第一部分 概述 」 数据库中存在两种典型的业务访问场景，一种以在线事务处理为主，称为OLTP（On-Line Transaction Processing）；另一种以在线分析处理为主，称为OLAP（On-Line Analytical Processing）。下面具体介绍他们的区别。 1.1 OLTP OLTP业务的主要特点是有较多的增删改查操作，并且在大部分业务中，写相对于读的比例还很高。并发的事务数较多，而且事务的响应时间要求比较高。此外，每个增删改语句通常只操作少数几行数据；每个查询语句通常也只
通过官网我们知道，snova可以使用PostgreSQL工具，因此，如果想要将linux日志导入snova数据仓库，只需要调用 python3 中的 psycopg2 模块（该模块，仅python3.x可用）。
为了获得更好的数据库计算性能，经常会采用 MPP 数据库，如 Greenplum、Vertica、IQ、TD Aster Data 等。MPP 有较好的性能，但应用成本很高。MPP 的硬件资源消耗很大，需要较高的硬件成本，如果使用商用软件还需要支付昂贵的授权费用。MPP 的运维也很复杂，每个节点需要单独维护，分布式架构下数据均匀分布和一致性保证等都会增加运维的复杂度。总之一句话，就是沉重昂贵。
1月7日，一年一度的《PostgreSQL中国技术大会》将在线上召开，本次大会以“开源论道，创新驱动，共建数字化未来”为主题，重点围绕新场景、新技术、新应用等内容展开分享和讨论。 明天（本周六）上午）09：00-12：00，腾讯云数据库专场盛大开启，多位鹅厂顶级技术达人亮相，针对腾讯云PostgreSQL系列产品、技术亮点和创新实践案例做深入解读，6大主题畅游PG海洋。 腾讯云专场议程 议题一：TDSQL开源版的特性升级与演进（1月8日上午9：00-9：30） 分享嘉宾：陈再妮，腾讯云数据库高级工程师
作者介绍 qiannzhang（张倩），腾讯云数据库专家工程师，具备多年数据库内核研发经验，在大数据分析领域深耕多年。加入腾讯后，主要负责CDW PG数据库SQL引擎相关特性的研发工作。 背景介绍 CDW PG是腾讯自主研发的新一代分布式数据库，采用无共享的MPP集群架构，具备业界领先的数据分析查询处理能力，适用于PB级海量数据的OLAP应用场景。 在OLAP场景中，多表连接查询是最主要的查询类型之一。CDW PG支持多种连接类型，包括left join、right join、inner join和fu
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
