大数据动态-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

大数据动态

专栏成员

27

文章

43541

阅读量

19

订阅数

微信 ClickHouse 实时数仓的实践经验

云数据仓库 ClickHouse

微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信 WeOLAP 团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了 10 倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。

腾讯云大数据

2021-11-29

3K3

构筑“数据连接器”，腾讯云大数据推出“开源开放”战略

随着全球经济数字化转型的加快，企业对大数据的需求也日益强烈，复杂场景、规模成本和数据安全等问题都对大数据业务发展提出了新挑战。

腾讯云大数据

2021-11-08

1.3K0

腾讯数字生态大会｜大数据与你相约武汉

11月3日至4日，2021腾讯数字生态大会将于武汉举办。作为腾讯集团面向产业互联网领域规格最高、规模最大、覆盖面最广的年度盛会，腾讯数字生态大会旨在汇聚全球智慧洞察产业发展新机遇，描绘云、AI、大数据、安全等关键技术的发展蓝图，展示腾讯最新的研究成果、战略规划、技术产品、解决方案。

腾讯云大数据

2021-11-01

6640

腾讯云原生智能数据湖发布会将开，首次透露腾讯云数据湖产品全景矩阵

数据湖计算 DLC

随着“大数据中心”被列为国家新基建核心项目之一，数据和数据分析变得尤为的重要。对于企业来说，不仅越来越多的业务向以云为中心的基础架构转移，而且对于数据洞察敏捷度的要求也越来越高。这就促使数据分析者和领导者必须采用恰当的工具和流程来应对需求，可利用多个数据源、使用不同的数据技术，快速构建灵活友好的数据架构，解决多元化分析场景的数据需求成为新的趋势。

腾讯云大数据

2021-05-12

1.7K0

云端数智新引擎，腾讯云原生数据湖计算重磅发布

针对以上痛点，腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。

腾讯云大数据

2021-03-25

1.2K0

大咖直播 | Elasticsearch 应用监控管理平台搭建实战

大数据 Elasticsearch Service

Elastic 监控管理解决方案是基于 Elastic Stack 的一站式解决方案。该解决方案具有完备的日志、指标、APM 和可用性采集能力，可以在大规模和云原生的环境下完成基于服务质量目标的管理。

腾讯云大数据

2021-01-08

7.5K0

从Snowflake看数据仓库演进方向：计算存储分离、弹性计算、统一存储和Serverless化

大数据云数据仓库 PostgreSQL 云数据仓库套件 sparkling

2020 年 9 月，主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克，首日 IPO 筹资高达 33.6 亿美元，是有记录以来金额最大的软件 IPO，突破了 Uber 2019 年 5 月上市创下的最大规模纪录。如今，大数据技术早已进入普及期，数据仓库 / 分析领域更是巨头林立，既有传统厂商 Oracle、Teradata，也有开源软件 Hadoop，还有云厂商 AWS Redshift、Google Bigquery，在这样一个竞争环境下，成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么，Snowflake 在数仓技术方面有哪些独到之处？其成功的背后又有哪些技术原因和趋势值得关注？

腾讯云大数据

2021-01-08

1.3K0

IDC DX Summit | 神盾联邦计算，技术变革打破企业数据孤岛

2020 IDC中国数字化转型大奖已是自2016年以后，IDC成功举办的第五届。IDC通过数字化转型大奖（DXa）持续关注中国各大企业、组织机构和初创企业的数字化转型（DX）的计划与发展。

腾讯云大数据

2021-01-08

5410

手把手教你：将ClickHouse集群迁至云上

大数据云数据仓库 ClickHouse

随着云上ClickHouse服务完善，越来越多的用户将自建ClickHouse服务迁移至云上。对于不同数据规模，我们选择不同的方案:

腾讯云大数据

2021-01-07

7130

联邦计算：不暴露真实数据如何完成合作建模？

导语：在金融场景下，银行等机构有强烈愿望和其他数据拥有方合作建模，但出于商业和合规方面的考虑，又不愿共享核心数据，导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发，从技术角度探讨如何解决这一困境，希望与大家一同交流。

腾讯云大数据

2021-01-07

1.3K0

持续引领大数据行业发展，腾讯云发布全链路数据开发平台WeData

2020年9月11日，在腾讯全球数字生态大会大数据专场上，腾讯云大数据产品副总经理雷小平重磅发布了全链路数据开发平台WeData，同时发布和升级了流计算服务、云数据仓库、ES、企业画像等6款核心产品，进一步优化和提升了腾讯云大数据的全托管能力，助力企业从基础设施层、场景开发层以及行业应用层快速构建一站式大数据平台能力。

腾讯云大数据

2021-01-07

2.4K0

腾讯云副总裁刘煜宏：大数据平台算力弹性资源池达500万核，国内最强

2020年9月11日，在2020腾讯全球数字生态大会上，腾讯云副总裁刘煜宏透露，腾讯云大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过一万亿维度的数据训练。腾讯云不仅已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。

腾讯云大数据

2021-01-07

1.5K0

腾讯云大数据发布最新产品矩阵，助力企业整合打通海量数据

2020年9月11日，主题为“释放数字经济发展的新动能”的腾讯全球数字生态大会大数据专场在线上拉开帷幕。腾讯大数据领域的多位顶级专家，与包括 Hadoop 创始人 Doug Cutting 在内的业内顶级大咖，以及众多行业合作伙伴一起相聚云端，共话大数据技术的最新技术演进趋势和应用实践。

腾讯云大数据

2021-01-07

1.3K0

Greenplum性能优化之路 --（三）ANALYZE

大数据云数据仓库 PostgreSQL 云数据仓库套件 sparkling

基于规则的优化器，就是优化器在优化查询计划的时候，是根据预先设置好的规则进行的，这些规则无法灵活改变。举个例子，索引优先于扫描，这是一个规则，优化器在遇到所有可以利用索引的地方，都不会选择扫描。这在多数情况下是正确的，但也不完全如此：

腾讯云大数据

2021-01-07

1.4K0

Greenplum性能优化之路 --（二）存储格式

大数据云数据仓库 PostgreSQL

Greenplum（以下简称GP）有2种存储格式，Heap表和AO表（AORO表，AOCO表）。

腾讯云大数据

2021-01-07

1.5K0

Greenplum性能优化之路 --（一）分区表

大数据云数据仓库 PostgreSQL

分区表就是将一个大表在物理上分割成若干小表，并且整个过程对用户是透明的，也就是用户的所有操作仍然是作用在大表上，不需要关心数据实际上落在哪张小表里面。Greenplum中分区表的原理和PostgreSQL一样，都是通过表继承和约束实现的。

腾讯云大数据

2021-01-07

1.4K0

腾讯云发布保理云平台，金融科技助力快速搭建保理业务系统

2020年8月5日，腾讯云正式上线保理业务数字化平台“腾讯云鑫-保理云”，以SaaS化方式为商业保理公司、融资租赁公司、中小商业银行等金融机构，提供保理业务开展的全流程数字化能力，助力高效低成本展业。

腾讯云大数据

2021-01-07

2.9K0

神盾首创非对称联邦学习，深度保障数据隐私

导语：在过去的几年中，我们见证了大数据及人工智能技术的飞速发展，许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通，对相关产业的发展起着至关重要的作用。在上一篇文章中，我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景和数据安全与隐私保护技术亮点。这次，我们着重选取本产品首推的“非对称联邦学习” (Asymmetrical Federated Learning, AFL) 范式进行介绍。该范式旨在全面保护数据集的样本ID、特征和标签的隐私安全，彻底解除在不平衡的 (unbalanced) 联邦计算系统中，中小企业对敏感用户ID泄露问题的担忧。

腾讯云大数据

2021-01-07

7380

腾讯“神盾-联邦计算”平台——数据合作的春天

导语：大数据及人工智能飞速发展的今天，法律法规和信任问题严重阻碍了企业之间的数据流通，数据孤岛问题像一只无形的手挡在了企业之间，因为缺乏有价值的数据合作，各行业用户获取成本居高不下，银行信用卡不良用户占比全面上升，金融信贷审核成本陡增，AI发展也遭遇前所未有的瓶颈，为了让这些企业在合法合规、安全、高效无损的基础上进行数据合作，腾讯“神盾-联邦计算”平台应运而生！

腾讯云大数据

2021-01-07

1.4K0

招聘 | 腾讯云大数据，期待您的加入！

1、计算机、通信等相关专业，本科及以上学历，3年以上大型互联网产品或分布式系统开发设计经验；

腾讯云大数据

2021-01-06

1.9K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态