jhonye

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV3

发表了文章 2025-01-172025-01-17 17:08:46

Adaptive and Robust Query Execution for Lakehouses at Scale（翻译）

许多组织已经接受了“湖仓”数据管理范式，这种范式涉及在开放的、非结构化的数据湖之上构建结构化的数据仓库。这种方法与传统的、封闭的、关系型数据库形成鲜明对比，并为...

jhonye 2025-01-172025-01-17 17:08:46

大数据、架构设计、论文、spark

发表了文章 2023-10-312023-10-31 16:52:37

【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式

湖仓一体（Lakehouse）是近年来比较火的大数据概念，它将数据湖（Data Lake）和数据仓库（Data Warehouse）的优势结合起来，为企业提供了...

jhonye 2023-10-312023-10-31 16:54:59

虚拟化、数据湖计算 DLC、腾讯云数据仓库 TCHouse-X

发表了文章 2023-10-102023-10-10 10:29:08

下一代大数据技术架构：Data Fabric？

过去几十年，随着数据量的爆炸性增长和数据处理需求的不断演进，我们目睹了大数据架构的不断发展和变革。在这个过程中，大数据技术和服务的发展取得了令人瞩目的成就，为各...

jhonye 2023-10-102023-10-10 10:29:08

大数据、数据管理

发表了文章 2023-10-072023-10-07 14:53:07

如何提高集群资源利用率？

当我们手里有一个固定资源的集群时，需要做两件事：1. 资源管理，2. 成本效率管理；为了让进程跑在合适的机器我们需要任务调度器（深度学习任务跑在带GPU的物理机...

jhonye 2023-10-072023-10-07 14:57:01

大数据、任务调度、容器

发表了文章 2023-09-282023-09-28 11:44:00

Orca: A Modular Query Optimizer Architecture for Big Data（翻译）

数据管理系统中的分析查询处理性能主要取决于系统的查询优化器的能力。数据量的增加和对处理复杂分析查询的兴趣的增加促使Pivotal构建了一个新的查询优化器。

jhonye 2023-09-282023-09-28 11:44:00

大数据、数据库性能优化

发表了文章 2023-09-272023-09-27 17:16:15

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）优化器架构

基于Cascades框架，Columbia优化器专注于优化的效率。本章将详细描述Columbia优化器的设计和实现，并进行与Cascades的比较讨论。

jhonye 2023-09-272023-09-27 20:54:03

动态规划、数据库性能优化

发表了文章 2023-09-272023-09-27 11:05:05

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）介绍

查询优化是数据库系统可以实现显著性能提升的领域。现代数据库应用程序需要具有高度可扩展性和效率的优化器。尽管在这些领域已经做出了十多年的努力，但优化器研究的最新成...

jhonye 2023-09-272023-09-27 17:21:36

数据库、大数据、数据库性能优化

发表了文章 2023-09-262023-09-26 14:59:01

A RateupDB（TM）Experience of Building a CPU/GPU Hybrid Database Product（翻译）

原文标题：The Art of Balance: A RateupDB（TM） Experience of Building a CPU/GPU Hybrid ...

jhonye 2023-09-282023-09-28 11:44:17

数据库、gpu、数据仓库

发表了文章 2023-09-262023-09-26 11:21:17

The Cascades Framework for Query Optimization(翻译)

这篇论文描述了一个新的可扩展查询优化框架，解决了 EXODUS 和 Volcano优化器/生成器的许多不足之处。除了可扩展性、基于EXODUS和Volcano原...

jhonye 2023-09-262023-09-26 11:21:17

sql

发表了文章 2023-05-302023-05-30 13:47:34

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（下）

在预训练之后，LLMs可以获得解决各种任务的通用能力。然而，越来越多的研究表明，LLMs的能力可以根据特定目标进行进一步的适应调整。在本节中，我们介绍了两种主要...

jhonye 2023-05-302023-05-30 13:47:34

人工智能

发表了文章 2023-05-292023-05-29 22:30:04

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）

自从图灵测试在20世纪50年代提出以来，人类一直在探索机器掌握语言智能的方法。语言本质上是一个由语法规则控制的复杂、精细的人类表达系统。开发能够理解和掌握语言的...

jhonye 2023-05-302023-05-30 09:46:51

模型

发表了文章 2023-04-192023-04-19 11:47:40

基于AIGC的写作尝试：Presto: A Decade of SQL Analytics at Meta（翻译）

Presto是一个开源的分布式SQL查询引擎，支持多个EB级数据源的分析工作负载。Presto用于低延迟的交互式用例以及Meta的长时间运行的ETL作业。它最初...

jhonye 2023-04-192023-04-19 11:47:40

presto

发表了文章 2023-04-182023-04-18 20:32:53

基于AIGC写作尝试：深入理解 Apache Hudi

本文的目的是为读者提供全面了解Apache Hudi的知识。具体而言，读者可以了解到Apache Hudi是什么、它的架构如何工作、常见的使用案例以及与之配合工...

jhonye 2023-04-182023-04-18 20:32:53

大数据

发表了文章 2023-04-172023-04-17 20:56:47

基于AIGC写作尝试：深入理解 Dremio

现代组织不断从各个来源产生和收集大量数据。数据可能存储在不同的格式、位置，并且在容量、速度和种类上可能存在差异，使用户难以快速提取其中的价值。数据孤岛在许多公司...

jhonye 2023-04-172023-04-17 20:56:47

presto、aigc、大数据

发表了文章 2023-04-152023-04-15 12:07:43

基于AIGC写作尝试：深入理解 Apache Arrow

在当前的数据驱动时代，大量的数据需要在不同系统和应用程序之间进行交换和共享。这些数据可能来自于不同的源头，如传感器、数据库、文件等，具有不同的格式、大小和结构；...

jhonye 2023-04-152023-04-15 12:14:12

大数据存储、apache、chatgpt、内存

发表了文章 2023-03-032023-03-03 10:04:05

一种基于分区列谓词补偿的物化视图增量更新方法

当前业界在做物化视图增量更新时，物化视图一般会存储在一张分区表中，以分区为粒度进行增量、刷新、删除；不然就需要生成大量的物化视图元数据或每次都要重新计算历史所有...

jhonye 2023-03-032023-03-03 10:04:05

数据库解决方案、大数据解决方案、数据分析、hive、sql

发表了文章 2022-12-142022-12-14 20:19:09

大数据架构系列：从索引到预计算

大数据发展至今，各大公司的数据量已经是非常庞大了，虽然通用计算框架Spark/Presto等已经能满足用户的很多查询需求，但是更快的查询还是大家向往的。OLAP...

jhonye 2022-12-142022-12-14 20:19:09

文件存储、数据库、缓存、数据分析

发表了文章 2022-12-082022-12-08 14:00:36

大数据架构系列：Amazon 大数据统一分析（分享）

#0 基于数据湖的数据架构图片评论：将数据收集到一起，解决数据孤岛问题。#1 以任何规模存储数据图片评论：吹了一下基于S3的数据湖的牛皮。#2 选择最佳性价比，...

jhonye 2022-12-082022-12-08 14:00:36

大数据解决方案、文件存储

发表了文章 2022-11-212022-11-21 19:18:06

大数据架构系列：Clickhouse + Kafka 的方案组合

如图1，是大家常见的一种用法，所有CH节点参与分发数据的原因是因为大家想把唯一Key相同的数据分发到同一个节点，好做一些SQL查询。

jhonye 2022-11-212022-11-21 19:18:43

云数据仓库 ClickHouse、kafka、大数据、大数据解决方案

发表了文章 2022-11-212022-11-21 19:11:05

大数据架构系列：预计算场景的数据一致性问题

结合 Wikipedia 和业界一些数据（仓）库产品对物化视图的定义，简单说明：物化视图是原始数据某个时刻快照的预计算结果，其中原始数据一般为表或者多张表的jo...

jhonye 2022-11-212022-11-21 19:11:05

大数据、分布式

12 下一页

个人简介

腾讯 | 开发工程师
腾讯｜开发工程师 (已认证)
大数据领域专家
大数据解决方案大数据处理大数据存储大数据
暂未填写学校和专业
https://cloud.tencent.com/developer/user/9930124/articles
广东省 | 深圳市
加入社区时间：2022-07-28

个人成就

获得 121 次赞同
文章被阅读 38K 次
文章获得 10 次首页推荐

关注了：0关注者：224