叁金大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

叁金大数据

专栏成员

42

文章

46757

阅读量

16

订阅数

Presto Event Listener开发

jar 打包云数据库 SQL Server hive 运维

同Hive Hook一样，Presto也支持自定义实现Event Listener，用于侦听Presto引擎执行查询时发生的事件，并作出相应的处理。我们可以利用该功能实现诸如自定义日志记录、调试和性能分析插件，帮助我们更好的运维Presto集群。但是不同于Hive Hook的是，在Presto集群中，一次只能有一个Event Listener处于活动状态。

2019-08-01

1.2K0

Presto安装完成之后需要做的

Presto因其优秀的查询速度被我们所熟知，它本身基于MPP架构，可以快速的对Hive数据进行查询，同时支持扩展Connector，目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那么我们今天就来看一下，当我们选择Presto作为我们的查询引擎之后，我们需要考虑的问题。

2019-07-25

1.1K0

Apache Calcite 论文学习笔记

java sql 数据库 apache jdbc

特别声明：本文来源于掘金，“预留”发表的[Apache Calcite 论文学习笔记](https://juejin.im/post/5d2ed6a96fb9a07eea32a6ff)

2019-07-22

1.4K0

Hadoop现在怎么样了？

hadoop sql 大数据 yarn spark

之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。

2019-07-19

1.4K0

Hive Hooks介绍

hive sql http mapreduce hadoop

Hive作为SQL on Hadoop最稳定、应用最广泛的查询引擎被大家所熟知。但是由于基于MapReduce，查询执行速度太慢而逐步引入其他的近实时查询引擎如Presto等。值得关注的是Hive目前支持MapReduce、Tez和Spark三种执行引擎，同时Hive3也会支持联邦数据查询的功能。所以Hive还是有很大进步的空间的。

2019-07-18

1.1K0

[Python实战] 功能简单的数据查询及可视化系统

数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。这里简单介绍一下sqlpro这个项目的核心功能。

2019-03-15

1.3K0

SQL优化器简介

我们在工作中经常会听到这样的声音：“SQL查询慢？你给数据库加个索引啊”。虽然加索引并不一定能解决问题，但是这初步的体现了SQL优化的思想。

2019-03-15

8620

Apache Calcite项目简介

Apache Calcite是一个动态数据管理框架，它具备很多典型数据库管理系统的功能，比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等，但是又省略了一些关键的功能，比如Calcite并不存储相关的元数据和基本数据，不完全包含相关处理数据的算法等。

2019-03-15

2.2K0

Kerberos 简介——教你做个好人

kerberos hadoop 安全编程算法其他

Hadoop生态利用Kerberos认证机制来识别可靠的服务和节点，保障Hadoop集群的安全，那么Kerberos到底是什么？为什么要选择它来进行认证？Kerberos认证的流程又是怎样的呢？让我们带着这些问题看一下这篇文章。

2018-12-19

8730

数据库和数据仓库你应该知道的

Hive作为Hadoop生态圈重要的一员已经被我们所熟知，它作为一个基于Hadoop的数据仓库工具，用来做离线的数据分析工作。那么什么是数据仓库，它与我们经常使用的数据库有什么不同呢？

2018-12-06

6670

数据采集框架Gobblin简介

go 架构设计大数据 mapreduce yarn

问题导读： Gobblin的架构设计是怎样的？ Gobblin拥有哪些组建，如何实现可扩展？ Gobblin采集执行流程的过程？

2018-10-09

2.1K0

Hadoop的数据采集框架

hadoop 分布式存储数据分析 apache

问题导读： Hadoop数据采集框架都有哪些？ Hadoop数据采集框架异同及适用场景？

2018-10-09

1.9K0

漫谈未来的HDFS

前面我们提到的HDFS，了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的，首先数据要以大文件为主，其次NameNode的内存要足够大。对HDFS有所了解的同学肯定都知道，NameNode是HDFS的存储着整个集群的元数据信息，比如所有文件和目录信息等等。而且当元数据信息较多时，NameNode的启动会变得很慢，也比较容易触发GC操作。显然当数据到了一定的量级，元数据管理会成为HDFS的一个瓶颈，其实这也是为什么说它适合存储大文件的原因。如果解决了元数据管理的问题，其实HDFS是可以支撑海量小文件的。

2018-09-04

5790

不讲CRUSH的Ceph教程是不完整的

前面我们提到了Ceph是一个支持统一存储架构的分布式存储服务。简单介绍了Ceph的基本概念和基础架构包含的组件，其中最重要的就是底层的RADOS和它的两类守护进程OSD and Monitor。上篇文章我们还挖了一个坑，我们提到了CRUSH。

2018-09-04

1.8K0

Ceph在手，天下我有

有人问我，你是如何做到统一存储的？我微微一笑，大声告诉他：Ceph在手，天下我有。

2018-09-04

6430

C#调用C++ Dll

现在项目基本都是旁边C++的哥们做好dll扔给我，然后我调用。好久之前晚上down了一份c#调用c++dll的方法，出处早已经遗忘。闲来无事，放上来好了。原作者看到后可以留言，我会把您链接放上的，帮了我很多！！！

2018-09-04

3.4K0

自学Python一迷茫中的开端！

　　有心学习一下Python，多门技术多条路啊。经历了找教程，看代码，写demo，这东西入门容易精通难啊！又因为请了两周婚假彻底忘光光。想了想自己还是边复习边写点什么东西吧。很多技术，新东西都是看了n多，看了n多但是却不会写，不会用。一是没有实践，二是没有养成那种思维方式！这篇就当是一篇流水账好了！

2018-09-04

5040

C#中Image , Bitmap 和 BitmapData

编程算法 http

先说Image，Image 就是个图像，不能实例化，提供了位图和源文件操作的函数。本篇文章他就是来打酱油的，这里提供一个Bitmap转成BitmapSource的方法。

2018-09-04

2.8K0

WPF Canvas 画区域

有时候需要实现类似于QQ截图那样的选择区域功能，这里的区域可以是一条线，圆，矩形等等

2018-09-04

1.4K0

EmguCV学习——简单算法差分与高斯

c++c#opencv google

公司项目需要检测运动物体，我对opencv也没啥研究，google了好久看了好多方法，最简单的就是差分与高斯背景建模了。

2018-09-04

8750

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态