腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Eights做数据
专栏成员
举报
27
文章
62508
阅读量
11
订阅数
订阅专栏
申请加入专栏
全部文章(27)
node.js(11)
大数据(10)
flink(7)
网络安全(6)
https(6)
kafka(6)
sql(5)
专用宿主机(5)
bash(4)
数据库(4)
云数据库 SQL Server(4)
yarn(4)
scala(3)
bash 指令(3)
编程算法(3)
hadoop(3)
html(2)
打包(2)
api(2)
maven(2)
shell(2)
hive(2)
负载均衡(1)
java(1)
python(1)
json(1)
github(1)
linux(1)
负载均衡缓存(1)
批量计算(1)
文件存储(1)
TDSQL MySQL 版(1)
网站(1)
http(1)
sass(1)
存储(1)
开源(1)
分布式(1)
爬虫(1)
spark(1)
面向对象编程(1)
unity(1)
zookeeper(1)
tcp/ip(1)
物联网(1)
hbase(1)
搜索文章
搜索
搜索
关闭
Flink(1.12.1)日志配置Logback实现日志切分和kafka发送
flink
kafka
大数据
yarn
node.js
产线环境上的Flink应用是长时运行的应用,日志量较大,需要将flink应用的日志发送到外部系统,方便进行日志检索。
Eights
2021-03-16
1.9K
0
Hbase1.2.0-cdh5.16.2使用PREFIX_TREE编码导致集群压缩队列异常
文件存储
hbase
TDSQL MySQL 版
编程算法
Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug,会造成RegionServer节点compaction queue持续升高,甚至影响flush,最终阻塞写入。本文记录了整个RegionServer异常的故障定位过程。
Eights
2021-03-15
724
0
如何处理Canal集群Server切换&表DDL变化造成的binlog无法解析问题
数据库
云数据库 SQL Server
sql
java
Canal集群在启用HA的情况下,如果配置了tsdb为内嵌的H2数据库,在Server宕机发生切换的情况下,同时MySQL的DDL发生变化,容易造成MySQL的Binlog无法解析,可采用将tsdb配置为MySQL的方式进行处理
Eights
2020-12-02
3.1K
0
如何使用kafka-eagle-2.0.2管理Kafka集群
kafka
http
专用宿主机
node.js
sql
Kafka产线环境需要管理的Topic和Consumser越来越多,使用命令行工具进行管理会非常繁杂。因此,大数据平台上需要一套Kafka的管理监控系统,Kafka-Eagle。
Eights
2020-11-09
2.2K
0
如何将Flink应用的日志发送到kafka
kafka
flink
大数据
yarn
node.js
产线环境上的Flink应用是长时运行的应用,日志量较大,通过flink web页面查看任务日志会导致浏览器卡死,通过日志排查问题非常不便。因此,需要将flink应用的日志发送到外部系统,方便进行日志检索
Eights
2020-09-10
2.3K
0
如何使用Canal同步MySQL的Binlog到Kafka
kafka
github
数据库
云数据库 SQL Server
sql
Canal是阿里开源的增量解析MySQL binlog组件。通过将binlog投递到kafka,一方面可以直接进行指标计算。另一方面,可以减轻夜间离线数仓数据同步的压力。本文基于canal-1.1.4版本进行binlog解析和投递到kafka功能测试
Eights
2020-09-10
5.3K
0
Flume拦截器实现按照事件时间接入HDFS
网络安全
大数据
kafka
专用宿主机
html
Flume作为一个数据接入组件,广泛应用于Hadoop生态中。在业务时间混乱的情况下,按照机器数据在HDFS上分区会降低ETL的效率。采用Flume自定义拦截器可以实现按照事件时间Sink到HDFS目录,以应对数据的事件时间混乱问题
Eights
2020-09-10
1.3K
0
如何在CDH5上部署Dolphin Scheduler 1.3.1
bash
bash 指令
打包
数据库
sql
本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程,特别注意一下MySQL数据库的连接串!
Eights
2020-07-16
1.5K
0
Hive常用窗口函数实战
hive
物联网
本文介绍了Hive常见的序列函数,排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用
Eights
2020-07-13
2.7K
0
Dolphin Scheduler 1.2.1部署参数分析
bash
bash 指令
node.js
api
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.7K
0
Grafana安装部署
json
https
网络安全
node.js
Grafana支持Cloudera Manager数据源,因此可以搞一波把大数据集群中各种组件的监控都做到Grafana上。同时,Grafana提供了对Prometheus的完整支持。
Eights
2020-07-10
4.7K
0
如何在CDH5.16.2中安装Python Impyla
hive
专用宿主机
python
文档编写目的 整理CDH5中安装Impyla的步骤 集群环境 CDH5.16.2 anaconda3 python3.7 组件介绍 Impyla:适用于分布式查询引擎的HiveServer2实现(例如Impala,Hive)的Python客户端。 Impyla依赖包 six bit_array thriftpy thrift_sasl sasl 安装依赖 安装thrift_sasl需要先执行,否则安装会提示缺少sasl.h文件 yum install gcc-c++ python-devel.x86_
Eights
2020-07-10
957
0
Prometheus监控工具安装部署
专用宿主机
https
node.js
网络安全
爬虫
Prometheus是一个开放性的监控解决方案,其灵感来自于Google的Borgmon,于2016年5月继k8s后加入CNCF基金会。Prometheus具备易于管理,高效,可扩展,易集成的特点。详细介绍见官网:https://prometheus.io/docs/introduction/overview/
Eights
2020-07-10
2.7K
0
Impala负载均衡异常处理
网络安全
负载均衡
负载均衡缓存
编程算法
最近业务系统需要使用Impala作为查询引擎,在使用Impala JDBC连接Impala服务时,默认是不带负载均衡的,需要指定ImpalaD的机器。指定机器的情况下会产生单点故障和负载过重的问题,因此在多用户和生产环境下对于Impala的JDBC服务需要做负载均衡。
Eights
2020-07-10
1.3K
0
Dolphin Scheduler 1.1.0升级1.2.0避坑指南
云数据库 SQL Server
数据库
sql
bash
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.6K
0
Prometheus监控Kafka
kafka
开源
https
网络安全
大数据组件中,Kafka使用非常广泛。而提及Kafka的监控,历来都是个头疼的事情,Kafka的开源社区在监控框架上并没有投入太多的精力。(Cloudera倒是有一个关于Kafka独立的产品Cloudera Streams Management)
Eights
2020-07-10
6.9K
1
Flume - Error while trying to hflushOrSync异常处理
node.js
大数据
网络安全
tcp/ip
记录Flume的Error while trying to hflushOrSync异常处理流程
Eights
2020-07-10
1.5K
0
DolphinScheduler-1.3.0-dev新功能尝鲜
shell
专用宿主机
bash
bash 指令
云数据库 SQL Server
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Eights
2020-07-10
1.7K
0
从0-1搭建Spark本地开发环境(idea)
scala
spark
https
hadoop
https://www.scala-lang.org/download/2.11.12.html
Eights
2020-07-10
3.3K
0
从0-1搭建DolphinScheduler开发环境
node.js
sass
zookeeper
html
https
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
Eights
2020-07-10
3K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档