solve

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV1

全部文章

奇怪的知识
而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节
 solve 2022-03-302022-03-30 14:00:12
企业、机器学习、大数据、神经网络、深度学习
Kafka 保证分区有序
Kafka能做到全局有序吗？ Kafka只能保证分区有序，如果只有一个分区，那也是变向的全局有序 Kafka如何保证分区有序通过配置 max.in.f...
solve 2021-01-262021-01-26 15:42:30
kafka
Kafka 水位详解
kafka中用水位来描述，一个分区中的可见数据的offset。大概你需要知道这几点：
solve 2021-01-212021-01-21 06:20:25
node.js、kafka
Flink系列——感性认识
老板都是复制整个工厂的整体把控的，一般不亲自动手，只需要管好工厂的车间组长就可以了。 JobManager 则是负责整个集群的资源管理与任务管理， ...
solve 2020-07-282020-07-28 15:47:37
flink、大数据
SparkSQL技巧——如何识别SQL语句和执行一个SQL文件
SparkSQL好像没有提供相关的Api，至少我是没有找到。于是我自己写了一个.... 代码很简单，如下：
solve 2020-07-152020-07-15 16:14:50
网络安全、sql、spark、数据库
SparkStreaming On Kafka —— Offset 管理
我之前有写一篇kafka Consumer — offset的控制如果你对于这方面的知识还不太清楚，建议你去看一下，毕竟理解了Kafka的消费者， ...
solve 2020-03-242020-03-24 17:11:49
kafka
Crontab 设置的时间有时区差
问题描述 crontab中设置每天12:00启动任务，结果发现每天20:00才启动。问题分析明显是时区不一致造成的，所以需要从时区设置入手解决方案 ...
solve 2020-03-202020-03-20 10:19:05
bash、bash 指令
大数据OLAP框架对比
以上是在大数据处理方面常用的四种技术原理，上面这些处理数据的方式极大程度的提高了单位时间内数据处理的能力，但是其还是没有摆脱数据量和查询时间的线性关系。...
solve 2020-03-202020-03-20 10:18:08
sql、数据库、数据处理、hive、存储
架构杂记
根据目前的情况看起来，国内普遍对于flink比较看好，从实际情况来看，flink也是以后的发展方向，但是目前Spark的活跃程度远高于Flink，很...
solve 2020-02-252020-02-25 17:02:51
spark、sql、api、hadoop、kafka
Redis 持久化方式——RDB
Redis持久化数据的两种方式之一，另外一种是AOF。 Redis会定期保存数据快照至一个rbd文件中，并在启动时自动加载rdb文件，恢复之前保存...
solve 2020-02-132020-02-13 00:01:16
云数据库 Redis、unix
Spark系列——从 cartesian 带你看点不一样的 Shuffle
这只是一个人随意的一些分享，你大概可以放宽心的当休闲的东西来看，看完你大概也许会对Spark会有一些不一样的想法。
solve 2020-02-112020-02-11 16:45:28
spark
Spark源码 —— 从 SparkSubmit 到 Driver启动
本文主要是以笔记的整理方式写的，仅以分享的方式供你阅读，如有不对的地方欢迎指点错误。读完本文可以学到：当你用 shell 命令执行 spark-...
solve 2020-01-152020-01-15 17:05:16
spark
Spark VS MapReduce 浅谈
计算的速度是取决于计算机本身的计算能力的。并且目前来看，所有的计算机计算都是基于内存的（如果有不是的，请原谅我的孤陋寡闻...），也就是说 MR 和 S...
solve 2019-12-262019-12-26 17:33:56
spark、缓存
kafka Consumer — offset的控制
在N久之前，曾写过kafka 生产者使用详解，今天补上关于 offset 相关的内容。那么本文主要涉及：
solve 2019-12-162019-12-16 17:33:25
kafka、javascript、node.js
Kafka —— 如何保证消息不会丢失
当我们通过 send(msg, callback) 是不是就意味着消息一定不丢失了呢？
solve 2019-11-262019-11-26 18:21:46
kafka
Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
GROUPING SETS, GROUPING__ID, CUBE, ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度...
solve 2019-11-102019-11-10 16:01:32
hive、javascript、打包、rollup.js
Hive 修复分区 MSCK REPAIR TABLE
MSCK REPAIR TABLE命令主要是用来：解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问...
solve 2019-11-102019-11-10 16:01:08
hive、大数据
Hadoop面试复习系列——HDFS（一）
转载自： https://cloud.tencent.com/developer/article/1031641 https://my.oschina.ne...
solve 2019-10-302019-10-30 21:23:57
node.js、大数据、编程算法、文件存储、存储
Kafka 重平衡全流程解析
本文来自极客时间 Kafka核心技术与实战这段时间有看极客时间的这个课程, 这里仅以分享的角度来做个笔记。那么本文将涉及到以下几个知识点：
solve 2019-10-302019-10-30 20:15:06
kafka
Kafka 为什么快？
本文只想从作者本身的认识来谈谈 kafka 为什么会这么快？我们都知道 kafka 是基于磁盘的，但是他的存储和读取速度确是非常的快的。阅读本文前，...
solve 2019-10-302019-10-30 20:02:15
kafka、存储、缓存

12 3 4 下一页

个人简介

inveno | 大数据开发工程师
inveno ｜大数据开发工程师 (已认证)
暂未填写个人简介
spark kafka 推荐系统 hadoop
湖南农大 | 动科
暂未填写个人网址
广东省 | 深圳市
加入社区时间：2019-01-15

个人成就

获得 138 次赞同
文章被阅读 90K 次

关注了：1关注者：24

solve

全部文章

奇怪的知识

Kafka 保证分区有序

Kafka 水位详解

Flink系列——感性认识

SparkSQL技巧——如何识别SQL语句和执行一个SQL文件

SparkStreaming On Kafka —— Offset 管理

Crontab 设置的时间有时区差

大数据OLAP框架对比

架构杂记

Redis 持久化方式——RDB

Spark系列——从 cartesian 带你看点不一样的 Shuffle

Spark源码 —— 从 SparkSubmit 到 Driver启动

Spark VS MapReduce 浅谈

kafka Consumer — offset的控制

Kafka —— 如何保证消息不会丢失

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

Hive 修复分区 MSCK REPAIR TABLE

Hadoop面试复习系列——HDFS（一）

Kafka 重平衡全流程解析

Kafka 为什么快？

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

solve

奇怪的知识

Kafka 保证分区有序

Kafka 水位详解

Flink系列——感性认识

SparkSQL技巧——如何识别SQL语句 和 执行一个SQL文件

SparkStreaming On Kafka —— Offset 管理

Crontab 设置的时间有时区差

大数据OLAP框架对比

架构杂记

Redis 持久化方式——RDB

Spark系列——从 cartesian 带你看点不一样的 Shuffle

Spark源码 —— 从 SparkSubmit 到 Driver启动

Spark VS MapReduce 浅谈

kafka Consumer — offset的控制

Kafka —— 如何保证消息不会丢失

Hive 多分组函数GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

Hive 修复分区 MSCK REPAIR TABLE

Hadoop面试复习系列——HDFS（一）

Kafka 重平衡 全流程解析

Kafka 为什么快？

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

SparkSQL技巧——如何识别SQL语句和执行一个SQL文件

Kafka 重平衡全流程解析