UFO

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

LV0

关注了用户 2019-11-052019-11-05 11:55:18

腾讯云自媒体分享计划
腾讯 · 产品运营 (已认证)

申请条件：至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答5.9K 关注者

订阅了专栏 2019-11-052019-11-05 11:55:18

腾讯云自媒体分享计划

3 文章5.8K 订阅数

发表了文章 2018-12-282018-12-28 12:19:28

基于SparkSQL实现的一套即席查询服务

支持的数据源：hdfs、hive、hbase、kafka、mysql、es、mongo

UFO 2018-12-282018-12-28 12:19:28

sql

发表了文章 2018-09-042018-09-04 15:45:39

[spark] RDD缓存源码解析

我们可以利用不同的存储级别存储每一个被持久化的RDD。可以存储在内存中，也可以序列化后存储在磁盘上等方式。Spark也会自动持久化一些shuffle操作（如re...

UFO 2018-09-042018-09-04 15:45:39

spark

发表了文章 2018-09-042018-09-04 15:45:26

[spark] TaskScheduler 任务提交与调度源码解析

在DAGScheduler划分为Stage并以TaskSet的形式提交给TaskScheduler后，再由TaskScheduler通过TaskSetMagag...

UFO 2018-09-042018-09-04 15:45:26

spark

发表了文章 2018-09-042018-09-04 15:45:14

[spark] 数据本地化及延迟调度

Spark数据本地化即移动计算而不是移动数据，而现实又是残酷的，不是想要在数据块的地方计算就有足够的资源提供，为了让task能尽可能的以最优本地化级别（Loca...

UFO 2018-09-042018-09-04 15:45:14

spark

发表了文章 2018-09-042018-09-04 15:45:00

[spark] DAGScheduler划分stage源码解析

Spark Application只有遇到action操作时才会真正的提交任务并进行计算，DAGScheduler 会根据各个RDD之间的依赖关系形成一个DAG...

UFO 2018-09-042018-09-04 15:45:00

spark

发表了文章 2018-09-042018-09-04 15:44:38

[spark] Task执行流程

在文章TaskScheduler 任务提交与调度源码解析中介绍了Task在executor上的逻辑分配，调用TaskSchedulerImpl的resourc...

UFO 2018-09-042018-09-04 15:44:38

spark

发表了文章 2018-09-042018-09-04 15:44:23

[spark] DAGScheduler 提交stage源码解析

DAGScheduler在划分完Stage后([spark] DAGScheduler划分stage源码解析 )，将会通过submitStage(finalSt...

UFO 2018-09-042018-09-04 15:44:23

spark

发表了文章 2018-09-042018-09-04 11:52:03

自动化管理工具Rundeck

Rundeck(http://rundeck.org)是开源软件，可以帮助你自动化管理日常操作程序，Rundeck提供了许多特性，将缓解耗时的繁重任务。Rund...

UFO 2018-09-042018-09-04 11:52:03

jar、java

发表了文章 2018-09-042018-09-04 11:51:31

[spark] RDD解析

每个具体的RDD都得实现compute 方法，该方法接受的参数之一是一个Partition 对象，目的是计算该分区中的数据。我们通过map方法来看具体的实现...

UFO 2018-09-042018-09-04 11:51:31

spark、数据库

发表了文章 2018-09-042018-09-04 11:51:12

爬虫框架Scrapy（例子）前言安装实战

最近看到一篇非常不错的关于新词发现的论文--互联网时代的社会语言学：基于SNS的文本数据挖掘，迫不及待的想小试牛刀。得先有语料啊……

UFO 2018-09-042018-09-04 11:51:12

数据库

发表了文章 2018-09-042018-09-04 11:50:53

Spark Streaming管理Kafka偏移量前言从ZK获取offset

为了让Spark Streaming消费kafka的数据不丢数据，可以创建Kafka Direct DStream，由Spark Streaming自己管理of...

UFO 2018-09-042018-09-04 11:50:53

zookeeper、spark、存储、kafka

发表了文章 2018-09-042018-09-04 11:50:37

Elasticsearch5.6搭建及拼音中文混合搜索实现

功能分布式的搜索引擎和数据分析引擎全文检索，结构化检索，数据分析对海量数据进行近实时的处理环境搭建从官网下载压缩包 elasticsearch-5.6...

UFO 2018-09-042018-09-04 11:50:37

Elasticsearch Service、https、github、node.js、网络安全

发表了文章 2018-09-042018-09-04 11:50:16

SparkSQL常用操作

5、测试dataframe的read和save方法（注意load方法默认是加载parquet文件）

UFO 2018-09-042018-09-04 11:50:16

spark、大数据、编程算法、jdbc

发表了文章 2018-08-292018-08-29 17:46:27

[spark] spark推测式执行

推测任务是指对于一个Stage里面拖后腿的Task，会在其他节点的Executor上再次启动这个task，如果其中一个Task实例运行成功则将这个最先完成的Ta...

UFO 2018-08-292018-08-29 17:46:26

其他

发表了文章 2018-08-292018-08-29 17:46:12

[spark] 调度模式（FIFO&FAIR）

spark应用程序的调度体现在两个地方，第一个是Yarn对spark应用间的调度，第二个是spark应用内（同一个SparkContext）的多个TaskSet...

UFO 2018-08-292018-08-29 17:46:12

其他

发表了文章 2018-08-292018-08-29 17:43:00

[spark] Checkpoint 源码解析

在spark应用程序中，常常会遇到运算量很大经过很复杂的 Transformation才能得到的RDD即Lineage链较长、宽依赖的RDD，此时我们可以考虑将...

UFO 2018-08-292018-08-29 17:43:00

spark、云数据库 SQL Server

发表了文章 2018-08-292018-08-29 17:42:26

[spark] Task成功执行的结果处理

在文章Task执行流程中介绍了task是怎么被分配到executor上执行的，本文讲解task成功执行时将结果返回给driver的处理流程。

UFO 2018-08-292018-08-29 17:42:26

其他

发表了文章 2018-08-292018-08-29 17:42:09

[spark streaming] DStream 和 DStreamGraph 解析

Spark Streaming 是基于Spark Core将流式计算分解成一系列的小批处理任务来执行。

UFO 2018-08-292018-08-29 17:42:09

spark

12 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
sql 人工智能 yarn api 云数据库 SQL Server
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2018-08-14

个人成就

获得 78 次赞同
文章被阅读 48.2K 次

关注了：1关注者：18

UFO

腾讯云自媒体分享计划
腾讯 · 产品运营 (已认证)

腾讯云自媒体分享计划

基于SparkSQL实现的一套即席查询服务

[spark] RDD缓存源码解析

[spark] TaskScheduler 任务提交与调度源码解析

[spark] 数据本地化及延迟调度

[spark] DAGScheduler划分stage源码解析

[spark] Task执行流程

[spark] DAGScheduler 提交stage源码解析

自动化管理工具Rundeck

[spark] RDD解析

爬虫框架Scrapy（例子）前言安装实战

Spark Streaming管理Kafka偏移量前言从ZK获取offset

Elasticsearch5.6搭建及拼音中文混合搜索实现

SparkSQL常用操作

[spark] spark推测式执行

[spark] 调度模式（FIFO&FAIR）

[spark] Checkpoint 源码解析

[spark] Task成功执行的结果处理

[spark streaming] DStream 和 DStreamGraph 解析

个人简介

个人成就

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

UFO

腾讯云自媒体分享计划腾讯 · 产品运营 (已认证)

腾讯云自媒体分享计划

基于SparkSQL实现的一套即席查询服务

[spark] RDD缓存源码解析

[spark] TaskScheduler 任务提交与调度源码解析

[spark] 数据本地化及延迟调度

[spark] DAGScheduler划分stage源码解析

[spark] Task执行流程

[spark] DAGScheduler 提交stage源码解析

自动化管理工具Rundeck

[spark] RDD解析

爬虫框架Scrapy（例子）前言安装实战

Spark Streaming管理Kafka偏移量前言从ZK获取offset

Elasticsearch5.6搭建及拼音中文混合搜索实现

SparkSQL常用操作

[spark] spark推测式执行

[spark] 调度模式（FIFO&FAIR）

[spark] Checkpoint 源码解析

[spark] Task成功执行的结果处理

[spark streaming] DStream 和 DStreamGraph 解析

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

腾讯云自媒体分享计划
腾讯 · 产品运营 (已认证)