spark / java上的UnixTime - 腾讯云开发者社区

文章/答案/技术大牛

发布

Shark，Spark SQL，Spark上的Hive以及Apache Spark上的SQL的未来

随着Spark SQL和Apache Spark effort（HIVE-7292）上新Hive的引入，我们被问到了很多关于我们在这两个项目中的地位以及它们与Shark的关系。...SQLon Spark的未来 Shark 当Shark项目在3年前开始时，Hive（在MapReduce上）是SQL on Hadoop的唯一选择。...Shark的想法很快被接受，甚至启发了加速Hive的一些主要工作。从Shark到Spark SQL Shark构建在Hive代码库上，并通过交换Hive的物理执行引擎部分来实现性能提升。...正是由于这个原因，我们正在结束Shark作为一个单独的项目的开发，并将所有的开发资源移动到Spark的一个新组件Spark SQL上。...我们很高兴与Hive社区合作并提供支持，为最终用户提供流畅的体验。总之，我们坚信Spark SQL不仅是SQL的未来，而且还是在Spark上的结构化数据处理的未来。

1.9K2 0

Spark源码分析之Spark Shell（上）

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。...Spark-shell是提供给用户即时交互的一个命令窗口，你可以在里面编写spark代码，然后根据你的命令立即进行运算。.../bin/spark-shell [options]" # SPARK-4161: scala does not assume use of the java classpath, # so we need...SPARK_SUBMIT_OPTS="$SPARK_SUBMIT_OPTS -Dscala.usejavacp=true" 因为scala默认不会使用java classpath，因此这里需要手动设置一下...，让scala使用java。

1.5K10 0

您找到你想要的搜索结果了吗？

是的

没有找到

Spark学习之在集群上运行Spark（6）

Spark学习之在集群上运行Spark（6） 1. Spark的一个优点在于可以通过增加机器数量并使用集群模式运行，来扩展程序的计算能力。 2....Spark既能适用于专用集群，也可以适用于共享的云计算环境。 3....Spark在分布式环境中的架构： [图片] Spark集群采用的是主/从结构，驱动器（Driver）节点和所有执行器（executor）节点一起被称为一个Spark应用（application）。...Spark自带的集群管理器被称为独立集群管理器。 4. 驱动器节点 Spark的驱动器是执行程序main()方法的进程。...执行器节点 Spark的执行器节点是一种工作进程，负责在Spark作业中运行任务，任务间相互独立。

83010 0

让Spark运行在YARN上（Spark on YARN）

另外，YARN作为通用的资源调度平台，除了为Spark提供调度服务外，还可以为其他子系统（比如Hadoop MapReduce、Hive）提供调度，这样由YARN来统一为集群上的所有计算负载分配资源，可以避免资源分配的混乱无序...经过上述的部署，Spark可以很方便地访问HDFS上的文件，而且Spark程序在计算时，也会让计算尽可能地在数据所在的节点上进行，节省移动数据导致的网络IO开销。...Spark程序由Master还是YARN来调度执行，是由Spark程序在提交时决定的。以计算圆周率Pi的示例程序为例，Spark程序的提交方式是： $ ....YARN会先在集群的某个节点上为Spark程序启动一个称作Master的进程，然后Driver程序会运行在这个Master进程内部，由这个Master进程来启动Driver程序，客户端完成提交的步骤后就可以退出...在yarn-cluster模式下，Driver进程在集群中的某个节点上运行，基本不占用本地资源。

4.4K4 0

Spark 内存管理的前世今生（上）

欢迎关注我的微信公众号：FunnyBigData 作为打着 “内存计算” 旗号出道的 Spark，内存管理是其非常重要的模块。...本文之所以取名为 "Spark 内存管理的前世今生" 是因为在 Spark 1.6 中引入了新的内存管理方案，而在之前一直使用旧方案。...管理的内存系统预留的大小为：1 - spark.storage.memoryFraction - spark.shuffle.memoryFraction，默认为 0.2。...这是因为，这本来就是属于 execution 的内存并且通过踢除来实现归还实现上也不复杂一个 task 能使用多少 execution 内存？...这样做是为了使得每个 task 使用的内存都能维持在 1/2*numActiveTasks ~ 1/numActiveTasks 范围内，使得在整体上能保持各个 task 资源占用比较均衡并且一定程度上允许需要更多资源的

1.5K2 0

Spark 在Yarn上运行Spark应用程序

ApplicationMasters 消除了对活跃客户端的依赖：启动应用程序的进程可以终止，并且从在集群上由 YARN 管理的进程继续协作运行。...有关指定部署模式的选项，请参阅spark-submit选项。...1.1 Cluster部署模式在 Cluster 模式下，Spark Driver 在集群主机上的 ApplicationMaster 上运行，它负责向 YARN 申请资源，并监督作业的运行状况。...需要用户输入的 Spark 应用程序（如spark-shell和pyspark）需要 Spark Driver 在启动 Spark 应用程序的 Client 进程内运行。...在YARN上运行Spark Shell应用程序要在 YARN 上运行 spark-shell 或 pyspark 客户端，请在启动应用程序时使用 --master yarn --deploy-mode

2.6K1 0

Spark 核心 RDD 剖析（上）

本文将通过描述 Spark RDD 的五大核心要素来描述 RDD，若希望更全面了解 RDD 的知识，请移步 RDD 论文：RDD：基于内存的集群计算容错抽象 Spark 的五大核心要素包括： partition...举个例子，我们把 HDFS 上10G 的文件加载到 RDD 做处理时，并不会消耗10G 的空间，如果没有 shuffle 操作（shuffle 操作会持有较多数据在内存），那么这个操作的内存消耗是非常小的...这也是初学者常有的理解误区，一定要注意 Spark 是基于内存的计算，但不会傻到什么时候都把所有数据全放到内存。...partition 类 UnionPartition 提供了获取依赖的父 partition 及获取优先位置的方法 private[spark] class UnionPartition[T: ClassTag...RangePartitioner采用水塘抽样算法，比 HashPartitioner 耗时，具体可见：Spark分区器HashPartitioner和RangePartitioner代码详解 ----

4642 0

Spark Spark {{JAVA_HOME}}找不到

在 Yarn 上使用 Spark，以 cluster 模式运行： sudo -uxiaosi spark-submit \ --class com.sjf.example.sql.SparkHiveExample...executor-memory 12g \ --num-executors 20 \ --executor-cores 2 \ --queue xiaosi \ --conf spark.driver.extraJavaOptions...而且 ApplicationMaster 所在机器的日志里面有下面的信息提示： /bin/bash: {{JAVA_HOME}}/bin/java: No such file or directory...发现换一台机器提交作业就没有问题，怀疑是版本的问题，经过对比，原来是我编译Spark所使用的Hadoop版本和线上Hadoop版本不一致导致的，当前使用Hadoop版本是2.7，而线上是使用的2.2。...后来使用线上Hadoop版本重新编译了Spark，这个问题就解决了。

1.2K2 0

PageRank算法在spark上的简单实现

https://blog.csdn.net/wzy0623/article/details/51383232 在《Spark快速大数据分析》里有一段不明觉厉的...一、实验环境 spark 1.5.0 二、PageRank算法简介（摘自《Spark快速大数据分析》） PageRank是执行多次连接的一个迭代算法，因此它是RDD分区操作的一个很好的用例...在Spark中编写PageRank的主体相当简单：首先对当前的ranksRDD和静态的linkRDD进行一次join()操作，来获取每个页面ID对应的相邻页面列表和当前的排序值，然后使用flatMap创建出...实际上，linksRDD的字节数一般来说也会比ranks大得多，毕竟它包含每个页面的相邻页面列表（由页面ID组成），而不仅仅是一个Double值，因此这一优化相比PageRank的原始实现（例如普通的MapReduce...scala这语言是真的很简洁，大数据上的通用示例程序wordcount，用scala写一行搞定，如下图所示： var input = sc.textFile("/NOTICE.txt") input.flatMap

1.8K2 0

Spark读取和存储HDFS上的数据

本篇来介绍一下通过Spark来读取和HDFS上的数据，主要包含四方面的内容：将RDD写入HDFS、读取HDFS上的文件、将HDFS上的文件添加到Driver、判断HDFS上文件路径是否存在。...本文的代码均在本地测试通过，实用的环境时MAC上安装的Spark本地环境。...可以看到RDD在HDFS上是分块存储的，由于我们只有一个分区，所以只有part-0000。...3、读取HDFS上的文件读取HDFS上的文件，使用textFile方法： val modelNames2 = spark.sparkContext.textFile("hdfs://localhost...4、将HDFS上的文件添加到Driver 有时候，我们并不想直接读取HDFS上的文件，而是想对应的文件添加到Driver上，然后使用java或者Scala的I／O方法进行读取，此时使用addFile和get

19.9K3 1

Spark之Ubuntu18上安装Spark单机环境

安装JDK，步骤略， List-1 mjduan@mjduan-ubuntu:~$ java -version java version "1.8.0_111" Java(TM) SE Runtime...SPARK_HOME=/opt/software/tool/spark export PATH=$SPARK_HOME/bin:$PATH List-5 执行spark-shell可以看到命令行...Spark context Web UI available at http://192.168.43.214:4040 Spark context available as 'sc' (master...Spark session available as 'spark'....64-Bit Server VM, Java 1.8.0_111) Type in expressions to have them evaluated.

1.3K3 0

Apache Spark 内存管理详解(上)

本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。...Spark对堆内内存的管理是一种逻辑上的“规划式”的管理，因为对象实例占用内存的申请和释放都由JVM完成，Spark只能在申请后和释放前记录这些内存，我们来看其具体流程：申请内存： Spark在代码中...此外，在被Spark标记为释放的对象实例，很有可能在实际上并没有被JVM回收，导致实际可用的内存小于Spark记录的可用内存。...MemoryManager的具体实现上，Spark 1.6之后默认为统一管理（Unified Memory Manager）方式，1.6之前采用的静态管理（Static Memory Manager）方式仍被保留...值得注意的是，这个预留的保险区域仅仅是一种逻辑上的规划，在具体使用时Spark并没有区别对待，和“其它内存”一样交给了JVM去管理。

2.3K3 0

hadoop 2.4.1 上安装spark 1.1.0

checkout v1.1.0 #取出1.1.0版本的saprk 2.修改pom.xml: 2.5.0 #修改为hadoop...所使用的对应hadoop版本 3.编译: ..../make-distribution.sh --tgz --skip-java-test -Dyarn.version=2.4.1 -Dhadoop.version=2.4.1 -Pyarn #生成spark...spark chown -R spark.spark /usr/local/spark 4.添加环境变量: export SPARK_HOME=/usr/local/spark export SPARK_HOME...=$SPARK_HOME/lib/spark-assembly-1.0.2-hadoop2.4.1.jar export PATH=$SPARK_HOME/bin:$PATH 5.修改conf目录下的spark-env.sh

5152 0

Yarn上运行spark-1.6.0

Scala是一种多范式的编程语言，设计初衷是要集成纯面向对象编程和函数式编程的各种特性。运行在Java虚拟机JVM之上，兼容现有的Java程序，并可调用Java类库。...下载网址为：http://spark.apache.org/downloads.html，本文下载的是spark-1.6.0-bin-hadoop2.6.tgz，这个可以直接跑在YARN上。...但是只能在被安装的机器上运行spark，原因很简单：需要调用spark的文件。 3.3. 配置 3.3.1. ...的值为cluster，也就是只能以client模式运行在Yarn上）： ....Java开发 Spark的Java编程示例：。

1.1K1 0

一文了解 NebulaGraph 上的 Spark 项目

NebulaGraph 的三个 Spark 子项目我曾经围绕 NebulaGraph 的所有数据导入方法画过一个草图，其中已经包含了 Spark Connector，Nebula Exchange 的简单介绍...Nebula Algorithm，建立在 Nebula Spark Connector 和 GraphX 之上，也是一个Spark Lib 和 Spark 上的应用程序，它用来在 NebulaGraph...上手 Nebula Spark Connector 先决条件：假设下面的程序是在一台有互联网连接的 Linux 机器上运行的，最好是预装了 Docker 和 Docker-Compose。...，这里边我们对前边加载的图： basketballplayer 上做了顶点和边的读操作：分别调用 readVertex 和 readEdges。...再看看一些细节这个例子里，我们实际上是用 Exchange 从 CSV 文件这一其中支持的数据源中读取数据写入 NebulaGraph 集群的。

1.1K3 0

Zabbix表字段类型和value type问题

最近在帮同事搞spark streaming的监控，主要是通过解析servlet的url来获取对应的监控值。其中有部分值是和时间戳有关系的，Java的时间戳是精确到ms的，是13位。...agent的日志： 87104:20140612:063124.064 In zbx_popen() command:'Python /apps/sh/zabbix_scripts/spark/spark-monitor-streaming.py...表对应的item的值： select itemid,from_unixtime(clock),value from proxy_history where itemid='106018' order by...itemid; +--------+----------------------+----------------------+ | itemid | from_unixtime(clock) | value...为float类型时，value的字段类型是double(16,4)，即总16位，其中小数占4位，这里因为java的时间戳为13位，超过了这个限制，导致数据插入报错。

5782 0

在windows上pycharm配置spark环境

py4j Py4j可以使运行于python解释器的python程序动态的访问java虚拟机中的java对象。...Java方法可以像java对象就在python解释器里一样被调用，Java collection也可以通过标准python collection方法调用。...library for your platform... using builtin-java classes where applicable Using Spark's default log4j...profile: org/apache/spark/log4j-defaults.properties 从程序运行度方面来说，这个异常并不影响spark程序的继续执行。...理论上2.7版本可以使用在2.6版本上这里提供hadoop-3.2.1版本的这2个文件：重启电脑再次测试异常提示消失。提醒：这个异常提示并不一定是spark程序开发时才会出现。

2221 0

【Spark重点难点】SparkSQL YYDS(上)！

Spark Core和Spark SQL的关系我们可以用一句话描述这个关系: Spark SQL正是在Spark Core的执行引擎基础上针对结构化数据处理进行优化和改进。...而Spark SQL正是基于如此强大的Spark Core底层能力，形成一套独立的优化引擎系统。简单的说，Spark SQL的计算任务通过SQL的形式最终转换成了RDD的计算。...(Seq( Row("小明", 18, java.sql.Date.valueOf("1990-01-01")), Row("小芳", 20, java.sql.Date.valueOf...import spark.implicits._ val df = Seq( ("小明", 18, java.sql.Date.valueOf("1990-01-01")), ("小芳"..., 20, java.sql.Date.valueOf("1999-02-01")) ).toDF("name", "age", "birthday") df.show() 打印出来的结果为

1.2K1 0

如何在HUE上使用Spark Notebook

其中 liuyzh2.xdata是Spark2 History Server所在机器的主机名 18081端口是Spark2的spark.history.ui.port属性值 HUE是通过livy server...来连接的Spark，Spark依赖于Hive，配置如下图所示： ?...二、修改Spark配置打开ambari页面，集群安装的是Spark2服务，所以进入Spark2配置；配置选项中选择高级livy2-conf，如下图所示： ?...备注：如果不修改为false的话，在使用Notebook的Spark语言时，会报csrf的相关错误。...六、总结使用Spark Notebook需要经过如下几个步骤：修改hue的配置文件，主要修改Spark与Noytebook的相关配置项。修改Spark的配置文件，避免出现csrf错误。

4.5K3 1

Spark上的大数据平台都能做什么？

最新发布的Paxata平台将能为后端工具准备更大规模的种类更多的数据。该软件搭配无模型、内存管道处理器和基于Spark的分布式处理引擎HDFS使用。...Paxata联合创始人、副总裁Nenshad Bardoliwalla表示，软件的任务是帮助人解决难题，对数据科学家而言，我们的软件可以帮助实现前端数据准备和大数据集成。...不过Bardoliwalla也指出希望在后端的虚拟化软件有所作为，现在主要的供应商是Tableau，但产品要完善的地方还很多。...Bardoliwalla表示：“数据分析最困难的部分就是录入很多数据源。在这方面，Tableau采用了可视化的方式，而我们希望采用另一种新的方式进行数据准备。”...见36大数据：Spark上的大数据平台都能做什么？

8006 0

点击加载更多

Shark，Spark SQL，Spark上的Hive以及Apache Spark上的SQL的未来

Spark源码分析之Spark Shell（上）

Spark学习之在集群上运行Spark（6）

让Spark运行在YARN上（Spark on YARN）

Spark 内存管理的前世今生（上）

Spark 在Yarn上运行Spark应用程序

Spark 核心 RDD 剖析（上）

Spark Spark {{JAVA_HOME}}找不到

PageRank算法在spark上的简单实现

Spark读取和存储HDFS上的数据

Spark之Ubuntu18上安装Spark单机环境

Apache Spark 内存管理详解(上)

hadoop 2.4.1 上安装spark 1.1.0

Yarn上运行spark-1.6.0

一文了解 NebulaGraph 上的 Spark 项目

Zabbix表字段类型和value type问题

在windows上pycharm配置spark环境

【Spark重点难点】SparkSQL YYDS(上)！

如何在HUE上使用Spark Notebook

Spark上的大数据平台都能做什么？

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐