好的,我的色调3.8指向我的EMR集群,它主要是工作的。THe,我现在真正关心的一件事是星火笔记本
当我试图为代码片段选择一种语言时,会出现一个错误"No usable value for lang Did not find value which can be converted into java.lang.String (error 400)“,日志中这样写着:
[03/Jun/2015 11:38:59 -0700] decorators ERROR error running <function create_session at 0x7fe30acd1d70
我使用Hadoop2.2.6迷你集群(1主和3个奴隶)和Ambari 2.1.0和Hue 3.8.1,Ubuntu12.04。Spark 1.2.1 (使用Scala2.10.3)是作为Ambari设置的一部分安装的。我已经安装了Livy-Server,以便能够使用Hue中的Spark。hue.ini文件中的可信内容如下:
[spark]
# Host address of the Livy Server.
livy_server_host=host1.com
# Port of the Livy Server.
livy_server_port=8998
# Configure l
当我运行快速入门遇到错误信息
Potential misconfiguration detected. Fix and restart Hue.
Resource Manager : Failed to contact an active Resource Manager: YARN RM returned a failed response: HTTPConnectionPool(host='localhost', port=8088): Max retries exceeded with url: /ws/v1/cluster/apps?user=hue (Caused
当我按照命令运行时
hue livy_server
显示以下错误
Failed to run spark-submit executable: java.io.IOException: Cannot run program "spark-submit": error=2, No such file or directory
我已经设置了星星之家=/home/阿曼迪普/火花
在Hue中的Impala查询编辑器中,您应该能够检查查询完成。但这在某种程度上是不可靠的,因为它有时会卡住(即36%,即使查询可能正在进行),并且在这一点上您不知道查询是否已经完成。在Hue Job Browser中,我可以看到Hive ans Spark作业,但不能看到impala。在Hue的任何地方,我可以找到可靠的Impala查询完成状态进度?
当我把火花壳放在一个光洁的纱线簇上时。纱线容器立即退出,在纱线应用历史上的诊断表明:
Application application_1515782018863_0007 failed 2 times due to AM Container for appattempt_1515782018863_0007_000002 exited with exitCode: -1000
For more detailed output, check application tracking page:http://ip-172-31-11-83.us-west-2.compute.internal:80
我正试图用色调界面触发火花上的蜂巢。当从命令行运行时,作业运行得很好,但是当我试图从hue运行时,它会抛出异常。在色调方面,我主要尝试了两件事:
1)当我使用set命令给出.hql文件中的所有属性时
set spark.home=/usr/lib/spark;
set hive.execution.engine=spark;
set spark.eventLog.enabled=true;
add jar /usr/lib/spark/assembly/lib/spark-assembly-1.5.0-cdh5.5.1-hadoop2.6.0-cdh5.5.1.jar;
set spark.
最近,我们升级到Spark1.6,并尝试使用SparkQL作为Hive的默认查询引擎。使用HiveServer2在同一台机器上添加火花网关角色,并启用。但是,当我运行如下查询时:
SET hive.execution.engine=spark;
INSERT OVERWRITE DIRECTORY '/user/someuser/spark_test_job' SELECT country, COUNT(*) FROM country_date GROUP BY country;
我们看到该作业被Yarn接受,分配了资源,并且status表示它正在运行,但是它显示了10%的持
我正在尝试使用Seaborn来可视化数据。我已经在pyspark中使用SQLContext创建了一个数据帧。然而,当我调用lmplot时,它会导致一个错误。我不确定我错过了什么。下面是我的代码(我使用的是jupyter笔记本):
import pandas as pd
from matplotlib import pyplot as plt
import seaborn as sns
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.load('file://
我无法在通过jdbc执行的脚本中设置配置单元的执行引擎。当通过hue web前端执行相同的脚本时,脚本将注意到我正在尝试将执行引擎设置为spark,而不是通过jdbc List<String> result = hiveTemplate.query(script); 脚本示例 set hive.execution.engine=spark;
SELECT * from ...... 我已经尝试在类路径中执行实际的脚本,我还尝试通过jdbc发送表示sql脚本的字符串,如上所述。 我还尝试使用创建hiveTemplate的工厂类在数据源connectionProperties中包含