当我试图从Zepplein 0.8.2运行Spark解释器时,我收到了这个错误消息
java.lang.IllegalArgumentException: localRepoPath should have a value
at org.apache.commons.lang.Validate.notNull(Validate.java:192)
at org.apache.zeppelin.dep.Booter.newRepositorySystemSession(Booter.java:43)
简单命令
print(sc)
例外来源:
我的家乡:
echo $ZEPPELI
我想在Spark集群的Zeppelin上运行一个scala代码。
例如:这是进入hdfs Spark“HelloWorldScala.scala”的代码:
object HelloWorldScala{
def main (arg: Array[String]): Unit = {
val conf = new SparkConf().setAppName("myApp_Enrico")
val spark = SparkSession.builder.config(conf).getOrCreate()
val aList = List(1,2,3,4,5,6,7,
我在我的zeppelin笔记本上写了这个简单的代码
import org.apache.spark.sql.SQLContext
val sqlConext = new SQLContext(sc)
val df = sqlContext.read.format("csv").option("header", "true").load("hdfs:///user/admin/foo/2018.csv")
df.printSchema()
早些时候,它无法找到spark-csv。因此,我将其作为依赖项添加到spark1和spark2
我尝试使用Hive和Zeppelin请求Hive数据库,但我得到了以下错误:
SemanticException Unable to fetch table table_name. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby
我得到两个namenode :A和B,当A处于活动状态,B处于状态状态时,我可以在没有问题的情况下请求我的表。
hdfs haadmin -ge
我在运行在AWS上的Ubuntu实例上安装了Apache和Zeppelin。齐柏林飞艇启动良好,当我检查状态时,它是可以的:
sudo ./bin/zeppelin-daemon.sh status
Zeppelin is running [ OK ]
但是我不能使用"ip地址“:8090来查看齐柏林飞艇的网页和创建笔记本。我使用的IP地址是AWS提供的公共地址(我在zeppelin-site.xml中将端口更改为8090 )。
我应该更改zeppelin-site.xml中的服务器地址吗?
我需要安装齐柏林飞艇在码头,而不使用内置映像,因为它的巨大规模(以gb)。我想从二进制文件中安装齐柏林飞艇,例如zeppelin-0.8.2-bin-netinst.tgz (只有火花解释器~ 318 mb)
我的文件
FROM openjdk:8
RUN wget -O /tmp/zeppelin-0.8.2-bin-netinst.tgz https://mirror.downloadvn.com/apache/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-netinst.tgz
RUN tar -xvzf /tmp/zeppelin-0.8.2-b
尝试使用zeppelin笔记本在HDFS上使用Openpyxl将数据帧写入excel工作簿。
我的代码如下:
with pd.ExcelWriter('hdfs:///ip/docs/excel_files/ds.xlsx', engine="openpyxl", mode="w") as writer:
df.to_excel(writer, sheet_name='Sheet3')
错误是-
Fail to execute line 2: df.to_excel(writer, sheet_name=
我已经安装了Zeppelin 0.7.1。当我尝试执行示例spark程序(在Zeppelin Tutorial notebook中提供)时,我得到了以下错误
java.lang.NullPointerException
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
at org.apache.zeppelin.spark.SparkInterpreter.create
我使用Zeppelin 0.7.2,出于测试目的创建了一个自己的“解释器”,用于使用jdbc直接查询sql数据库。如果我在zeppelin中使用sql query select col from table,检查散点图视图,或者从内置视图下载csv文件格式的数据,我只能得到大约7.800行。解释器配置了common.max_count=1000000000和zeppelin.interpreter.output.limit=102400
如果我在sql客户端上使用相同的查询,我会得到大约22.000行。
所以我想知道为什么会有不同。