在zeppelin 0.8 + spark中读取csv文件
在zeppelin 0.8 + spark中读取csv文件，可以通过以下步骤完成：
- 导入所需的库和模块：
- 导入所需的库和模块：
- 创建SparkSession对象：
- 创建SparkSession对象：
- 使用SparkSession的read方法读取csv文件并创建DataFrame：
- 使用SparkSession的read方法读取csv文件并创建DataFrame：
- 查看DataFrame的内容：
- 查看DataFrame的内容：
以上是一个基本的示例，假设你已经安装了Spark和Zeppelin，并且在Zeppelin中创建了一个Scala的Notebook。
关于zeppelin、spark和csv文件的更多信息，可以参考以下链接：
相关·内容
我正在尝试使用spark读取zeppelin笔记中的csv文件，如下所示(我还尝试了使用\或//对路径使用多种语法)： 下面是我的代码： %sparktry {
//val df = <e
浏览 18提问于2020-07-23得票数 1
回答已采纳
由于1.2版本中的一些问题，我在1.3版本中开始创建google dataproc实例。Zeppelin应该是“0.8版”，因为"dataproc 1.3版“安装了spark 2.3。我可以将“在0.73版本中创建的zeppelin json文件”导出到0.8。它不会像预期的那样抛出错误。但是如果我在zeppelin 0.8中<
浏览 5提问于2018-07-19得票数 0
我正试图用齐柏林飞艇( Zeppelin )在我的笔记本电脑上使用apache 编写火花代码。除了从本地磁盘读取文件外，一切正常工作，例如，当我尝试将csv文件读入Spark我得到以下错误：
org.apache.
浏览 0提问于2018-11-16得票数 0
回答已采纳
我有一个python包，其中包含许多内置于.egg文件中的模块，我想在齐柏林飞艇笔记本中使用它。为了将这个包传递给zeppelin spark解释器，您可以通过conf/ zeppelin -env.sh中SPARK_SUBMIT_OPTIONS中的--files选项将其导出。当我通过SPARK_SUBMIT_OPTIONS中的-- .egg选项添加文件时，zeppelin</em
浏览 1提问于2017-02-03得票数 0
我在我的zeppelin笔记本上写了这个简单的代码val sqlConext = new SQLContext(sc)早些时候，它无法找到spark-csv。因此，我将其作为依赖项添加到spark1和spark2解释器中。$1.run(FIFOScheduler.java:139)
这个文件只有300行。我有一个4
浏览 93提问于2018-05-29得票数 0
回答已采纳
1回答
我正在尝试使用Spark解释器通过Zeppelin访问HDFS数据。下面是我的代码： s(5).replaceAll("\"", "").toInt).toDF()
浏览 22提问于2018-08-20得票数 0
我想阅读齐柏林飞艇中的csv文件，并希望使用databricks的spark包：spark-shell --packages com.databricks:spark-csv
浏览 12提问于2015-10-06得票数 11
回答已采纳
这是/etc/zeppelin/conf/zeppelin-env.sh文件中的默认值。conf spark.yarn.isPython=true --jars /usr/local/mysql-connector-java-5.1.48.jar,/usr/local/spark-csv-- name: Comment out spark submit
浏览 16提问于2021-03-05得票数 0
回答已采纳
然后，我希望使用来自另一个容器的齐柏林飞艇( Zeppelin )向该集群提交作业。问题是，当我试图运行齐柏林飞艇的任何东西时，我得到了一个例外：
java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-settingfor non-local mode, if you specify it in zeppelin-env.sh, please move that into interpreter setting如何在齐柏林飞艇容器中设
浏览 6提问于2019-08-21得票数 1
我正在配置Zeppelin 0.8在Kubernetes上运行，我的spark集群在相同的名称空间中。问题是，当我在spark解释器设置中提到spark master时，我的代码因错误而停止工作， java.lang.RuntimeException: SPARK_HOME is not specifiedin interpreter-setting for non-local mode, if you specify it in <
浏览 15提问于2020-09-11得票数 1
回答已采纳
1回答
我目前正在使用ApacheZeppelin0.8。我尝试过像这样加载一个csv文件：我也尝试过这样做：
val df = <
浏览 0提问于2018-07-05得票数 11
1回答
我有一个python包，它包含许多模块，内置到一个.egg文件中，我想在zeppelin笔记本中使用这个包。Acc到齐柏林文档，要将此包传递给齐柏林星火解释器，您可以通过conf/zeppelin-env.sh中的SPARK_SUBMIT_OPTIONS中的--file选项导出它。我对此有以下问题：
在pyspark中，与-py- file一起提供的.egg文件正在工作(例如，我能够在
浏览 3提问于2017-01-31得票数 7
1回答
我正在使用Zeppelin-Sandbox 0.5.6和Spark 1.6.1在Amazon EMR上。我正在读取位于csv上的s3文件。问题是，有时我在读取文件时出错。我的代码中没有任何变化。我无法恢复它，也无法判断它何时发生。/maven")使用spark
浏览 1提问于2016-06-21得票数 0
1回答
最近，依赖项已经从工作表迁移到解释器，如下所示：
当调用星火上下文时会产生错误：
或者另一个叫做java.lang.NoSuchMethodError我删除了jackson库，但没有任何结果：rm -f zeppelin-zengine/target/lib/jackson-*
并试图将com.fasterxml.jackson.core上传
浏览 1提问于2016-03-10得票数 0
回答已采纳
我正在尝试在Docker上使用Zeppelin设置Spark开发环境，但我在连接Zeppelin和Spark容器时遇到了问题。/data - "8081-8100:8081-8100"
image: apache/zeppelin:0.8.0 - 8080:8080
浏览 3提问于2019-08-24得票数 2
我在Zeppelin中运行这段代码，得到以下错误信息from pyspark.sql import HiveContext
sc =
浏览 0提问于2016-11-29得票数 2
zeppelin: container_name: zeppelin # - spark-masterports:如果我访问齐柏林飞艇(在localhost:8083)并执行spark.version，它仍然将版本读取为2.4.5。
浏览 1提问于2021-06-28得票数 2
回答已采纳
齐柏林飞艇有一个对象ZeppelinContext，它可以用来在语言之间共享状态，并将变量绑定到角度，从而在齐柏林笔记本中创建凉爽的用户界面。我们希望将这些方法添加到一个sbt项目中，这样我们就可以将它们打包到一个jar中，但是Zeppelin项目似乎没有提供包含ZeppelinContext的工件(我们已经尝试过很多)。
浏览 7提问于2016-09-13得票数 0
回答已采纳
文件导入数据文件： .option('delimiter/output_got.csv')from pyspark.sql.types import StringTypeTra
浏览 1提问于2017-04-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
