如何在齐柏林飞艇中使用pyspark？
齐柏林飞艇（Zeppelin）是一款开源的数据分析和可视化工具，而pyspark是Python编程语言的Spark API。在齐柏林飞艇中使用pyspark可以实现大规模数据处理和分析。
要在齐柏林飞艇中使用pyspark，需要按照以下步骤进行设置：
- 安装Spark：首先，需要在服务器上安装Spark。可以从Apache Spark官方网站下载并按照官方文档进行安装。
- 配置环境变量：在安装完成后，需要配置环境变量，将Spark的bin目录添加到系统的PATH变量中，以便可以在命令行中直接运行Spark。
- 启动齐柏林飞艇：在安装和配置完成后，可以启动齐柏林飞艇。在浏览器中输入齐柏林飞艇的地址，然后登录到齐柏林飞艇的界面。
- 创建一个新的笔记本：在齐柏林飞艇的界面上，可以创建一个新的笔记本。点击"Create new note"按钮，输入笔记本的名称，并选择使用pyspark作为解释器。
- 编写和运行代码：在创建好的笔记本中，可以编写和运行pyspark代码。在代码块中，可以使用pyspark提供的API进行数据处理和分析操作。
需要注意的是，为了在齐柏林飞艇中使用pyspark，需要确保服务器上已经正确安装了Spark，并且环境变量已经配置正确。另外，齐柏林飞艇也提供了其他解释器和插件，可以支持不同的编程语言和数据处理工具。
腾讯云提供了一系列与云计算相关的产品，例如腾讯云Spark，可以用于大规模数据处理和分析。您可以访问腾讯云官方网站了解更多关于腾讯云Spark的信息：https://cloud.tencent.com/product/spark
相关·内容
4回答
在齐柏林飞艇中，每行我都要提供每一行的解释器。有没有办法为整个会话设置解释器。花了0秒钟。
控制台:1:错误：'.将熊猫作为pd导入
花了0秒钟。
如何设置整个会话的解释器？
浏览 7提问于2015-11-20得票数 5
除了设置"zeppelin.pyspark.python“以使齐柏林飞艇解释器成为特定的Python可执行文件外，我还需要做什么？我正在使用连接到Spark+Mesos集群的Apache。齐柏林飞艇是新的，一般工作良好。
但是，我无法在应用于pyspark中的RDD的函数中导入numpy。当我使用Python子进程定位Python可执行文件时，它会显示代码是在系统的Python<e
浏览 0提问于2017-03-16得票数 4
回答已采纳
1回答
我是0.7.1中的pyspark的新用户，可以访问我的星火集群。我配置了2台机器：
齐柏林飞艇。
在齐柏林飞艇文档之后，我将spark://Machine-1:7077放在spark解释器配
浏览 3提问于2017-05-02得票数 0
回答已采纳
我试着跑：%spark.depz.load("neo4j-contrib:neo4j-spark-connector:2.2.1-M5")java.lang.NullPointerExceptionat org.apache.zeppelin.spark.dep.
浏览 1提问于2021-05-16得票数 0
大家好，import osimport pandas
import ma
浏览 2提问于2018-06-04得票数 0
回答已采纳
1回答
我试图添加火花深造(火花-深入学习) jar，但齐柏林飞艇出错了。No module named 'sparkdl'spark-deep-learning-0.1.0-spark2.1-s_2.11.jar 使用maven坐标，如下所示并尝试使用jar独立的路径。
浏览 1提问于2017-10-31得票数 2
回答已采纳
1回答
我正在尝试使用Apache上的图形框架库，并使用Spark (吡火花)解释器，但是，每当我试图使用ModuleNotFoundError: No module named 'graphframes'导入图形帧模块时我尝试在zeppelin-env.sh文件中添加--packages 'graphframes:graphframes:0.7.0-spark2.4-s_2.11'指令，尝试使用z.load('graphframes我还尝试向齐
浏览 0提问于2019-06-01得票数 2
回答已采纳
1回答
我看过一些关于如何在git中备份齐柏林飞艇项目的资源。(如)。
然而，它们都没有明确说明源代码和数据是否存储在单独的文件中，这将允许您给出数据，并且只显示对笔记本的“真实”人类可读的代码更改。我想我的问题归结为:齐柏林飞艇存储的数据与代码是分开的，还是存在某种允许它的配置？备注:我还没有尝试使用齐柏林飞艇--我只是在研究它，但我使用</e
浏览 5提问于2017-09-21得票数 0
回答已采纳
1回答
我在2.5版本下使用Hortonworks沙箱。齐柏林飞艇服务成功运行，当我创建一个齐柏林飞艇笔记本与样本数据在csv文件，例如；下面的数据列表wise；| idDallas TX |我有一个饼图，条形图，sql table.In饼图列表的状态，如TX当我点击TX值部
浏览 0提问于2017-02-21得票数 1
4回答
我想在齐柏林飞艇上使用蟒蛇。export PYTHONPATH=/home/jin/anaconda3/bin/python
export PYSPARK_PYTHON=/home/jin&#x
浏览 0提问于2017-02-23得票数 4
1回答
我试图在基于DC/OS 1.10的集群上集成齐柏林飞艇。我尝试了官方的方法
通过使用CLI和将齐柏林飞艇与马拉松-LB相结合，使齐柏林飞艇前端能够访问我们集群之外的齐柏林飞艇。此外，我还尝试在公共代理节点上运行齐柏林飞艇(所以没有使用
浏览 1提问于2017-11-07得票数 0
我使用齐柏林飞艇0.7.1和火花2.1.0。我在dataframe 'dataset‘中获得了一些数据：| index |var 1 |var 2 |var 3 || 2 | 1 | 0 | 1 |为了进行线性回归，我想把每一列都放在一个向量列中：from pyspark
浏览 2提问于2017-06-19得票数 1
回答已采纳
1回答
我能够在命令行中使用Hbase shell并打开齐柏林飞艇。我用火花测试了齐柏林飞艇，效果很好。
但是，我的问题是如何配置Hbase解释器？我试着遵循齐柏林飞艇的教程，但没有奏效。我试图通过重置解释器菜单中的解释器(如 )来解决这个问题，但这些都没有帮助。任何帮助都是非常感谢的。
浏览 1提问于2018-06-12得票数 0
回答已采纳
从齐柏林飞艇-0.7，齐柏林飞艇开始支持氦插件/软件包使用氦框架。但是，我无法在氦页面上看到任何插件(localhost:8080/#/ Helium )。根据这个，我将样例Helium.json (可在上找到)放在/local-repo/helium-注册表缓存中。但是，在此之后，我在重新启动Apache服务时获得了NPE。我已经尝试了齐柏林飞艇0
浏览 1提问于2017-06-03得票数 9
回答已采纳
我试图运行火星雨在齐柏林和python3 (3.5)对火花2.1.0。我已经在python3上启动并运行了火花放电外壳，但是切换到齐柏林飞艇，连接到同一个本地集群会得到如下结果：在zeppelin.pyspark.python中
浏览 4提问于2017-02-15得票数 5
回答已采纳
我使用脚本构建了一个独立的星火集群。java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-settingfor non-local mode, if you specify it in zeppelin-env.sh,
浏览 6提问于2019-08-21得票数 1
在k8s集群中。如何配置齐柏林飞艇来运行现有星火集群中的火花作业，而不是旋转一个新的吊舱？我已经构建了我自己的齐柏林飞艇容器，而没有经过apache/ zepp
浏览 0提问于2020-08-10得票数 1
回答已采纳
我需要使用https运行服务(齐柏林、格拉法纳等)。我已经安装了证书，并将下面的配置添加到NGINX中。
但它仍然没有工作，请让我知道，如果任何其他配置被添加。谢谢!
浏览 1提问于2018-09-07得票数 1
回答已采纳
是否有一种方法可以通过使用内置图表功能定制图表的显示方式？找到的是一些使用Javascript库的nvd3.js和HTML。
浏览 1提问于2016-08-16得票数 2
1回答
我有一个python包，它包含许多模块，内置到一个.egg文件中，我想在zeppelin笔记本中使用这个包。Acc到齐柏林文档，要将此包传递给齐柏林星火解释器，您可以通过conf/zeppelin-env.sh中的SPARK_SUBMIT_OPTIONS中的--file选项导出它。在齐柏林飞艇中的.egg中，通过-py- SPARK_SUBMIT_OPTIONS选项添加E
浏览 3提问于2017-01-31得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
