3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
我正在尝试使用Spark via Python在同一会话中访问(通过JDBC) PostGres数据库和MSSQL数据库。在spark-defaults.conf文件中，我可以让其中一个运行，但不能同时运行。这两个功能是独立工作的：
spa
浏览 2提问于2016-04-01得票数 10
回答已采纳
/horovod/spark copyinghorovod/spark/__init__.py -> build/lib.linux-x86_64-3.7/horovod/spark
浏览 32提问于2021-10-12得票数 1
我对Linux、Hive和Spark之间的用户帐户有一个非常有趣、棘手的问题……/usr/lib/hive/bin/beeline -u jdbc<hiveuserid>
这里不能使用</e
浏览 8提问于2015-06-09得票数 1
2回答
我可以使用控制台在linux服务器上提交spark作业。但是在linux服务器上有没有什么API或者框架可以用来提交spark作业呢？
浏览 0提问于2017-01-04得票数 0
我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /homespark-s
浏览 43提问于2017-07-14得票数 1
回答已采纳
但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。编辑#1 Hmm，找到了，强烈建议这是当前的实现--假设所有员工的$SPARK_HOME都是相同的。
浏览 0提问于2014-06-24得票数 2
我在2台机器上安装了spark 2.1.1，但是在不同的相对位置上，(在一台机器上)，我已经安装在NTFS驱动器的某个地方，而在另一台机器上，我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时，我会得到以下错误：我已经在各自的SPARK_HOME文
浏览 0提问于2017-05-20得票数 1
回答已采纳
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。我想，这是因为Windows和linux用户是不同的，windows用户没有在Linux中编写文件的权限。
使用spark将文件从windows存储到HDFS (linux )的正确方法是什么？
浏览 1提问于2018-09-16得票数 0
回答已采纳
我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从linux运行spark-submit时，类路径是这样的：
-cp '
浏览 0提问于2018-04-09得票数 0
我想使用scala示例创建我的第一个scala程序，该示例在Sparkd 1.4.1中提供。目标是连接到HBase并完成一些基本工作，例如计数行或扫描行。然而，当我试图执行程序时，我得到了一个错误。/src/main/scala/com/orange/spark/examples/HBaseTest2.scala // e.g: set i
浏览 3提问于2015-08-18得票数 2
我使用以下运行命令运行spark：但是我得到了以下初始化错误：
Using Spark's default log4j profile: org/apache/spark16&#
浏览 1提问于2016-10-01得票数 0
我是spark.Requesting的新手，来自我们信任的社区成员。spark/logs/spark--org.apache.spark.deploy.master.Master-1-e6b8f9219a40.out
failed to launch: nice -n0 /opt/spark/bin/spark-class org.apache.spark.deploy.master.Master --host
浏览 2提问于2017-06-15得票数 5
回答已采纳
如果我使用Kubernetes集群来运行星星之火，那么我将使用星火中的Kubernetes资源管理器。
如果我使用Hadoop集群运行spark，那么我将使用Spark中的Yarn资源管理器。但我的问题是，如果我在kebernetes中生成多个linux节点，并使用其中一个节点作为星星之火，使用另外三个节点作为工作人员，那么我应该使用哪个资源管理器呢？我能用那边的纱线吗？第二个问题，对于任何一个4节点的lin
浏览 5提问于2021-02-14得票数 0
回答已采纳
我想从Databricks Cluster上的Linux Machine执行spark sql命令。有什么方法可以做到这一点吗？我在一个.sql文件中设置了一组spark sql命令，并希望使用Linux Machine中的Databricks集群来执行该文件。我正在寻找类似于SQLPLUS的东西，在那里我们与DB建立连接并执行sql，以类似的方式，我们是否有任何实用程序/解决方案来在Databricks集群上执行spark sql。
浏览 30提问于2021-08-10得票数 1
1回答
PySpark安装错误
、、、、
然而，当我尝试使用终端机或jupyter笔记本的火花放电时，我总是会收到以下错误。 openjdk version "1.8.0_151" khurram@linux-0he7:~> scala -versionHadoop3.0/opt/hadoopkhurram@<em
浏览 0提问于2018-01-20得票数 2
回答已采纳
1回答
为文本找到多个源
、、、
使用spark-submit运行时的错误消息如下所示： at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$SparkSubmit在以spark-submit的形式运行时，this.source()似乎是te
浏览 14提问于2021-03-16得票数 1
回答已采纳
现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号