2回答
关于在Amazon上部署EC2集群的所有文档都与Linux环境相关。但是，目前我的分布式项目依赖于某些Windows功能，我希望在进行必要更改的同时开始使用Windows集群。我想知道是否有任何方法可以使我们能够在EC2上以相对类似于Spark提供的spark-ec2脚本的方式部署Windows集群。
浏览 6提问于2015-01-09得票数 1
回答已采纳
2回答
当试图从使用启动的Spark集群中读取快速压缩序列文件时，我收到以下警告：
java.lang.RuntimeException: native snappy library not available
浏览 3提问于2015-09-28得票数 4
回答已采纳
我有一个简单的spark应用程序，它在使用spark-submit的笔记本电脑上运行得很好。然而，当我在亚马逊EC2集群上使用spark-submit运行它时，我得到了这个运行时错误：
$ /root/spark/bin/spark-submit --class application.Example--master spark://ec2-54-227-170-20.compute-1.amazonaws.com:7077 &
浏览 2提问于2016-09-27得票数 1
Spark是由Scala开发的。从理论上讲，需要安装Scala。但是，spark部署不需要安装Scala。为什么？
浏览 0提问于2020-11-29得票数 1
django with spark on local machine (windows) 现在，我想使用spark在大数据规模上做到这一点。使用django作为后端框架处理请求，使用spark进行处理和建模 Django+pyspark on local machine (windows) and spark on remote cluster我设置了一个django项目，并在一个由两台linux机器和hdfs组成的集群上设置了spark。我使用pyspark创建了一个到linu
浏览 115提问于2019-06-25得票数 0
但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。假设我不能在每个工作人员的同一路径上安装火花到主站，我如何才能让主程序识别不同的工作路径？
编辑#1 Hmm，找到了，强烈建议这是当前的实现--假设所有员工的$SPARK_HOME都是相同的。
浏览 0提问于2014-06-24得票数 2
1回答
( 2)为了使Mobius工作，必须在我的windows机器上安装SOLR和MUST吗？我能从Windows SPARK和Mobius连接到CASSANDRA (Ubuntu机器)吗？3)当我运行命令“CSharpBackendPortNumber，sparkclr submit.cmd调试”以获得“load-spark-env.cmd”的值时，我将得到一个“load-spark-env.cmd
浏览 6提问于2016-08-01得票数 0
回答已采纳
我有一个星星之火应用程序，希望将它部署到Kubernetes集群上。按照下面的文档，我成功地创建了一个空的Kubernetes集群，使用kubernetes/dockerfiles/spark/Dockerfile下提供的kubernetes/dockerfiles/spark/Dockerfile生成了对接映像，并在Dev环境中使用spark-submit将其部署到集群中。并且必须提供pod配置文件才能被部署。
我相信您可以将
浏览 7提问于2022-10-27得票数 0
我在互联网上搜索，发现我可能需要一个集群管理器在不同的机器上运行集群，使用Apache或Spark独立。但是，我很难找到这张照片的细节。
浏览 3提问于2017-06-08得票数 5
回答已采纳
现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
1回答
我已经使用IntelliJ IDE上的Scala2.11.8在我的Windows机器上设置了Spark2.2.0。我正在尝试使用JDBC驱动程序使Spark连接到Netezza。我已经阅读了，并通过Maven将com.ibm.spark.netezzajars添加到我的项目中。{SparkSession, SQLContext}
val spark = SparkSession.builderSimpleScalaSpark.sc
浏览 4提问于2017-07-27得票数 0
回答已采纳
IBM installer for Apache Spark，在我的例子中是IBM_Spark_DK_2.1.0.0_Linux_s390x.bin，它提供了以下选项来执行安装程序(我缩短了选项列表，使其更具可读性)：
whereinterface mode for the installer
浏览 3提问于2017-02-14得票数 0
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。我想，这是因为Windows和linux用户是不同的，windows用户没有在Linux中编写文件的权限。
使用spark将文件从windows存储到HDFS (linux )的正
浏览 1提问于2018-09-16得票数 0
回答已采纳
2回答
我正在尝试安装一个内核，它能够执行星星之火，并遇到Toree。我安装了toree，当我运行内核列表时它会出现。我按照下面的页面进行安装：对如何在木星上得到火花笔记本有什么想法吗？
我知道这里没有太多的信息，如果需要更多的话。让我知道。
浏览 0提问于2016-03-29得票数 7
我用Click设置了一个集群来部署
我想使用spark 1.4，但是我得到spark 1.1.0，谁知道是否可以用spark 1.4来建立集群呢？
浏览 0提问于2015-07-04得票数 0
回答已采纳
但现在有人告诉我，HADOOP Yarn本身不能做任何事情，需要其他东西，如mapreduce、spark和hbase。
如果这是正确的，那么这是否意味着Yarn只能运行有限的任务？
浏览 0提问于2020-02-05得票数 0
我需要在我的笔记本电脑上安装spark 1.0.0，它有64位操作系统Windows8，java(java版本"1.7.0_25")。我下载了"spark-1.0.0-bin-hadoop2“。但是我不知道如何安装spark 1.0.0。我也在谷歌上搜索了一下，但是我找不到。那么，您能告诉我在Windows8操作系统上的安装步骤，以及在这个过程中还需要什么其他东西吗？
浏览 2提问于2014-07-08得票数 1
3回答
我正在尝试学习星火，以下是一些类似于使用pyspark的hello-word级示例。我得到了一个“方法isBarrier([])不存在”错误，完全错误包含在代码下面。 sc = SparkContext('local[6]', 'pySpark_pyCharm') rdd.collect()
rdd.c
浏览 0提问于2019-03-04得票数 7
回答已采纳
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
