谁能让我知道如何从本地提交spark Job并连接到Cassandra集群。目前，我正在通过putty登录到Cassandra节点后提交Spark作业，并提交以下dse-spark-submit job命令。命令：dse spark-submit --class ***** --total-e
浏览 8提问于2016-12-23得票数 0
2回答
我使用Cassandra编写了以下代码：cqlContext: org.apache.spark.sql.cassandra.CassandraSQLContext = org.apache.spark.sql.cassandra.CassandraSQLContext(CassandraCatalog
浏览 0提问于2016-06-27得票数 1
我有一个Cassandra集群，它有一个位于同一位置的星火集群，我可以通过编译它们、复制它们并使用./ Spark submit脚本来运行通常的星火作业。我编写了一个小作业，它接受SQL作为命令行参数，将它作为Spark提交给Spark，Spark针对Cassandra运行该SQL，并将输出写入csv文件。现在，我觉得我在兜圈子，试图找出是否可以在JDBC连接中通过Spark直接查询<em
浏览 4提问于2015-12-10得票数 1
回答已采纳
1回答
如何为spark-cassandra-connector版本2.0.7设置下列属性
将spark.cassan
浏览 0提问于2019-06-13得票数 2
我想我还没有完全理解星火是如何运作的。我在独立模式下运行一个星火库集群。我用了四台机器:一台是大师，另外三台是工人。我编写了一个从Cassandra集群读取数据的应用程序(请参阅)。
三个节点的Cassandra集群运行在同样承载火花工作节点的机器上。这背后的原因是，我想优化数据局部性--当在集群上运行我的Spark应用程序时，每个工作人员只需要与其本地的Cassandra节点对话
浏览 2提问于2015-11-24得票数 6
回答已采纳
我有一个由4个DSE 4.6节点组成的集群，其中Cassandra/Spark处于独立模式，提交一个作业来spark或从其中一个集群节点打开spark shell就可以了。我现在想要做的是能够从不属于集群的机器上打开spark shell，所以我在一台新机器上安装了DSE，但是当我尝试运行
$ SPARK_MASTER=spark://MASTER_N
浏览 0提问于2015-01-11得票数 0
SnappyData v.0-5 at org.apache.spark.ui.JettyUtils$$anonfun$4.apply(JettyUtils.scala$.startJettyServer(JettyUtils.scala:234)
at org.apache.spark.ui.WebUI.bind(WebUI.
浏览 6提问于2016-08-06得票数 1
我配置了我的Spark集群，通过使用Datastax中的spark-cassandra-connector连接到Amazon Keyspace。我正在使用Pyspark从Cassandra获取数据。我可以成功连接到Keyspace/Cassandra集群。但是，当我试图从它获取数据时。df = spark.sql("SELECT * FROM cass.tuto
浏览 62提问于2021-07-08得票数 1
集群的资源(pyspark和spark_sklearn库)。我设法设置了一个spark集群，其中有一个master和2个worker。下面的代码运行与前面相同的任务，但是使用spark集群资源。") sc_conf.set('spark.cores.max', &#
浏览 0提问于2019-11-07得票数 0
我在这里发现了一个类似的问题：我的应用程序在Windows上。("Cassandra App")当我使用local[*]而
浏览 3提问于2017-04-26得票数 0
回答已采纳
1回答
安装了本地版本的Spark，运行了几个东西，挺开心的。现在我正在尝试使用RStudio服务器和独立版本的Spark从集群中读取我的实际数据。数据在Cassandra中，我不知道如何连接到它。有谁能告诉我如何连接和读取这些数据的好入门吗？
浏览 0提问于2017-09-15得票数 0
1回答
我有一个4节点星火独立集群，它上运行一个火花流作业。当我提交每个执行者都有7个核心的作业时，一切都很顺利：当我将每个执行器增加到24个内核时，所有批处理都不会被处理，并且我看到java.lang.OutOfMemoryError:无法在executor日志中创建新的本机线程。}:70
浏览 0提问于2017-01-12得票数 1
1回答
如何处理依赖关系在(交互式) sparkR作业的情况下？但是我需要一些外部包，例如连接到数据库(Mongo，Cassandra)或读取csv文件。在本地模式下，我可以很容易地在启动时指定这些包。这在已经运行的
浏览 4提问于2016-04-07得票数 0
回答已采纳
2回答
我有一个DSE集群，集群中的每个节点都在运行spark和Cassandra。
当我从Cassandra加载数据到spark rdd并在Rdd上执行一些操作时，我知道数据将分布到多个节点中。在我的例子中，我想把这些rdds从每个节点直接写到它的本地Cassandra dB表中，有没有办法做到这一点。如果我执行普通的rdd收集，来自spark节点的所有数据将被合并，并返回到带有驱动程序
浏览 3提问于2020-10-20得票数 1
我在两个节点上有一个cassandra集群。在第3个节点上，我安装了OpsCenter并尝试连接到现有的cassandra集群，问题是当我尝试从OpsCenter连接时，它会抛出下一个：node2: 172.16.8.233Node3(不在cassandra集群中)：172.16.8.231
Error creating cluster: Unable to connect to cluste
浏览 17提问于2016-09-22得票数 0
回答已采纳
我使用Eclipse IDE，将来自spark的所有jars添加到我的项目中，作为“添加外部jars"，使用spark-cassandra连接器。使用独立集群。://192.168.0.1:7077").setAppName("test").set("spark.cassandra.connection.host","192.168.0.2")
val sc不仅仅是cassandr
浏览 0提问于2017-03-21得票数 0
2回答
from pyspark import SparkContext, SparkConfrdd.map(lambda x: x**2).collect()
当我们在本地和我们现在要启动一个emr集群并测试相同的代码。似乎火花公子不能连接到em
浏览 3提问于2019-12-11得票数 3
我正在尝试连接我的Cassandra驻留在Windows中，但是在本地命令窗口上执行命令cqlsh时。Last error: No connection could be made because the target machine actively refused it")})
我能够将这个cassandra集群从我的云平台“Databricks”连接到它使用Spark的公共ip，但是在本地系统上它正在抛出错误。
浏览 0提问于2020-01-29得票数 0
回答已采纳
我有两个集群，一个在本地虚拟机中，另一个在远程云中。这两个集群都处于独立模式。:火花://现场1:7077
在本地(我的笔记本上)在IntelliJ IDEA中编写代码(只是简单的字数)，并将Spark也就是说，我不想使用spark-submit提交作业。当我使用本地集群时，一切都
浏览 2提问于2015-11-09得票数 7
从几个星期以来，我试图通过远程访问或连接到纱线集群的pyspark来提交python脚本。
我对HADOOP世界很陌生。我想要的是在外部HADOOP集群上的本地shell中提交火花脚本。我的情况:外部hadoop纱线集群。可以进入重要的港口。我有Windows 7 64位/Python2.7.9 64位/Spark1.4.1。HADOOP集群运行时没有任何问题。我的问题是:通过HADOOP
浏览 2提问于2015-08-21得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
