1回答
在ApacheSpark1.X中，有一个名为：的"spark.broadcast.factory"，您可以在其中选择一个广播工厂。这个设置在ApacheSpark2.x中似乎不再受支持(不在中)。谁能控制ApacheSpark2.x中的广播工厂呢？默认的广播工厂是什么？它曾经是TorrentBroadcastFactory。
浏览 0提问于2019-07-19得票数 0
回答已采纳
1回答
尝试在Mac上安装Spark和相关程序，但在测试安装时收到错误消息。
/Users/somedirectory/apachespark/spark-2.3.0-bin-hadoop2.7/bin/pyspark /Users/somedirectory/apachespark/spark-2.3.0-bin-hadoop2.7/bin/spark-class:第71行: /Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home//bin/java:没有这样的文件或目录
从我的bash_profile条目...
导出JAVA
浏览 2提问于2018-10-12得票数 0
我的设置：
火花版本3.1.2
hadoop版本3.2 (为ApacheHadoop3.2及更高版本预先构建)
scala版本2.12.10
java版本1.8
将ApacheSpark存档文件安装到C：\Users\动漫\ApacheSpark\ Spark。
SPARK_HOME C：\用户\动画\ApacheSpark\spark
HADOOP_HOME C：\User\动画\ApacheSpark\hadoop
将Hadoop.dll和winutils.exe从复制到%HADOOP_HOME%/bin
我正在从命令行开始运行以下几行代码作为示例，从C开始：\Users\动画\Apach
浏览 2提问于2021-07-26得票数 0
在哪种部署模式下我们可以而不是向ApacheSpark2.3.1中的集群添加节点/工作人员
1.火花独立2. Mode 3. 3.Kubernetes 4.纱线5.局部模式
我已经在我的机器上安装了ApacheSpark2.3.1，并在本地模式下运行了它
在本地模式中，我们可以在Apache中添加节点/工作人员吗？
浏览 0提问于2018-09-27得票数 1
回答已采纳
寻找ApacheSpark2.0.0 Docker映像，可以从任何公共回购中提取，支持集群。
浏览 1提问于2016-08-05得票数 0
1回答
火花-卡桑德拉专家:ApacheSpark1.4会在Datastax安装中与ApacheCassandra3.0一起工作吗？我们正在考虑将DSE 4.8 (星火1.4和Cassandra 2.1)迁移到DSE 5.0 (Spark 1.6和Cassandra 3.0)的几种选择。一种选择是将Cassandra集群更新为DSE 5.0，并将星火集群保留在DSE 4.8上。这意味着我们必须让ApacheSpark1.4与ApacheCassandra3.0一起工作。我们使用版本1.4 (DSE4.8)和1.6(DSE5.0)。是否有人尝试使用星火1.4 (DSE 4.8)和Cassandra 3.
浏览 0提问于2018-11-07得票数 1
回答已采纳
如何在CassandraDB中处理连接查询？有没有一种方法可以在不使用ApacheSpark或DataStax ODBC连接器的情况下完成这些任务？谢谢!
浏览 14提问于2017-01-19得票数 0
在java星火中使用.crc方法时，是否有任何可以关闭生成saveAsHadoopFile文件的配置？
我使用ApacheSpark1.6.2并以独立模式运行我的应用程序。
浏览 1提问于2016-08-26得票数 1
回答已采纳
如何做一个增量序列与java在Apache-Spark2.x DataFrame \ TempTable。
换句话说，ApacheSpark中的monotonically_increasing_id()函数是什么？>>Sql->Java>Java
浏览 1提问于2017-08-08得票数 0
回答已采纳
我想使用Spark3.3.0的版本特性，比如在scala中的AWS 3.0中的Trigger.availableNow，但是AWS 3.0使用ApacheSparkVersion3.1.1，有什么方法可以在scala的AWS 3.0中使用ApacheSpark3.3.0。
浏览 6提问于2022-06-25得票数 0
回答已采纳
我不能访问databricks文件系统中的文件。Databricks运行时版本11.1 (包括ApacheSpark3.3.0，Scala2.12)我在文件路径中有多个csv文件，如folder1 1/folder1 2/ledger1.csv
浏览 6提问于2022-07-31得票数 0
在ApacheSpark网站上，它说要绘制一个盒子，我需要做
df = ps.DataFrame(data, columns=list('ABCD'))
类似地，对于直方图，它说我需要做
df = ps.from_pandas(df)
df.plot.hist(bins=12, alpha=0.5)
但是当我输入ps时，它会返回一个错误。那么ps是什么？
浏览 4提问于2022-11-25得票数 0
从HDFS序列文件中生成键值对的最佳方法是什么？我要问的原因是，我必须对序列文件进行排序。sortByKey方法不可用，除非您的RDD以键值对的形式存在。我正在使用ApacheSpark1.0.2和HDFS 2.5.0。
浏览 2提问于2014-10-02得票数 2
回答已采纳
请帮助我理解以下内容
配置ApacheSpark2.x的堆外存储有哪些步骤？
是否可以将Alluxio配置为2.0中的堆外存储？它从2.x开始就被移除了吗？
在动态分配中，根据需要随机添加和删除执行程序，离堆是如何工作的？
浏览 0提问于2018-02-11得票数 0
嗨，我不能在databricks上安装tigerstats软件包。下面是我的R代码。
devtools::install_github("homerhanumat/tigerstats")
但是我得到了以下错误
我的databricks运行时版本是"10.0 (包括ApacheSpark3.2.0，Scala2.12)“
浏览 4提问于2021-12-06得票数 2
回答已采纳
1回答
我正在把postgreSQL转换成DataBrick ApacheSpark，
postgresql进程使用以下sql函数从X和Y值获取地图上的点。ST_Transform(ST_SetSrid(ST_MakePoint(x，y),4326),3857)
有人知道我如何在SparkSQL o数据库中实现同样的逻辑吗？
浏览 1提问于2021-08-31得票数 1
回答已采纳
我正在使用ApacheSpark1.1.0，目前我对广播方法有问题。因此，当我将一个小数据集上的广播函数调用到一个5节点集群时，在多次广播变量(在jboss下运行的应用程序)之后，我会遇到“错误发送消息，因为driverActor为null”。
任何帮助都会很感激的。
浏览 0提问于2015-01-22得票数 2
回答已采纳
问题
我试图将数据帧保存为Databricks上的拼图文件，以获得ArrowTypeError。
数据库运行时版本:7.6ML(包括ApacheSpark3.0.1，Scala2.12)
原木痕迹
ArrowTypeError: ('Did not pass numpy.dtype object', 'Conversion failed for column inv_yr with type int32')
浏览 1提问于2021-05-12得票数 10
回答已采纳
1回答
我已经在Anaconda ( Macbook中的@ OS )上安装了ApacheSpark和Pyspark，也没有安装Hadoop！。但是，pyspark命令无法在终端中工作，因此出现了以下错误：
/Library/Frameworks/Python.framework/Versions/3.8/bin/pyspark:第24行: /usr/local/lib/python3.8/site-packages/pyspark/bin/load-spark-env.sh:没有这样的文件或目录
/Library/Frameworks/Python.framework/Versions/3.8/bi
浏览 3提问于2020-02-01得票数 0
我在Scala中使用ApacheSpark2.0。
当我导出软件包并试图从cmd运行它时，我发现了一些问题，我认为这些问题与火花库有关。
如何将这个库包含在jar文件中？
我如何在这个包中运行一个应用程序？
浏览 4提问于2016-11-19得票数 2
回答已采纳
抱歉，同样的问题。我看到这么多的帖子是为了舞台的失败。但所有这些都无法解决我的问题。.While I正在运行commandDriver: Standard_D12_v2，Workers: Standard_D12_v2，2-8 workers，10.4LTS(包括ApacheSpark3.2.1，Scala2.12)，但它正在抛出错误。org.apache.spark.SparkException:作业中止了。
浏览 2提问于2022-09-01得票数 0
我是Apache的新手，我必须为ApacheSpark.中的合并编写java代码。
SparkConf conf = new SparkConf().setMaster("local").setAppName("Merge Sort App");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaRDD<Integer> input = sc.parallelize(a); // where a is list of Integers
我已经完成了在javaRDD<Integer&
浏览 0提问于2016-12-05得票数 1
我试图在Windows 8上构建ApacheSpark1.1.0。
我已经安装了所有先决条件(除了Hadoop)，并在根目录中运行了sbt/sbt assembly。在下载了许多文件之后，我在行后得到了一个错误：
Set current project to root <in build file:C:/.../spark-0.9.0-incubating/>". The error is:
[error] Not a valid command: /
[error] /sbt
[error] ^
如何在Windows上建立星火？
浏览 12提问于2014-09-16得票数 3
1回答
我已经安装了ApacheSpark2.3.1，需要检查哪个脚本是有效的
问题：
1.如何监视Apache脚本的执行？
2.这些脚本中哪一个是有效的？
rdd = sc.textFile("Readme.txt")
1：
rdd.flatMap(x => x.split(" ")).countByValue()
2：
words = rdd.flatMap(lambda x: x.split(" "))
result = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
浏览 2提问于2018-09-26得票数 0
回答已采纳
1回答
在中， 0.5.2是针对受支持的ApacheSpark1.4.1.1版本特别编译的。Spark作业将从Cassandra读取数据，并将汇总数据写入同一密钥空间中的另一个表中。
星火作业伺服器中是否有任何功能可安排作业在每小时后自动执行？
浏览 4提问于2016-05-22得票数 2
回答已采纳
因此，我在不同的ubuntu机器上安装了ApacheSpark2.4.4 Kafka_2.12-2.4.0和。我想从诸如IOT设备上获取所有数据，输入卡夫卡，然后使用火花流，进入火花。我想用蟒蛇来做这一切。根据这个链接：，因为我的Kafka版本超过0.10，所以我不能使用python，因为没有为python显示的示例。是这种情况吗？或者是否有可能只使用python进行集成？
浏览 1提问于2020-01-27得票数 0
回答已采纳
1回答
我在一台机器上设置了一个ApacheSpark1.6.1独立集群，其规范如下：
CPU:内核i7-4790 (#内核: 4，#线程: 8)
RAM: 16 RAM
我没有设置任何内容，所以Spark可以采用默认值，对于内核来说，默认值是“所有可用的核心”，基于此，问题是：
为什么星火探测到8个核心，而我只有4个？
浏览 4提问于2016-06-04得票数 0
回答已采纳
1回答
MLlib和火花放电特性
、、、
我想使用来自areaUnderROC的MLlib中的ApacheSpark。我目前运行的是Spark1.1.0，这个函数在pyspark中不可用，但在scala中是可用的。
是否有跟踪Scala到Python的移植进度的功能跟踪器？
我试图在官方的jira中搜索，但找不到任何与此相对应的票号。
浏览 4提问于2014-10-16得票数 1
我已经在azure databricks上配置了一个集群，它使用的版本是: 6.4 (包括ApacheSpark2.4.5，Scala2.11)。这个版本被认为是不可取的。这个集群被配置为在启动时运行2个脚本，并且一切都正常工作。
我需要配置相同的集群，但是在另一个蔚蓝的环境中，我创建了一切，就像另一个运行时版本一样，但是由于这个运行时版本被废弃了，所以我用“新”版本6.4 Extended (包括ApacheSpark2.4.5，Scala2.11)对其进行了配置。使用这个运行时更改，当运行init脚本时，我会得到一个启动集群的错误。
文件"dbfs:/FileStore/tabl
浏览 2提问于2021-12-22得票数 0
我使用客户端部署模式在独立模式下运行ApacheSpark2.1.1。我想禁用主和所有工作人员的Spark。
引用：，并用于$spark_HOME/ conf /spark defaults.conf中的conf后面：
spark.ui.showConsoleProgress=false
spark.ui.enabled=false
spark.ui.killEnabled=false
然而，我仍然可以看到默认端口8080的web (用于Spark，8081用于火花工人)。我在所有的工作节点中都有相同的配置。
浏览 1提问于2018-03-08得票数 4
我想配置zeppeline spark解释器。我想通过我的zeppelin ui解释器传递--conf "spark.cassandra.connection.host=<ip>" --conf "spark.cassandra.input.split.size_in_mb=32" and --jars $(echo /home/sysadmin/ApacheSpark/jar/*.jar | tr ' ' ',')选项来触发提交。
我怎么才能通过它们呢？由于我有许多cassandra机器，我想创建多个spark解释器
浏览 5提问于2015-12-26得票数 3
我正在尝试将net.liftweb:lift-json_2.13:3.4.1安装到Databricks集群中(ApacheSpark2.4.4，Scala2.11)
但是，我得到了以下错误：
java.lang.RuntimeException: unresolved dependency: net.liftweb:lift:1.2.1: not found
当我试图安装net.liftweb:lift:1.2.1时，我得到了以下错误：
Maven Dependencies not found: unresolved dependency: net.liftweb:lift:1.2.1: no
浏览 5提问于2020-01-30得票数 0
回答已采纳
1回答
我正在尝试使用cloudbreak在aws上设置自动标度集群。
我按照下面的链接设置cloudbreak、ambari和HDP。
我使用了社区云击图像(ami-82324cf8- US East (N.Virginia))。我的云中断版本是2.2.0。
我正在使用内置蓝图的副本(数据科学:ApacheSpark2.1，Apache 0.7.0)
现在，我的问题是在cloudbreak中看不到自动标号选项，在操作下可以手动调整集群的大小，但是在任何地方都看不到任何自动标号选项。
浏览 3提问于2018-02-21得票数 1
回答已采纳
我不能在下面的课上泡菜。我使用的是数据块6.5ML(包括ApacheSpark2.4.5，Scala2.11)
import pickle
class Person:
def __init__(self, name, age):
self.name = name
self.age = age
p1 = Person("John", 36)
pickle.dump(p1,open('d.pkl','wb'))```
PicklingError: Can't pickle <class '__main__.
浏览 0提问于2020-05-14得票数 1
3回答
卡桑德拉表格分析方法？
、、、、
我需要对C*表中的一个相对较大的分区进行实时过滤和排序，C*表~20亿行，每个行有100多个列。应该可以对列的任何组合进行筛选和排序。我们尝试了Apache (DataStax Enterprise4.8)来完成这类工作，但面临着接下来的问题：
在频繁和批量更新数据时，Solr索引的工作效率很低。
有时候Solr只是不重建索引(等了几个小时)
Solr只能用CL=ONE读取，因此数据可能不一致。
所以现在我们寻找另一种方法。我们现在正在尝试ApacheSpark1.4。但是看起来排序性能并不令人满意--在两个bln行(我们的目标~1-2秒)大约1.5分钟。也许我们做错了什么
浏览 0提问于2016-05-24得票数 0
我有一个具有字符串类型的列的DataFrame，这个字符串是一个JSON格式，我想根据这个JSON格式将这个列转换成多个列。如果我有JSON模式，我可以这样做，但我没有它。
示例
原始Dataframe：
---------------------
| json_string|
---------------------
|{"a":2,"b":"hello"}|
| {"a":1,"b":"hi"}|
---------------------
转换后/分析
----------
浏览 1提问于2018-05-08得票数 4
回答已采纳
我是编程新手，现在正在用Python学习ApacheSpark，我得到了一个错误，我找不出我做错了什么。我的代码如下：
from pyspark.mllib.linalg import DenseVector
numpyVector = np.array([-3, -4, 5])
print '\nnumpyVector:\n{0}'.format(numpyVector)
# Create a DenseVector consisting of the values [3.0, 4.0, 5.0]
myDenseVector = DenseVector([3.0,4.0,
浏览 0提问于2015-07-01得票数 1
2回答
我已经下载了ApacheSpark1.6.0/1.6.1的预编译版本，并且当我尝试这样做时
scala> val data = sqlContext.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")
在我的火花壳里，我得到了
java.lang.ClassNotFoundException:未能为数据源加载类: libsvm
。
我做了一个堆栈流搜索，我看到了这个链接，它表明它应该与1.6一起工作，但不知怎么它对我无效，我需要做什么才能使它工作呢？
浏览 0提问于2016-05-22得票数 0
2回答
有人能用@ApacheSpark进行空间操作吗？例如，包含线段的两个集合的交集？
我想交叉两条线。
下面是一个一维示例：
这两组是：
A= {(1,4)，(5,9)，(10,17)，(18,20)}
B= {(2,5)，(6,9)，(10,15)，(16,20)}
结果相交是：(A，B) = {(1,1)，(2,4)，(5,5)，(6,9)，(10,15)，(16,17)，(18,20)} }
还有几个细节：
谢谢。
浏览 2提问于2014-07-30得票数 1
回答已采纳
1回答
阿帕奇火花断路器
、、
在Hadoop纱线集群中使用ApacheSpark1.6.2。
有些(简单的)查询会消耗大量的资源，我看到我们的开发人员使用1tofile运行SELECT * FROM DB！因此，它需要很长的时间，并“阻塞”所有纱线资源片刻(大部分时间后，几个小时后)。
我想知道是否有可能限制星火在纱线集群中运行所消耗的时间/资源：
限制持续时间
限制混乱(缓存)磁盘空间
限制每个查询(或每个用户)的CPU时间
(不知道“断路器”是不是个好词，我从elasticsearch那里学到的)
浏览 1提问于2018-01-29得票数 1
1回答
我在Java中使用ApacheSpark1.6.2。
我有一个DataFrame，它包含：
creation_date字段中的日期，
close_date字段中的结束日期。
如果业务未关闭，则close_date中的值为null。
我想：
在我的DataFrame中添加一个名为last_date_business的额外列
用close_date的值填充它
如果close_date为null，则使用current_date()
我可以让斯派克来做吗?还是我应该手动做？
浏览 2提问于2016-07-08得票数 1
回答已采纳
1回答
我想知道生态系统的各个Hadoop组件是否有一个兼容性矩阵？
每次Hadoop升级都有很大的兼容性影响，例如：
ApacheSpark2.4不支持Hadoop v3，
Hadoop不支持Java 9和10，
等等..。
我知道像Hortonworks这样的供应商会发布每个版本的组件列表，但这并不是针对广大公众的，因为这包括了修补的组件。
我们是否需要查看Jira的所有bug跟踪器，才能找到兼容性问题？
浏览 0提问于2019-04-09得票数 5
我计划从Hortonworks数据平台升级到HDP 3.0。但是，ApacheSpark2.3.x及其与Hadoop3.0的集成中似乎存在一些主要的bug，这些问题在Apache问题中仍未解决。尽管星火开发团队正在努力解决这些问题。这些问题是由Hortonworks团队解决的，还是在HDP 3.0中仍然存在？
关于我的用例的一些未解决的问题：
Spark不适用于Hadoop3.0
Kerberos票证更新在Hadoop 3 中失败
在Hadoop 3 上运行火花
浏览 1提问于2018-10-25得票数 2
回答已采纳
我需要从一个Hive表中加载一个数据文件，为此，我遵循了ApacheSpark2.3docs()的指示。我是用齐柏林飞艇笔记本做的。
有人能解释一下如何使用SparkR创建数据吗？或者我做错了什么？任何回答都是非常感谢的。
文档
查询可以用HiveQL表示。results <- sql("FROM src SELECT key, value")
我的代码：
sp_df <- sql("SELECT * FROM sparkr_test")
我代码的结果：
head(sp_df) [1] “SELECT * FROM sparkr_test”
浏览 0提问于2018-03-12得票数 0
回答已采纳
我有一个Web，它使用Postgres作为后端数据库。目前的数据并没有那么大。但最终它将增长，并将拥有大数据。
是否有可能将当前数据库-- Postgres迁移到ApacheSpark作为更快访问数据的后端？
，例如，，我可以使用Spark来访问数据，这样我就不必修改代码了。
还有其他解决方案可以让我更快地从数据库中访问数据吗？
如有任何帮助或建议，将不胜感激。谢谢。
浏览 0提问于2016-09-03得票数 0
这是我第一次在项目中使用Scala和ApacheSpark。当我在终端中运行代码时，我试图打印矩阵的内容，但到目前为止，我尝试的任何东西都不起作用。
相反，我只打印了以下内容：
org.apache.spark.mllib.linalg.distributed.MatrixEntry;@71870da7
org.apache.spark.mllib.linalg.distributed.CoordinateMatrix@1dcca8d3
我只使用println()，但当我使用collect()时，也不会产生好的结果。
浏览 0提问于2016-05-30得票数 3
1回答
我使用了Java的API，即ApacheSpark1.2.0，并创建了两个解析向量，如下所示。
Vector v1 = Vectors.sparse(3, new int[]{0, 2}, new double[]{1.0, 3.0});
Vector v2 = Vectors.sparse(2, new int[]{0, 1}, new double[]{4,5});
如何获得一个新的向量v3，它是由v1和v2组合而成的，所以结果应该是：(5, [0,2,3,4],[1.0, 3.0, 4.0, 5.0])
浏览 3提问于2015-04-07得票数 3
回答已采纳
1回答
我一直在研究ApacheSpark2.0，并试图使用Spark处理文本文件中的一些数据。数据的结构如下
1
鲍勃
伦敦
2014年
2
罗伯特
巴黎
2016年
3.
相同的
罗马
2011年
如何在这样的数据模式上运行SparkSQL查询。
我还意识到spark提供了各种读取数据源的选项。
spark.read.
csv，jdbc，load，选项，拼花，桌子，textFile
格式，json，选项，orc，模式，文本
有人能被使用吗？
浏览 5提问于2016-08-30得票数 0
回答已采纳
我使用的是Spark3.1.1，它使用Scala2.12，从下载的预构建Livy使用Scala2.11(可以在解压缩后找到名为repl_2.11-jars/的文件夹)。
参考Aliaksandr Sasnouskikh制作的，Livy需要重建，否则即使在后会话中也会抛出错误{'msg': 'requirement failed: Cannot find Livy REPL jars.'}。
在中，它提到：
默认情况下，Livy是针对ApacheSpark2.4.5构建的。
如果我想重建Livy，我如何才能改变它构建的火花版本？
提前谢谢。
浏览 20提问于2021-04-14得票数 3
回答已采纳
我刚刚开始研究Azure数据砖。
在运行已经创建的Python时，我遇到了一些错误。
这里是代码：
import mmlspark
from mmlspark import *
lime = TabularLIME()\
.setModel(randomForestModel)\
.setPredictionCol("predict")\
.setOutputCol("weights")\
.setInputCol("feat")
lime_model = lime.fit(eng_train_pipe)
lime_model.
浏览 2提问于2020-08-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
