如何抑制spark中ContextHandler的日志
在Spark中，ContextHandler是Jetty服务器的一个组件，用于处理HTTP请求。如果你想抑制ContextHandler的日志输出，可以按照以下步骤进行操作：
- 配置日志级别：通过修改Spark的日志配置文件，可以设置ContextHandler的日志级别为较低的级别，如WARN或ERROR。具体的配置文件路径可能因Spark版本而异，一般可以在Spark的安装目录下的
conf文件夹中找到。找到对应的日志配置文件（如log4j.properties或log4j2.properties），在文件中找到ContextHandler相关的配置项，将其日志级别设置为较低的级别。 - 使用自定义日志配置：如果你想更精细地控制ContextHandler的日志输出，可以使用自定义的日志配置文件。首先，创建一个新的日志配置文件（如
custom-log4j.properties），在其中设置ContextHandler的日志级别为较低的级别。然后，在启动Spark应用程序时，通过命令行参数--driver-java-options指定使用自定义的日志配置文件，例如：spark-submit --driver-java-options "-Dlog4j.configuration=file:/path/to/custom-log4j.properties" your-spark-app.jar这样，Spark应用程序将使用自定义的日志配置文件，其中包含了对ContextHandler日志级别的设置。
需要注意的是，以上方法只是抑制了ContextHandler的日志输出，并不会影响其他组件的日志输出。如果你想抑制其他组件的日志输出，可以按照类似的方式进行配置。
推荐的腾讯云相关产品：腾讯云容器服务（Tencent Kubernetes Engine，TKE），它是一种高度可扩展的容器管理服务，可以帮助您轻松部署、管理和扩展容器化应用程序。TKE提供了强大的容器编排能力，支持自动伸缩、负载均衡、存储卷等功能，使您能够更好地运行和管理Spark应用程序。
更多关于腾讯云容器服务的信息，请访问：腾讯云容器服务
相关·内容
1回答
我有一个非常简单的PySpark脚本，它从S3上的一些拼图数据创建数据，然后调用count()方法并打印出记录的数量。
我在AWS EMR集群上运行脚本，并看到以下奇怪的警告信息：
17/12/04 14:20:26 WARN ServletHandler:
javax.servlet.ServletException: java.util.NoSuchElementException: None.get
at org.glassfish.jersey.servlet.WebComponent.serviceImpl(WebComponent.java:489)
at org
浏览 1提问于2017-12-04得票数 25
回答已采纳
1回答
我有一个shell脚本，它使用spark-submit启动一个spark应用程序。
今天我发现火花开始得很慢。日志如下
18/10/07 06:00:53 WARN SparkConf: In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN).
18/10/07 06:00:53 WARN SparkConf: Det
浏览 4提问于2018-10-07得票数 0
我得到了在我的程序运行时的错误使用火花提交在AWS EMR。我可以说这并不能完全阻止我的程序运行。它被困在那里10到15分钟后就开始了。任何帮助都将不胜感激。
这一问题在AWS EMR v5.9.0中没有出现，但在5.10.0和5.11.0中存在。这是一个版本问题还是一些一般性的火花问题，还是有什么不对的地方？
18/01/04 14:20:26 WARN ServletHandler:
javax.servlet.ServletException: java.util.NoSuchElementException: None.get
at org.glassfish.jersey.
浏览 3提问于2018-01-04得票数 14
1回答
我使用官方的作为测试。我成功地完成了这些步骤：
事件服务器安装在码头容器中。(成功)
配置事件数据、元数据和所有东西都存储在mysql中。(成功)
在另一个码头集装箱中培训和部署服务器。(成功)
火花独立集群安装在另一个容器中。(成功)
创建新应用程序。(成功)
导入足够的事件数据。(成功)
当我按照以下方式进行培训和部署时，就像文档所描述的一样：
pio train
pio deploy
但是，当我按照如下方式使用星火集群、培训和部署时，train是可以的(新模型已经存储在mysql中)，但deploy并不成功。
pio train -v engine.jso
浏览 1提问于2018-05-09得票数 0
回答已采纳
2回答
我正在尝试在AWS中使用hdfs测试spark 1.6。我使用的是examples文件夹中的wordcount python示例。我使用spark-submit提交作业，作业成功完成，并在控制台上打印结果。web-UI还说它已经完成了。但是，spark-submit永远不会终止。我已经验证了上下文在单词计数示例代码中也被停止了。
会出什么问题呢？
这就是我在控制台上看到的。
6-05-24 14:58:04,749 INFO [Thread-3] handler.ContextHandler (ContextHandler.java:doStop(843)) - stopped o.s.j.
浏览 0提问于2016-05-25得票数 10
在我的log4j文件中，我已经为ContextHandler添加了以下日志级别：
但是，ContextHandler stuff仍然打印日志。
log4j.logger.org.eclipse.jetty.server.handler.ContextHandler=WARN
log4j.logger.org.mortbay.jetty.handler.ContextHandler=WARN
我会问如何抑制ContextHandler日志。
浏览 4提问于2018-07-15得票数 0
我正在尝试使用scala中的Apache Spark从我的本地文件系统流式传输文件。
我在Eclipse中使用所有spark库(以及其他几个库)运行以下代码：
package com.addlesee.sparkstreaming
import org.apache.spark._
import org.apache.spark.SparkContext._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._
import org.apache.log4j.Level
浏览 19提问于2017-08-26得票数 0
回答已采纳
我能够使用python dataframe连接到Hana数据库，并且能够获得dataframe.printSchema()输出，但是如果我尝试执行像dataframe.show()这样的操作，抛出的错误(例如connection是不可序列化的)，我们如何使连接可序列化，下面是使用的代码
from pyspark.sql import SQLContext
from pyspark import SparkContext
sc = SparkContext(appName="hdfspush")
sqlctx = SQLContext(sc)
df = sqlctx.re
浏览 2提问于2015-12-11得票数 0
回答已采纳
在主机上安装了一个火花主站。火花以独立模式运行，工作人员位于不同的节点上。所有的火花基础设施都在没有码头的情况下运行。在火花主主机上有一个用于气流运行的码头容器。容器是这样启动的
docker run -d --network host -v /usr/share/javazi-1.8/:/usr/share/javazi-1.8 -v
/home/airflow/dags/:/usr/local/airflow/dags -v /home/spark-2.3.3/:/home/spark-2.3.3 -v
/usr/local/hadoop/:/usr/local/hadoop
浏览 1提问于2020-07-07得票数 0
想要将cassandra添加到spark streaming
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-streaming" % sparkVersion,
"org.apache.spark" %% "spark-streaming-kafka" % sparkVersion,
"com.datastax.cassandra" % "cassandra-driver-core" % "2.1.8"
浏览 2提问于2015-11-07得票数 2
3回答
我试图把数据从卡夫卡传递到火花流。
这就是我到现在为止所做的：
同时安装了kafka和spark
使用默认属性配置启动zookeeper
使用默认属性配置启动kafka server
启动kafka producer
启动kafka consumer
从生产者发送消息给消费者。效果很好。
写了kafka-spark.py来接收卡夫卡的信息来激发。
我试着运行./bin/spark-submit examples/src/main/python/kafka-spark.py
我犯了个错误。
kafka-spark.py -
from __future_
浏览 6提问于2016-01-18得票数 11
1回答
我试图使用scala访问表中的数据。我已经使用火花放电设置在点燃表中的数据，我可以确认它正在工作，并且已经设置好了。这是我正在使用的scala代码
import org.apache.ignite.cache.query.SqlFieldsQuery
import org.apache.ignite.configuration.CacheConfiguration
import org.apache.ignite.{Ignite, Ignition}
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.Spar
浏览 2提问于2020-05-28得票数 0
回答已采纳
2回答
我是spark的新手，正在尝试设置spark集群。我做了以下事情来设置和检查spark集群的状态，但不确定状态。
我尝试在浏览器中检查master-ip:8081 (8080,4040,4041)，但没有看到任何结果。首先，我设置并启动了hadoop集群。
JPS gives:
2436 SecondaryNameNode
2708 NodeManager
2151 NameNode
5495 Master
2252 DataNode
2606 ResourceManager
5710 Jps
问题(是否有必要启动hadoop?)
在Master /usr/local/spa
浏览 3提问于2017-01-11得票数 0
我正在尝试用Spark连接到Hive。当我在Hive中通过Spark运行任何查询时，它返回异常，如下所示：
16/10/06 09:37:56 ERROR metastore.RetryingHMSHandler: AlreadyExistsException(message:Database default already exists)
我的版本是：
火花2.0.0
蜂巢1.0.0
这里是我的完整堆栈：
16/10/06 09:37:56 ERROR metastore.RetryingHMSHandler: AlreadyExistsException(message:Database
浏览 1提问于2016-10-06得票数 1
有没有办法在virtualenv中运行spark-submit (从HDP3.1.0开始的spark v2.3.2 )？在virtualenv中有使用python3 (和一些特定库) python文件的情况(以便将库版本与系统的其余部分隔离)。我想用/bin/spark-submit运行这个文件，但尝试这样做时，我得到... [me@airflowetl tests]$ source ../venv/bin/activate; /bin/spark-submit sparksubmit.test.py
File "/bin/hdp-select", line 255
浏览 98提问于2019-12-13得票数 1
回答已采纳
1回答
我正在尝试从我的hdfs读取数据，位置也提到了。但是我没有得到数据，因为它显示了一些ConnectionException。
我也附上了日志文件。hadoop的端口号是多少？我们应该跟踪到50070吗？
import org.apache.spark.SparkContext;
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.
浏览 1提问于2018-09-17得票数 1
我刚刚在Ubuntu 14上构建了一个spark 2.0单节点集群，正在尝试提交一个pyspark作业：
~/spark/spark-2.0.0$ bin/spark-submit --driver-memory 1024m --executor-memory 1024m --executor-cores 1 --master spark://ip-10-180-191-14:7077 examples/src/main/python/pi.py
spark给了我这样的信息：
WARN TaskSchedulerImpl: Initial job has not accepted any r
浏览 20提问于2016-07-28得票数 1
回答已采纳
1回答
你好，当我试图在支持向量机中运行和终端中的./run-example org.apache.spark.mllib.classification.SVM local <path-to-dir>/sample_svm_data.txt 2 2.0 2时，我会收到以下错误消息。
Exception in thread "main" java.lang.NumberFormatException: For input string: "1 0 2.52078447201548 0 0 0 2.004684436494304 2.000347299268466
浏览 0提问于2013-12-13得票数 0
回答已采纳
我想在Intellij运行火花主和工作人员。我已经成功地启动了火花大师和工作人员。工人也是连接到主人没有任何问题。我可以通过查看日志和激发web来确认这一点。但是，当我尝试在这个设置上运行任何应用程序时，问题就开始了。目前，我试图在这个设置上运行火花壳，但是当它试图掌握时，我在主程序上得到了一些错误消息，在工作人员上得到了一些IlligalStateException错误消息。
主日志(成功启动)
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/09/21 16:42:
浏览 0提问于2016-09-21得票数 3
回答已采纳
我正在用一个工作人员使用Spark独立集群来尝试SimpleApp.java。但是每次改变之后，我得到的只有跟随错误
Exception in thread "main" org.apache.spark.SparkException: Job aborted: Spark cluster looks down
at org.apache.spark.scheduler.DAGScheduler$$anonfun$org$apache$spark$scheduler$DAGScheduler$$abortStage$1.apply(DAGScheduler.scala:
浏览 3提问于2016-11-18得票数 0
我得到了预置的Spark 1.4.1，我运行的是HDP 2.6。当我运行spark-shell时，它给我一个错误消息，如下所示。这是因为我缺少一个jar文件吗？
ERROR actor.OneForOneStrategy:
java.lang.NullPointerException
at org.apache.spark.deploy.client.AppClient$ClientActor$$anonfun$receiveWithLogging$1.applyOrElse(AppClient.scala:160)
at scala.runtime.AbstractPart
浏览 0提问于2015-07-24得票数 0
2回答
我已经在本地网络的三个节点中设置了。两个节点是debian服务器，我使用apt包管理器进行安装。最后一个节点是iMac，我使用.dmg包进行安装。
Node #1:
OS: Debian GNU/Linux 8.10 (jessie)
Local IP: 172.16.21.18
Datastax Enterprice: 5.1.7
Node #2:
OS: Ubuntu 16.04.3 LTS
Local IP: 172.16.21.25
Datastax Enterprice: 5.1.7
Node #1:
OS: macOS 10.13.2
Local IP: 192.168.1.1
浏览 3提问于2018-02-21得票数 1
回答已采纳
1回答
我正在尝试使用mllib中的Word2Vec，以便随后应用kmeans。我使用的是scala 2.10.5和spark 1.6.3。这是我的代码(在标记化之后)：
val word2Vec = new Word2Vec()
.setMinCount(2)
.setInputCol("FilteredFeauturesEntities")
.setOutputCol("Word2VecFeatures")
.setVectorSize(1000)
val model = word2Vec.fit(CleanedTokenizedDataFrame
浏览 22提问于2018-02-05得票数 0
回答已采纳
我有这样一个Spark查询：
SELECT
CAST(UNIX_TIMESTAMP('2015-03-29T01:11:23Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") AS TIMESTAMP) as column1,
CAST(UNIX_TIMESTAMP('2015-03-29T02:11:23Z', "yyyy-MM-dd'T'HH:mm:ss'Z'") AS TIMESTAMP) as column2
FROM ...
第一列返回好的结
浏览 0提问于2018-07-19得票数 2
回答已采纳
2回答
我的python脚本有问题。我的脚本应该把我的csv转换成一个拼花文件。但是，当我执行我的脚本时，我有以下错误：
py4j.protocol.Py4JJavaError:调用o59.csv时出错。：java.io.IOException:无FileSystem表示方案: null
什么是o59.csv？这不是我现在的档案..。
这是我的剧本
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import SparkSession
from pyspark.sql.ty
浏览 4提问于2017-08-11得票数 2
回答已采纳
1回答
我已经在我的windows 7机器(一个主节点和工作节点)上设置了一个本地星火集群。我已经创建了一个简单的scala脚本，我用sbt构建它，并尝试使用submit运行。请查找以下资源
Scala代码：
package example1
import java.io._
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions.expr
import org.apache.spark.SparkContext
impor
浏览 0提问于2019-01-03得票数 0
1回答
我有一个apache 独立集群，我希望通过IDE (Eclipse或IntelliJ)从远程计算机上运行spark的工作。当我创建一个jar文件并将其发送到主程序并使用submit运行它时，所有事情都是正常的，，但是中的，我无法运行这个作业。在输出中没有任何错误，但是我认为执行程序是反复创建和终止的，并且这个无限循环一直持续到我终止作业为止。作业产出的一部分如下所示。
所以，我的问题是什么问题，我如何解决这个问题？(群集machines=ubuntu中的OS，远程machine=Windows中的OS，所有machines=2.7.6中的Hadoop版本，machines=2.3中的spark
浏览 0提问于2018-08-29得票数 2
回答已采纳
嗯，大家好，一个任务困扰了我很长时间。我可以通过以下命令在独立模式下运行我的spark应用程序
spark-submit --master spark://fuxiuyin-virtual-machine:7077 test_app.py
但此应用程序无法通过此命令在yarn集群中运行
spark-submit --master yarn test_app.py
我认为我的纱线簇是健康的。
jps的输出是
$ jps
8289 Worker
14882 NameNode
15475 ResourceManager
8134 Master
15751 NodeManager
15063 Data
浏览 0提问于2016-10-28得票数 2
1回答
我试图使用.py从终端运行一个spark-submit file.py文件，但它不起作用。但是，如果我使用python file.py阅读它，它就能工作。
以下是错误：
2018-11-08 17:06:51 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-11-08 17:06:52 INFO SparkContext:54 - Running Spark versi
浏览 0提问于2018-11-09得票数 0
1回答
我试图制作一个scala程序来统计txt文件中的字数，并打印最终计数(在cloudera上并使用Spark)
import scala.io.Codec.string2codec
import scala.io.Source
import scala.reflect.io.File
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleWordCount {
def main(args: Arra
浏览 0提问于2018-12-04得票数 0
我正试图在服务器上运行一个火花作业。当我运行任何正常的println操作时，它不是抛出错误。我无法理解这个错误。我试图在纱线客户端模式下部署代码。许多人说过在仓库目录中使用chmod 777来禁用/启用.enableHiveSupport()，但它从未起作用。需要帮助。我已经尝试了大量的运行和部署此代码在客户端模式下，通过火花提交命令，它不工作。这段代码在Eclipse中很有魅力，但不是靠火花提交。需要帮助。谢谢。
代码：
package com.issuer.pack3.spark
import org.apache.spark.SparkConf
import org.apache.spa
浏览 1提问于2018-08-20得票数 0
我在我们的集群中运行了一个火花作业，作业运行了几分钟，然后失败了，说容器异常.I试图增加执行器和驱动程序内存，但是没有用。我一次又一次地得到同样的例外。有人能帮上忙吗。
ERROR scheduler.DAGSchedulerEventProcessLoop: DAGSchedulerEventProcessLoop failed; shutting down SparkContext java.lang.NumberFormatException: For input string: "spark.locality.wait"
17/04/17 15:07:56 INF
浏览 2提问于2017-04-17得票数 0
回答已采纳
我有一个火花作业，我正在执行使用火花-提交。每当我执行jar时，jar都会出现错误java.lang.ArrayIndexOutOfBoundsException: 1。
下面是完整的堆栈跟踪：
[hadoop@batch-cluster-master data]$ /usr/lib/spark/bin/spark-submit --master yarn --queue refault --driver-memory 12G --executor-memory 12G --executor-cores 3 --driver-cores 2 --class com.orgid.dp.batch
浏览 0提问于2016-05-17得票数 3
回答已采纳
尝试了解有关如何在Kubernetes1.9.3集群上部署作业的Spark2.3文档：
Kubernetes1.9.3集群可以在脱机裸机服务器上正常运行，并与kubeadm一起安装。以下命令用于提交作业(SparkPi示例作业)：
/opt/spark/bin/spark-submit --master k8s://https://k8s-master:6443 --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --c
浏览 6提问于2018-03-07得票数 5
嘿，我有一个简单的2节点集群，一个主节点和一个从节点(hadoop和spark)。一切正常，但由于某种原因，当我启动主spark时，我无法连接到主web ui(端口8081，我在spark-env.sh文件中显式设置了它)。
Spark Command: /usr/lib/jvm/java-8-oracle/bin/java -cp /usr/local/hive/lib/*:/usr/local/spark/conf/:/usr/local/spark/assembly/target/scala-2.11/jars/*:/usr/local/hadoop/etc/hadoop/ -Xmx1g
浏览 12提问于2016-07-23得票数 6
Hadoop: hadoop-2.6.4
火花:火花-1.6.0-bin-无-hadoop
JAVA_HOME和Hadoop/bin文件夹位于$PATH中
在conf/spark env.sh导出SPARK_DIST_CLASSPATH=$(/hadoop-2.6.4/bin/hadoop类路径中)
当我从Spark运行示例(bin/ run -样例SparkPi)时，异常如下：
16/03/19 20:44:09 INFO spark.SparkContext: Running Spark version 1.6.0
16/03/19 20:44:10 WARN util.Nativ
浏览 3提问于2016-03-20得票数 1
回答已采纳
我正在尝试运行的基本示例。
我使用星火文件夹中的脚本创建了我的对接器映像：
sudo ./bin/docker-image-tool.sh -mt spark-docker build
sudo docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
spark-r spark-docker 793527583e00 17 minutes ago 740MB
spark-py
浏览 1提问于2019-04-03得票数 19
回答已采纳
1回答
火花-提交问题加载类
、、、
我正在使用HDP 2.6。我下载了最新版本的Spark (2.2.1)，并使用spark-submit运行我的jar (使用与程序集相同版本的Spark构建)。但是，我得到了错误：
Class org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider not found
我的$HADOOP_CONF_DIR是/etc/hadoop/conf，它链接到/usr/hdp/current/hadoop-client/conf，my yarn-site.xml in yarn.application.classpath包含条
浏览 0提问于2018-01-25得票数 4
我正在尝试通过Kerberos ( SparkSQL发行版是HDP 2.4.2)保护的集群中的Knox连接到Hadoop (Spark1.6.2)。我们对Hive有相同的架构，它工作得很好。因为Spark使用的是同样的服务器，所以我认为做同样的事情是微不足道的，但事实并非如此。
通过Knox连接时，Spark thriftserver抛出的错误是：
16/10/17 15:25:39 ERROR ThriftHttpServlet: Failed to authenticate with hive/_HOST kerberos principal
16/10/17 15:25:39 ERROR
浏览 3提问于2016-10-17得票数 1
我已经使用Apache Spark部署了Spring引导服务器，一切都很稳定。但http://X.X.X.X:4040/executors/ SparkUI executors终结点引发java.io.FileNotFoundException，找不到/opt/x/x!/BOOT-INF/lib/spark-core_2.11-2.2.0.jar。我查过inner jar了。这个问题只发生在Linux上，on Windows它工作正常。 2019-04-23 07:01:24,038 WARN [org.spark_project.jetty.servlet.ServletHandler]
浏览 36提问于2019-04-23得票数 4
回答已采纳
我下载了spark二进制文件，创建了/kubernetes/dockerfiles下的dockerfile的docker镜像，并遵循以下文档-
我正在尝试提交一个火花工作，如下所示-
~/spark-2.3.0-bin-hadoop2.7/bin/spark-submit --master
k8s://http://<k8s-api-server>:<k8s-port> --deploy-mode cluster --
name spark-pi --class org.apache.spark.exampl
浏览 0提问于2018-05-22得票数 1
1回答
我试图编写一个火花流程序，在这里我想优雅地关闭我的应用程序，以防我的应用程序收到关闭钩子。为了实现这一点，我编写了以下代码片段。
sys.ShutdownHookThread {
println("Gracefully stopping MyStreamJob")
ssc.stop(stopSparkContext = true, stopGracefully = true)
println("Streaming stopped")
sys.exit(0)
}
在调用此代码时，只调用第一个println。这是第二个println流停止是从未见过的
浏览 0提问于2015-10-19得票数 2
回答已采纳
启动时，我的spark-shell --master yarn出现了这个错误。你能帮我了解一下这个集装箱故障的原因吗？应用程序日志中没有错误/信息。
[root@Master ~]# spark-shell --master yarn-client
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/spark-1.6.1-bin-2.6.0-cdh5.7.0/lib/spark-assembly-1.6.1-hadoop2.6.0-cdh5.7.0.jar!/or
浏览 0提问于2018-04-22得票数 1
回答已采纳
我正在使用Hadoop YARN 2.7运行Spark 2.0.1。
在远程服务器中执行Spark应用程序后，我的用户的所有正在运行的进程，包括SSH部分，都将被终止。
这是怎么回事？我没有收到任何错误消息。
一些日志消息：
starting yarn daemons
17/05/12 09:06:47 INFO spark.SparkContext: Running Spark version 2.0.1
17/05/12 09:06:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pl
浏览 0提问于2017-05-12得票数 0
我可以成功地运行pi示例的java版本，如下所示。
./bin/spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn-client \
--num-executors 3 \
--driver-memory 4g \
--executor-memory 2g \
--executor-cores 1 \
--queue thequeue \
lib/spark-examples*.jar \
10
但是，python版本失败，
浏览 1提问于2015-01-06得票数 5
我已经在cloudera管理器中安装了spark，我使用以下方法配置并启动了火花服务：
/opt/cloudera/parcels/SPARK/lib/spark/sbin/start-master.sh
/opt/cloudera/parcels/SPARK/lib/spark/sbin/start-slaves.sh
然后我想运行WordConut来测试我的星星之火，首先在我的主节点上启动火花外壳：
15/07/28 13:44:25 INFO spark.HttpServer: Starting HTTP Server
15/07/28 13:44:25 INFO server.
浏览 13提问于2015-07-28得票数 0
回答已采纳
我正在尝试做一个简单的代码，在其中我创建一个模式，插入一些表，然后提取一些信息并打印出来。但是，我得到了一个错误。我正在使用火花连接器。我一直在用这两个例子来帮助我努力做到这一点：
但是，第二个示例没有使用cassandra火花连接器，或者一般情况下使用spark。
这是我的代码：
package com.angel.testspark.test;
import com.datastax.driver.core.ResultSet;
import com.datastax.driver.core.Row;
import com.datastax.driver.core.Session;
浏览 3提问于2014-09-17得票数 1
回答已采纳
我正在运行一些使用spark-submit的Spark附带的示例。我使用的是Ubuntu虚拟机。我尝试运行的类如下所示 object SparkPi {
def main(args: Array[String]) {
val spark = SparkSession
.builder
.appName("Spark Pi")
.getOrCreate()
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(10000
浏览 206提问于2019-02-02得票数 0
运行Spark1.6.2(纱线模式)
首先，我有一些从这篇文章到的代码，所以这可能是问题所在，但希望不是。
基本上，我有第一份工作。
import org.apache.spark.SparkContext
import org.apache.spark.streaming.{StreamingContext, Seconds}
import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat
def getStream(ssc: Stre
浏览 1提问于2017-02-01得票数 0
回答已采纳
我有一个apache spark sql作业(使用数据集)，用Java编写，它的输入是从70,000到150,000个文件。
构建InMemoryFileIndex似乎需要45分钟到1.5小时。
没有日志，网络使用率非常低，在此期间几乎没有CPU使用率。
下面是我在std输出中看到的示例：
24698 [main] INFO org.spark_project.jetty.server.handler.ContextHandler - Started o.s.j.s.ServletContextHandler@32ec9c90{/static/sql,null,AVAILABLE,@Spar
浏览 0提问于2018-11-02得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
