无法将Spark与eclipse中的Hortonworks Sandbox连接
Spark是一个开源的大数据处理框架，而Hortonworks Sandbox是一个基于Hadoop的虚拟机环境，用于学习和开发大数据应用。将Spark与Hortonworks Sandbox连接可以实现在Sandbox环境中使用Spark进行大数据处理和分析。
要将Spark与eclipse中的Hortonworks Sandbox连接，可以按照以下步骤进行操作：
- 安装Spark：首先需要在本地环境中安装Spark。可以从Spark官方网站（https://spark.apache.org/）下载最新版本的Spark，并按照官方文档进行安装和配置。
- 配置Spark连接参数：在eclipse中创建一个新的Java项目，并在项目中添加Spark的依赖。然后，在代码中配置连接Hortonworks Sandbox的参数，包括Hadoop集群的地址、端口、用户名和密码等。
- 创建SparkSession：使用SparkSession对象来连接Hortonworks Sandbox。可以通过以下代码创建一个SparkSession对象：
import org.apache.spark.sql.SparkSession;
SparkSession spark = SparkSession
.builder()
.appName("SparkHortonworksConnection")
.master("yarn")
.config("spark.hadoop.fs.defaultFS", "hdfs://<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.address", "<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.scheduler.address", "<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.hostname", "<sandbox-ip>")
.config("spark.hadoop.yarn.resourcemanager.webapp.address", "<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.webapp.https.address", "<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.webapp.https.address", "<sandbox-ip>:<sandbox-port>")
.config("spark.hadoop.yarn.resourcemanager.webapp.https.address", "<sandbox-ip>:<sandbox-port>")
.getOrCreate();请注意，上述代码中的<sandbox-ip>和<sandbox-port>需要替换为Hortonworks Sandbox的实际IP地址和端口号。
- 运行Spark应用：编写Spark应用程序，并使用上述创建的SparkSession对象来执行Spark任务。可以使用Spark提供的各种API和功能来处理和分析大数据。
推荐的腾讯云相关产品：腾讯云的云服务器（CVM）和云数据库（CDB）可以作为替代品使用，用于搭建和管理类似Hortonworks Sandbox的大数据环境。您可以在腾讯云官方网站（https://cloud.tencent.com/）了解更多关于这些产品的信息和使用指南。
希望以上信息对您有所帮助！
相关·内容
我不能连接我的火花代码，这是写在eclipse上。> > > importorg.apache.spark.api.java.JavaPairRDD;
> import org.apache.spark.api.j
浏览 18提问于2020-05-31得票数 1
2回答
我正在使用hortonwork Sandbox for kafka服务器，试图用java代码连接eclipse中的kafka。使用此配置连接到生产者以发送消息serializer.class=kafka.serializer.DefaultEncoderzk.connect=sandbox.hortonworks.
浏览 1提问于2015-03-20得票数 4
我正在尝试连接HIVE (在Hortonworks的沙箱中)，并收到以下消息：Maven依赖关系： <dependency><groupId>org.apache.<
浏览 2提问于2016-05-10得票数 1
3回答
Ambari服务器无法添加新主机
、、、、
我正在尝试让Ambari在运行Hortonworks HDP 2.3沙箱的2台硬件机器之间工作。ssh server1
当<em
浏览 1提问于2016-03-02得票数 1
我现在想要的是：
星火外壳和星火程序可以在Hortonworks Sandbox 2.1上使用Hadoop。我想在Windows上运行Spark的原因是，我想在Windows 7机器上开发Spark程序，这是我所熟悉的</em
浏览 1提问于2014-05-08得票数 3
回答已采纳
为了保存HDFS中的培训模型，我尝试了如下方法：和
model.saveAsTextFile("hdfs:///sandbox.hortonworks.com:8020/tmp/Project/
浏览 6提问于2016-12-24得票数 2
回答已采纳
我无法在hortonworks沙箱和eclipse中启动开发环境并运行简单的twill应用程序。
我可以编译所有的东西，但是当我在eclipse中启动它时，我最终遇到了这个错误。17:45:01.367 [IPC Client (23740594) connection to sandbox.hortonworks.com/10.0.2.15:8025 from developer] DEBUG org.apache.had
浏览 0提问于2015-03-27得票数 0
1回答
我有带有Hadoop2.2.0的Hortonworks sandbox，我在沙箱上安装了Apache-spark技术预览。虽然我能够在本地模式下运行spark Java示例，但是我无法在模式下运行Java示例。下面是我用于执行的步骤：
在Eclipse中，我创建了一个Java项目，在src下，主管创建了一个文件JavaWordCount，代码取自Apache附带的示例示例。然后，我使用Eclipse</e
浏览 1提问于2015-02-28得票数 0
我正在尝试将Spring Cloud dataflow Yarn SPI与在Hortonworks sandbox 2.4上运行的Spark集成。有没有人有我们需要做的配置示例？我的Spark程序在我使用spark-submit运行它时执行正常，但在注册Spark应用程序后运行Spring Cloud dataflow时出现问题。可能有一些我需要设置的前提条件，但我不确定它们都是什
浏览 0提问于2016-05-27得票数 1
我有Hortonworks的Sandbox2.0，它运行良好。现在我想尝试从Eclipse连接，但我无法。下面是Eclipse上的Hadoop位置：DFS主机:主机:本地主机，端口:50040
调用localhost/127.0.0.1:50040连接异常失败: java.net.ConnectionException: connection
浏览 1提问于2013-11-24得票数 0
回答已采纳
我正在尝试做Hortonworks教程“使用Spring将Tweets流到Hadoop进行情感分析”xd>xd-shell --hadoopDistro hadoop20因此，我使用了创建流的下一步。我得到以下错误：
由: org.apache.hadoop.ipc.Client.wrapException(Client.java:1142)：调用localhost/127.0.0.1:8020导致连接异常失败Windows 7笔记本电脑，在那里我
浏览 1提问于2013-11-29得票数 0
2回答
我在实习岗位上，我对系统中的下载/安装有一个有限的访问权限。我的问题是如何在Windows7上安装Apache spark (我总是通过Hortonworks在VM中使用它，但在我的实习期间，我没有安装VM或Hortonworks的权利)。我在论坛上搜索了更多，我认为我可以使用Eclipse，导入spark并安装scala IDE (scala是我对Spark的<
浏览 3提问于2017-03-17得票数 0
我正面临一个奇怪的问题，与HDP2.4.0.0-169沙箱工作。我有HDP主机名- sandbox.hortonworks.com和ip 192.168.159.129，所有默认的hadoop和其他服务都在上面运行。我编写了一个星星之火代码，用于在hive中创建一个表，并读取HDP上存在的任何现有的hive表的内容。我还编写了一个代码，用于编写数据/将数据插入到新创建的hive表中。它给了
浏览 6提问于2017-09-19得票数 0
我使用hortonworks/sandbox-hdp:3.0.1和hortonworks/sandbox-proxy:1.0。作为码头集装箱。尝试使用admin/admin连接到ranger，但是没有成功-您输入的用户名或密码不正确。已尝试更改Ambari here - ranger Admin用户密码中的Ranger密码，以及高级ranger-env部分中的Ranger Admin用户
浏览 114提问于2019-06-19得票数 2
回答已采纳
我使用的VM与2 SP 01。在一个小型测试集群上，我用Spark1.6.3安装了Hortonworks数据平台2.6，并添加了HANA Vora 1.4和Spark Controller 2.1。一切都很好，但是Zeppelin部分使用了%jdbc解释器：select * from sys.tables using com.sap.spark.engines
===========但是，如果我遵循下一章中的说明(2.9将</em
浏览 6提问于2017-07-06得票数 0
回答已采纳
我希望使用JDBC在Hive中创建表。这是我试过的密码，import java.sql.Connection;importClass.forName(driverName); con = DriverManager.getConnection("jdbc:mysql://sandbox-hdp.hortonw
浏览 2提问于2018-04-06得票数 0
回答已采纳
1回答
在运行spring应用程序时，我得到：
@EnableAutoConfigurationhbase.zookeeper.property.clientPort", "2181");
configuration.set("hbase.zookeeper.quorum", "hortonworks.hbase.vm"zookee
浏览 2提问于2015-11-05得票数 1
回答已采纳
无法通过火花-地图集-连接器用apache图集安装我的火花应用程序。def main(args: Array[String]): Unit = {
.option("topic", "foobar-out&quo
浏览 4提问于2019-08-09得票数 0
回答已采纳
我已经在我的Windows 10笔记本上下载了Hortonworks Sandbox (IP: 192.179.144.XXX)。我在VMWare上运行了HDP沙箱。IntelliJ主机上连接到中的Kafka (HDP )。打开后，Kafka broker将端口号6667添加到“start_sandbox.sh”文件中。PLAINTEXT://sandbox.hortonworks</em
浏览 2提问于2018-12-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
