我从用户spark尝试过：尝试更改/usr/lib/spark/conf/spark-defaults.conf export SPARK_WORKER_INSTANCES=6
export SPARK_WOR
浏览 12提问于2018-08-21得票数 0
回答已采纳
我阅读了，它告诉我服务器与有关，这是一种二进制通信协议。Spark Thrift服务器是Hive的接口，但是Spark Thrift服务器如何使用Apache Thrift通过二进制协议/rpc与Hive通信？
浏览 27提问于2017-08-14得票数 5
回答已采纳
是否可以在Kubernetes上运行Apache Hive (不在Kubernetes上运行YARN )？
浏览 4提问于2018-05-28得票数 5
我们需要同时从hive和spark (使用thrift服务器)访问表格。然而，我们的问题是在spark上运行spark和thrift服务器导致一个表的查找。我们在Amazon AWS EMR集群上运行，其中包含Hive、Spark和thrift Server2。
我们希望使用hive更新s3存储，并定期在后台将这些聚合数据加载到spark中。同时，Spark总是加
浏览 2提问于2015-12-22得票数 0
我正在尝试在不同的端口上运行Spark thrift服务器，比如12000。我引用了Spark sql文档和其他port.It，但我不能在不同的urls上运行Spark thrift服务器，也不能在端口10000上运行，因为它正在被Hive使用。
我还引用了并进行了更改。已尝试从Spark_home/sbin>导出HIVE_SERVER2_THRIFT_PORT=12000启动Spark</e
浏览 0提问于2015-04-17得票数 4
我想使用JDBC类型的服务访问在spark中注册的表，使用spark提供的thrift服务。
我在google上没有任何关于这方面的文档，有人能告诉我如何使用thrift服务器访问spark表吗？这些表在内存中的生命周期是多少，这些表是否会一直驻留在内存中，直到thrift服务器运行。
浏览 2提问于2015-08-05得票数 2
在我的组织中，我们有一个使用HTTP和SSL的Spark Thrift服务器设置，因为有一个基本假设，即二进制模式不是通过网络安全加密的，因此可能会泄露凭据或敏感的查询数据。我使用，scan阅读了一篇研究论文，并查看了Thrift协议规范以寻找一个明确的答案，但无济于事。似乎完全没有提到身份验证和加密意味着它应该由一个封装的网络层来处理？假设Spark Thrift服务器以二进制模式传输未加密或不安全的数据是否正确？
浏览 22提问于2019-08-09得票数 0
如何将PHP应用程序连接到spark sql thrift服务器？但是，我们在PHP中开发的其他应用程序需要连接到spark sql thrift服务器。我们遵循了，但是当我们尝试在浏览器中打开脚本时，spark</em
浏览 0提问于2015-03-05得票数 1
我可以使用Azure中的HDInsight集群的以下URL从外部连接到hive。jdbc:hive2://<host>:443/default;transportMode=http;ssl=true;httpPath=/
但是，我找不到spark这样的字符串。
浏览 2提问于2018-03-29得票数 1
我正在使用以下指南在我的aks集群中部署pyspark：
apiVersion: apps/v1metadataselector: ports: port: 29413然后，我可以使用以下代码创建星火集群", "spark")
sparkConf.set("s
浏览 4提问于2020-10-19得票数 0
回答已采纳
我有一个Spark Thrift服务器。我连接到Thrift Server并获取Hive表的数据。如果我再次查询同一个表，它将再次将文件加载到内存中并执行查询。有没有办法使用Spark Thrift Server缓存表数据？如果是，请告诉我怎么做。
浏览 6提问于2017-08-16得票数 3
我想创建一个Java应用程序，使用Spark查询HDFS中的数据。到目前为止，我已经通过两种方法进行了测试：-对Thrift服务器公开的JDBC端点进行SQL查询(从默认配置开始)-使用spark dataset api
我的问题是，作为hadoop/spark的新手据我所知，使用Thrift服务器需要配置和维护Thrift和Hive。另一方面，我预计使用dataset
浏览 10提问于2018-02-11得票数 0
回答已采纳
1回答
我已经使用以下命令构建了spark源我已经使用以下命令启动了thrift服务器
spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1.3.1.
浏览 1提问于2015-05-14得票数 0
1回答
我用Spark-shell (Spark Version 1.6.0)写了下面的代码。var paymentDataCache = orcData.cache;按照以下命令启动thrift服务器和直线2) s
浏览 1提问于2016-05-12得票数 1
问题是:我有一个web应用程序，需要利用spark集群来运行spark-sql查询。我的理解是，提交作业脚本是异步的，因此这在这里不起作用。我如何在这样的设置中利用spark？我是否可以像在自包含的spark应用程序中一样，在web应用程序中编写代码，即创建上下文，设置主URL，然后执行我需要做的事情？这能在web应用中工作吗？如果是，那么我什么时候需要提供REST API的作业服务器来提交作业？
浏览 3提问于2016-09-13得票数 2
我正在编写一个Java Spark应用程序，它需要连接到hive，并获取一些基本的表信息，并查询该表的数据。我正在创建一个spark会话，并获得如下信息。但这使用的是thrift服务器。我想看看我是否可以在不使用thrift服务器的情况下做同样的事情。这是可能的吗?我该怎么做？我正在尝试编写一个JDBC客户端，它可以通过sparkSQL连接到spark来访问hive表，而不需要使用thrift<em
浏览 0提问于2018-05-11得票数 0
1回答
在Spark 1.5.1中，我已经能够使用Thrift Server从Beeline访问spark-shell临时表。我可以通过阅读Stackoverflow上相关问题的答案来做到这一点。然而，在升级到Spark 2.0之后，我再也看不到来自Beeline的临时表了，以下是我正在遵循的步骤。.shell准备就绪，我将输入以下几行代码来启动thrift服务器，并从一个数据帧创建一个临时视图，
浏览 16提问于2016-09-28得票数 2
我们已经使用Spark 1.2.1和Java处理了我们的数据，并存储在Hive表中。我们希望通过web浏览器以RDDs的形式访问这些数据。在github中，我看到了使用导入org.apach
浏览 1提问于2015-04-24得票数 3
1回答
当通过Thrift接口执行查询时，我如何告诉它在YARN上运行查询？
我正在尝试让Spark的JDBC/ODBC Thrift接口在YARN上运行Spark-SQL调用。这种组合似乎没有出现在文档中。Spark on YARN文档提供了一堆选项，但没有说明将它们放在哪个配置文件中，以便Thrift服务器可以选择它们。我看到了spark-env.sh中提到的一些设置(核心、执行器内存等)，但我不知道首先在哪里告诉它使用YARN
浏览 14提问于2019-08-20得票数 0
我在Hadoop集群中使用的是HDFS 2.7.3和Spark2 2.0.0。当我启动Spark2 Thrift服务器时，它成功地启动了，但从配置单元用户自动开始运行一个作业，它似乎永远挂起。如果我手动终止该作业，它将再次使用新的applicationId启动一个新作业。
但是如果我停止Spark2 Thrift服务器，它就会终止作业。你能帮我理解一下这个问题吗？
浏览 0提问于2017-04-21得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
