我正在尝试为Google Cloud Dataproc附带的Hive 2.1.0设置LLAP (交互式查询)。我已经启用了Tez作为执行引擎，但我找不到任何文档/步骤来启用LLAP以使Hive更快。大多数可用的是针对Hortonworks集群的，这是通过Ambari完成的。
浏览 26提问于2019-04-17得票数 2
我正在尝试配置在Google Dataproc image v1.1上运行的配置单元(因此配置单元2.1.0和Spark 2.0.2)，以使用Spark作为执行引擎，而不是默认的MapReduce引擎。按照这里的说明，并没有真正的帮助，当我设置hive.execution.engine=spark时，我一直收到Error running query: java.lang.NoClassDefFoundError有谁知道在Dataproc上运行它
浏览 0提问于2017-04-10得票数 4
在GCP上，我有时会收到这样的消息从我所做的研究中，我了解到这与蜂箱表有关。/etc/hive-hcatalog/conf.dist/proto-hive-site.xml
我就像在AWS上一样进入火星雨。我正在处理集群，并构建自己的spark-submit命令。集群<e
浏览 0提问于2019-01-23得票数 1
通过执行此中的步骤，我已经设置了一个运行Presto的Google Dataproc集群。 --cluster presto-cluster \ --execute有没有办法通过我的Python应用程序在Dataproc</e
浏览 13提问于2021-03-14得票数 3
我有一个Google DataProc集群，预置作为可选组件安装。我在Hive中创建了一个外部表，其大小为1GB。虽然表是可查询的(例如，groupby语句、distinct等成功)，但是我在使用Hive和Presto执行一个简单的select * from tableA时遇到了问题：
我得到以下错误：
线程
浏览 0提问于2019-05-03得票数 2
回答已采纳
1回答
我为dataproc亚稳态(与composer的项目相同)创建了一个服务，并试图使用它而不是我的蜂巢仓库。我可以使用gcloud命令成功地运行这个命令，但是当我尝试使用任何气流运算符(如DataprocClusterCreateOperator或DataprocCreateClusterOperator)时，我无法将这个外部dpms传递给我的dataproc集群。我看到它接受了一些参数，比如'dataproc_metastore_servic
浏览 10提问于2022-06-28得票数 0
回答已采纳
在从和发出日志时，我已经看到了几个比特，但是没有发现任何可以让我从容器化过程中发出日志的东西，例如DataProcPySparkOperator。到目前为止，我已经将以下内容包含在运行在运算符集群中的pyspark脚本的顶部：logging.info('Test bare logger')
for ls in ['我假设我可以从集群中构建到云存储(或DB)的连接，也许可以从用于读取和写入文件
浏览 2提问于2020-12-08得票数 2
回答已采纳
3回答
蜂巢比星火更快吗？
、、、、
我不知道这是否会在星火更慢，因为现在与DataFrames，他们可能是可比的，但我不确定，因此问题。他使用最新的蜂巢，这似乎是使用Tez。
浏览 11提问于2016-09-09得票数 6
回答已采纳
Dataproc似乎是设计成无状态/不可变的。这个假设正确吗？如果我们计划部署一个Hive/Presto数据仓库，那么我们现在应该退出吗？我们很难找到任何文档，这些文档表明，一旦配置好了，应该如何照顾集群呢？
互联网正在建议，如果我们有问题的话，我们应该
浏览 3提问于2017-12-04得票数 1
回答已采纳
我已经创建了一个dataproc集群，并使用更新后的init操作来安装datalab。所有工作都很好，除了当我从Datalab笔记本查询Hive表时，我遇到了 hc.sql(“””select * from invoices limit 10”””)
"java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem not found" exception 创建集群</e
浏览 67提问于2019-05-02得票数 3
我试图使用气流构建数据迁移管道，源是Dataproc集群上的Hive表，目标是BigQuery。我使用DataprocHiveOperator从源获取模式和数据。这个操作符在内部使用Dataproc REST来提交和执行我们指定的Dataproc集群上的作业。输出将作为作业日志的一部分写入到文件中。我只需要这些日志的查询结果。到目前为止，我已经修改了driverOutputReso
浏览 0提问于2019-09-03得票数 3
回答已采纳
1回答
我刚刚使用DataProc在Google中建立了一个Spark集群，并且在一个单独的VM上运行了一个独立的Cassandra安装。连接器可以在这里下载：
需要sbt来构建它。它会在$SPARK_HOME/bin以下吗？DataProc在哪里安装了火花？
浏览 1提问于2015-12-29得票数 0
1回答
当我进入主节点时，我想让命令行访问由我的Spark应用程序生成的实时日志(承载Spark驱动程序的机器)。我能够看到它们使用gcloud dataproc jobs wait、Dataproc和GCS，但我希望能够通过命令行访问活动日志，以便能够通过它访问grep等。我在哪里可以在驱动程序(以及执行者)上找到火花产生的日志？
浏览 0提问于2016-03-02得票数 0
回答已采纳
.appName("Java Spark Hive Example") .config("hive.metastore.uris.show(); System.out.println("table not found");我正在使用星火2.1.0我还没有在这个特定的工作中使用M
浏览 2提问于2017-03-04得票数 1
回答已采纳
2回答
因此，首先，我想说的是，我看到的唯一一件事是解决这个问题：。然而，当添加火花和纱线认证的配置时，它仍然不起作用。下面是我在亚马逊电子病历上的一个纱线集群上使用spark提交的星火配置：
SparkConf sparkConf = new SparkConf().setAppName("secure-test配置中，而不是核心-site.xml(假设我可以这样做，因为其他事情也能工作)。看看这里：，看起来这两种火花都是必要的。当我运行这
浏览 2提问于2017-01-03得票数 0
回答已采纳
看看谷歌的云服务，DataProc似乎也可以做同样的事情。为什么谷歌同时提供这两种服务？
浏览 1提问于2017-09-27得票数 66
1回答
我正在学习如何在蜂箱中使用星星之火，我在互联网上找到的每一个教程都含糊地解释了这种关系，首先，当人们说hive compatible with spark.I下载了预置的星星之火，而它的版本是2.1.1在我的例子中，两者都是2.1.1 (但我得到了这个错误)，或者它们是指metastore database schema version and hive-metastore jar version insidespark/jars folde
浏览 7提问于2017-08-03得票数 3
我正在运行一个火花作业，我需要从HDFS表中读取，比如Hadoop集群-1。现在，我希望将聚合数据table放入另一个Hadoop集群-2中的表中。最好的办法是什么？然后将所有配置值复制到一个dataset.sparkSession.SparkContext.hadoopConfiguration().中，然后将这些conf值设置为Map<String
这是实现我目标的好方法吗
浏览 2提问于2021-07-31得票数 4
回答已采纳
最近，我们在Spark集群上启用了Kerberos身份验证，但是我们发现，当我们以集群模式提交Spark作业时，代码无法连接到Hive。ESP的HDInsight集群，它在一个虚拟网络中。如果我在/etc/security/keytabs中查看hdfs/hive的键标签，我也只看到hdfs/hive用户的条目。这通常是在启动时完成<
浏览 87提问于2022-04-20得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
