json字符串'{"5.1"：1，"s":2}‘select get_json_object('{"5.1": 1,"s":2}',concat("$.","5.1"))select get_json_object('{"5.1": 1,"s":2}',concat(&q
浏览 16提问于2017-03-16得票数 1
我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)对hive数据库执行查询已经足够好了，但是当在java应用程序中作为spark sql在相同的数据上运行时，它什么也不会返回。},'$.product_offer.productName') ) 当在dbvisuali
浏览 51提问于2019-09-03得票数 0
注意事项：这不是以下内容的重复(或其他一些类似的讨论)
get_json_object(get_json_object('$.bill_summary'), '$.items') AS items
但是，我只需要这两个条目都存在的条目，而有几个item对象有它们中的一个或
浏览 4提问于2019-09-27得票数 4
回答已采纳
我使用的是spark 2.2和oozie。我已经通过shell-script在oozie中安排了spark-action，也就是说，我在oozie中调用包含spark-submit命令的shell脚本。但是当我运行作业时，它给出了下面的INFO语句:将hive.metastore.warehouse.dir ('null')设置为spark.sql.warehouse.dir (
浏览 0提问于2019-04-26得票数 0
1回答
执行前蜂箱查询执行估计的强度
、、、、
我怀疑这个查询过于密集或没有优化，或者两者兼而有之。我如何知道查询是否会过于紧张？细胞亚稳态金丝雀持续时间从<1秒延长到2.5秒。
我如何知道这个或任何其他查询是否过于激烈？查询:选择duid，GET_JSON_OBJECT
浏览 20提问于2016-05-05得票数 0
回答已采纳
我试图使用SPARK作为hive执行引擎，但是得到了下面的错误。Spark 1.5.0已安装，我正在使用Hive 1.1.0版本和Hadoop 2.7.0版本。hive_emp表在配置单元中被创建为ORC格式的表。. org/apache/spark/SparkConf
我还在hive shell中设置了spark路径和执行引擎。set spark.home=/
浏览 0提问于2015-09-21得票数 13
1回答
星火是返回垃圾/十进制字段的值时，查询一个外部蜂巢表在星火代码中使用星火SQL。
在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。scala> val df_hive = spark.sql("select * from db1.test_pre
浏览 7提问于2020-10-07得票数 0
回答已采纳
SparkSQL CLI在内部使用HiveQL，并且在spark( Hive -7292)上使用配置单元，hive使用spark作为后端引擎。
浏览 1提问于2015-07-24得票数 40
我跟踪了这个设置hive.execution.engine=spark；
无法找到hadoop安装:必须设置$HADOOP_HOME或$HADOOP_PREFIX，或者hadoop必须在路径中。我没有安装Hadoop，并且希望<em
浏览 2提问于2016-05-10得票数 0
1回答
我在配置单元控制台/ .hiverc文件中使用了以下属性，以便每当我查询该表时，它都会更新配置单元元存储的TBLS表中的LAST_ACCESS_TIME列。set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec;
但是，如果我使用spark-sql或spark-shell，它似乎无法工作，并且LAS
浏览 1提问于2020-02-25得票数 5
我正在使用HiveContext和SparkSQL，并且我试图连接到一个远程的蜂巢转移，设置蜂巢转移的唯一方法是通过在类路径上包含hivesite.xml(或者将它复制到/etc/spark/conf/有没有一种方法可以在java代码中以编程方式设置这个参数，而不包括hivesite.xml呢？如果是这样的话，可以使用什么星火配置？
浏览 6提问于2015-08-13得票数 30
回答已采纳
我正在尝试在AWS EMR 5.11.0上的Spark上设置Apache Hive。可能的原因包括网络问题、远程驱动程序中的错误或群集没有可用的资源等。请查看YARN或Spark驱动程序的日志以了解更多信息。spark客户端时出现异常'org.apache.hadoop.hive.ql.metadata.HiveException(Failed。)‘org.apache.hadoop.hive</e
浏览 2提问于2018-01-29得票数 3
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。但它与配置单元的conf文件
浏览 0提问于2019-04-20得票数 0
我正在使用Hadoop 3开发Hadoop集群(HDP)，还安装了Spark和Hive。由于星火目录和Hive目录是分开的，所以知道如何在Spark应用程序中保存数据，以及在何处保存数据，有时会有些混乱。我知道，属性spark.sql.catalogImplementation可以设置为in-memory (使用基于session的目录)或hive (使用Hive目录来存储->的持久元数据，但元数据仍然与当我将它设置为h
浏览 4提问于2020-01-24得票数 9
回答已采纳
3回答
我使用spark和scala来读取一个特定的Hive分区。分区是year、month、day、a和b。scala> spark.sql("select * from db.table where year=2019 and month=2 and day=28 and a='y' and b='z'").show
org.apache.hadoop.security.AccessControlException：：由于阶段失败而中止作业:阶段0.0<em
浏览 2提问于2019-05-22得票数 14
回答已采纳
使用HDP 3.1中的Spark 2.4和Hive 3.1.0，我试图使用spark sql从hive读取托管表，但它返回一个空的dataframe，而它可以轻松地读取外部表。如何通过spark sql从hive读取托管表？ 注意:当从hive客户端读取时，hive maanged表不是空的。 1-我尝试通过ORC和拼花来格式化表格，但两者都失败了。2-我无法使用HWC读取它。 3-我在</
浏览 26提问于2019-09-25得票数 1
1回答
但是，在通过spark 2.3.0进行此操作时，抛出以下内容：Table or view not found: `hiveorc_replicahiveorc_replica.appointment")所有配置文件都出现在我的项目的“资源”文件夹中。<&#
浏览 7提问于2018-05-20得票数 0
回答已采纳
2回答
在蜂巢中无法访问通过火花加载的表
、、、、
通过火星之火创建的蜂箱表无法从蜂巢访问。df.write.format("orc").mode("overwrite").saveAsTable("db.table")
在Hive中成功地创建了表，并能够在
浏览 1提问于2018-10-11得票数 7
回答已采纳
1回答
我在Cloudera QuickStart VM上使用QuickStart。我按照另一个问题创建了一个sbt管理的Spark应用程序。"org.apache.spark" % "spark-sql_2.10" % "1.5.2"
libraryDependencies += "org.apache.spark" % "spark-mllib+= "org.apache.spark<
浏览 1提问于2016-12-25得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
