PySpark和HIVE/Impala
PySpark是一种基于Python的Apache Spark的编程接口，它提供了Python开发者使用Spark进行大规模数据处理和分析的能力。PySpark结合了Python的简洁性和Spark的高性能，使得开发者可以使用Python编写分布式数据处理应用程序。
HIVE和Impala是两种用于大数据处理的SQL查询引擎。它们都可以在Hadoop生态系统中运行，并且提供了类似于传统关系型数据库的SQL查询语言，用于对存储在Hadoop集群中的大规模数据进行查询和分析。
HIVE是基于Hadoop的数据仓库基础设施，它使用类似于SQL的查询语言HQL（Hive Query Language）来查询和分析数据。HIVE将查询转换为MapReduce任务，并将结果存储在Hadoop分布式文件系统（HDFS）中。HIVE适用于需要进行复杂数据分析和处理的场景，例如数据仓库、数据挖掘和商业智能等。
推荐的腾讯云相关产品：
- 腾讯云EMR（Elastic MapReduce）：腾讯云的大数据处理平台，支持使用PySpark、HIVE和Impala等工具进行数据处理和分析。链接地址：https://cloud.tencent.com/product/emr
- 腾讯云COS（Cloud Object Storage）：腾讯云的对象存储服务，可用于存储和管理大规模数据。链接地址：https://cloud.tencent.com/product/cos
需要注意的是，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和项目要求进行评估。
相关·内容
4回答
我正在尝试用Python编写一个spark作业，它将打开与Impala的jdbc连接，并将视图直接从Impala加载到Dataframe中。这个问题非常接近，但在scala中：
我该怎么做呢？有很多其他数据源的示例，比如MySQL、PostgreSQL等，但我还没有看到一个用于Impala + Python + Kerberos的示例。举个例子会有很大帮助。谢谢!
用网络上的信息试过了，但不起作用。
SPARK笔记本
#!/bin/bash
export PYSPARK_PYTHON=/home/anave/anaconda2/bin/python
export HADOOP_CONF_DIR
浏览 7提问于2016-09-09得票数 5
我在黑斑羚有疑问，但蜂巢不行。我正在创建一个简单的PySpark文件，如：
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, HiveContext
sconf = SparkConf()
sc = SparkContext.getOrCreate(conf=sconf)
sqlContext = HiveContext(sc)
sqlContext.sql('use db1')
...
当我运行这个脚本时，查询会得到我在Hive编辑器中运行时所遇到的错误(它们在Im
浏览 1提问于2020-03-25得票数 0
回答已采纳
1回答
我们已经通过cdh6.2安装了集群。使用pyspark创建一个dataFrame，然后将其保存到hive。 已在仓库中正确创建该文件，但无法使用show tables在配置单元或impala中找到该文件。 它可以通过spark sql使用sql.(“show tables”)找到。但它只显示了以前由spark代码创建的表，这意味着它不能看到通过hive或impala控制台创建的表。 所以我认为可能spark代码没有收集到Hive Metastore服务器。 但我不知道如何将其设置到Hive Metastore服务器。
浏览 12提问于2019-05-15得票数 0
1回答
我想在PySpark中构建一个分类模型。我对这个模型的输入是select查询的结果，或者是来自Hive或Impala的视图。是否可以将此查询包含在PySpark代码本身中，而不是将结果存储在文本文件中提供给我们的模型
浏览 4提问于2017-02-22得票数 1
2回答
我想插入一些数据，我的表“测试”通过一个pySpark脚本(火种的python)。
我首先在HUE的图形界面中为Hive创建了一个表"animals“，感谢下面的查询：
CREATE TABLE animals( id int, animal String)
于是我买了一张新桌子。我写这个脚本是为了给它添加一个新行(1，dog)：
from pyspark.conf import SparkConf
from pyspark import SparkContext
from pyspark.sql import SQLContext, HiveContext
sc = SparkC
浏览 2提问于2018-01-25得票数 0
我使用Impala构建了一个包含目标和数百个功能的表。我想用星火MLlib训练一个模特。我理解，为了通过星火运行分布式监督模型，数据需要以几种格式之一。在我看来，LabeledPoint是最直观的。使用PySpark将Hive表转换为标记点的最有效方法是什么？
浏览 1提问于2016-02-23得票数 0
回答已采纳
我最近开始研究使用Hive和Impala查询HDFS上的大量CSV数据。正如我所期望的那样，与Hive相比，我使用Impala获得了更好的响应时间，对于我到目前为止使用的查询。
我想知道是否有一些类型的查询/用例仍然需要Hive，而Impala不太适合。
与Hive相比，Impala如何为HDFS上的相同数据提供更快的查询响应？
浏览 2提问于2013-05-26得票数 57
回答已采纳
总之，我是新手，很少尝试用例。我在hdfs中有一个文件，并且希望加载到黑斑马表中。
-文件在上的位置:hdfs://xxx/user/hive//
- TABLE ：创建表impala_test_table (File_Format STRING，Rank TINYINT，Splitable_ind STRING )行格式，行格式以'\，‘结束为文本文件；
-中的加载语法:在路径中加载数据‘hdfs://xxx/user/ hive //impala_test’到表impala_test_table中；P.S :我能够成功地用hive加载它。
path="/user/hive
浏览 0提问于2017-03-17得票数 1
用例是运行配置单元中的sql列表并更新impala元数据。如下所示，hive和impala的两个方法使用jdbc_hook。按照我调用这些方法的顺序，只有第一个方法运行，第二个方法抛出错误- java.lang.RuntimeException: Class <driver name of hive/impala> not found。当单独使用时，每种方法都运行良好。请找到airflow自定义运算符的execute方法:注意:：我不能使用hive_operator运行hive语句。我在HiveServer2_Hook中看不到任何方法。我是第一次接触airflow，非常感谢您的帮助
浏览 0提问于2020-07-30得票数 0
1回答
我已经使用命令行在TLS6.5上安装了一个带有impala和sentry (CDH5.2)的集群，还设置了openLDAP (不带TLS域)。两者都独立运行，没有任何问题。
要为openLDAP配置Hadoop集群，我已经为所有hadoop服务创建了所需的LDAP组，并在core-site.xml和impala配置文件中创建了所需的条目，这些配置文件列出了文档中提到的LDAP等。
当我使用"impala-shell -l -u test1“为LDAP用户调用impala-shell时，其中test1是一个有效的openLDAP用户，它要求输入我提供的密码。问题是，一旦完成，它就会挂起。
浏览 5提问于2015-07-08得票数 0
我使用Hadoop2.2.6迷你集群(1主和3个奴隶)和Ambari 2.1.0和Hue 3.8.1，Ubuntu12.04。Spark 1.2.1 (使用Scala2.10.3)是作为Ambari设置的一部分安装的。我已经安装了Livy-Server，以便能够使用Hue中的Spark。hue.ini文件中的可信内容如下：
[spark]
# Host address of the Livy Server.
livy_server_host=host1.com
# Port of the Livy Server.
livy_server_port=8998
# Configure l
浏览 3提问于2015-09-16得票数 0
回答已采纳
我想从Hive或Impala.In读取Hbase当前和以前版本的数据。我最初的研究发现，只有当前版本可以从hive访问。那么，目前有没有办法从hive或Impala中检索较旧的版本？
浏览 1提问于2016-05-12得票数 1
1回答
我正在寻找一种一致的方法，在Hive查询语言和Impala查询语言中，散列函数产生相同的值，不管是在Hive还是Impala中完成。为了澄清，我想要一些类似some_hive_hash_thing(A) = some_other_impala_hash_thing(A)的东西。
对于Hive，我知道有hash()使用MD5 (或任何命令)。对于Impala，我知道有fnv_hash()使用FNV算法。我知道蜂巢和黑斑羚有各自的散列功能，但它们完全不同。
理想情况下，我正在寻找一种在蜂巢中做fnv_hash的方法，或者一种在Impala中做MD5的方法。有人有什么建议吗？
浏览 6提问于2018-09-07得票数 4
回答已采纳
1回答
我们正在使用最新版本的蜂巢以及黑斑羚。Impala正在使用LDAP进行身份验证，并通过Sentry进行授权。到目前为止，蜂箱访问尚未通过Sentry授权。我们正在从Impala创建表，而/user/hive/仓库通过"hive“组拥有组级所有权，因此文件夹权限为impala:hive。
drwxrwx--T - impala hive 0 2015-08-24 21:16 /user/hive/warehouse/test1.db
drwxrwx--T - impala hive 0 2015-08-11 17:12 /user/hive
浏览 4提问于2015-08-28得票数 0
我的搜索显示，没有任何Hibernate/OpenJPA/EclipseLink驱动程序用于Hive或Impala。一个障碍是，像Hive这样的数据库不能在标准模式下实现更新命令，因为ORC和Parquet文件都是CRD文件(创建、读取、删除、不更新)。另外，唯一性、自动增量、连接和其他一些操作可能很困难或不可能。然而，是否有可能为Hive和Impala实现的HQL/SQL命令实现这样的驱动程序，而不存在任何更大的障碍/问题？
编辑:我实际上是在寻找支持尽可能多SQL特性的驱动程序，因为Hive和Impala支持大量的SQL子集。我不是在找NoSQL司机。
浏览 0提问于2016-05-10得票数 1
我需要通过创建hive/impala表将数据从mysql数据库摄取到Hadoop。我在mysql中有nvarchar和bit数据类型，所以在创建hive表时，在HIVE/Impala中声明什么是最合适的数据类型。我在考虑使用字符串吗？
浏览 19提问于2017-03-14得票数 0
我对火花不是很熟悉，所以如果这是纳维，请原谅我。
我有一个HDFS数据湖，可以通过Hive和Presto、Impala和Spark (集群中的)查询数据。
但是，Spark没有内置的访问控制，出于安全原因，我只能使用Hive/Presto进行查询。
我的问题
可以在本地安装(例如，我的笔记本电脑)，可以使用JDBC连接数据源(Hive或Presto)，就像在中一样？因此，我可以使用PySpark的dataframe语法和Python来查询数据，而不是使用SQL，这对我来说更有效率。与使用Pandas读取数据有什么不同？在Pandas中，数据是直接加载到我的笔记本电脑中的，所以我只能加载1M行
浏览 3提问于2019-10-21得票数 1
回答已采纳
我在PreparedStatement和Impala身上出了点问题。下面是我的示例代码：
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.logging.Level;
import java.util.logging.Logger;
public class TestPreparedStatement {
public static void mai
浏览 1提问于2018-04-27得票数 1
回答已采纳
2回答
蜂巢和黑斑羚的NOLOCK
、、、、
我想了解为什么我们在执行Impala、Hive或MySQL的SQL查询时不使用NOLOCK关键字。例如，我在工作时通过Cloudera工作台使用Hive和Impala。Cloudera工作台不识别NOLOCK关键字。类似地，我以前也使用过MySQL。即使在那里，诺洛克也不起作用。为什么我们不需要在Hive，Impala，MySQL或Big中使用NOLOCK呢？
免责声明:我想澄清的是，我对NOLOCK特性及其用例有很好的理解。这个问题与不需要NOLOCK的SQL味道有关。
浏览 13提问于2022-02-03得票数 0
回答已采纳
我正在尝试在我的本地机器(32位ubuntu)上安装cloudera impala，但没有安装cloudera管理器( 32位ubuntu不支持cloudera impala，我也尝试过，但失败了)。
我尝试使用以下命令从存储库下载impala。
$ sudo apt-get install impala-shell
$ sudo apt-get install impala # Binaries for daemons
$ sudo apt-get install impala-server # Service start/stop
浏览 8提问于2013-06-18得票数 5
我创建了一个创建自动增量值的java函数，我还创建了一个基于此函数的hive UDF，它在hive中工作得很好。我基于此函数创建了一个Impala UDF，它返回'null‘而不是自动递增整数。
下面是java的UDF代码：
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.udf.UDFType;
@UDFType(stateful = true)
public class AutoIncrementUDF extends UDF {
int ctr;
publ
浏览 1提问于2015-04-07得票数 1
我可以在hive和impala中使用基于java的UDF，但在where子句中调用udf时抛出ClassNotFound错误。 当在where子句中引用时，自定义函数不能使用，但当它仅在impala 2.9.0-cdh5.12.1中的select后面引用时，它才能正常工作 在hive中，select udfjson(memo,state) from tableA where udfjson(memo,state) = 0 and name = 'test'工作正常，但在impala中无法正常工作。 在impala中执行select udfjson(memo,state) fr
浏览 36提问于2019-06-28得票数 0
1回答
我已经广泛地使用了HIVE 13.1，并且想开始在Impala 2.5中运行我的一些作业。当前配置单元中有哪些功能在impala中不可用？是否有人将工作流从Hive过渡到Impala，需要注意的是什么？
浏览 4提问于2016-08-25得票数 1
尽管Impala比Hive快得多，但我们使用Hive是因为它支持复杂(嵌套)数据类型，如数组和映射。
我注意到，像一样，Impala现在支持复杂的数据类型。因为在Impala上运行Hive也是可能的，所以我们可以在Impala上做我们想做的任何事情，但是速度要快得多。这是个好消息！
当我扫描文档时，我看到Impala期望以Parquet格式存储数据。我的数据，以其原始形式，恰好是一个两列CSV，其中第一列是ID，第二列是由管道分隔的字符串数组，例如：
123,ASDFG|SDFGH|DFGHJ|FGHJK
234,QWERT|WERTY|ERTYU
创建了一个Hive表：
CREATE TAB
浏览 1提问于2016-05-15得票数 3
回答已采纳
我直接在hive 3.1中使用impala 3.4。
问题是，如果您在hive中创建一个常规表，然后在impala中选择它，则会发生错误。
错误消息如下：
Query: show tables
+----------+
| name |
+----------+
| customer |
| lineitem |
| nation |
| orders |
| part |
| partsupp |
| region |
| supplier |
| t |
+----------+
Fetched 9 row(s) in 0.02s
[host.cl
浏览 22提问于2020-11-20得票数 1
1回答
我想在PySpark中构建一个模型。和输入到此模型的表单impala.Is是否可以从PySpark连接？谢谢!
浏览 0提问于2017-06-03得票数 1
试着找出答案，但当我想到以下几点时却找不到答案。
它涵盖星火，黑斑羚，先生，蜂巢多租户。与黑斑羚有关的情景。我觉得它可以应用到火花，也因为黑斑羚/火花都是占用记忆。
场景1说，我们为MR、Hive和Impala创建了一个具有多租户的10节点集群，其中40%的资源静态分配给了Impala。为了运行黑斑羚，我们创建了带有256 GB RAM数据节点的集群。
问题是基于这种配置的，我们正在失去低成本的优势，即32~40 GB的5-6个核心节点，这是MR/Hadoop在处理100 the数据时的主要卖点之一。
场景2：创建一个包含256 GB RAM和32-40 GB RAM节点的集群。
问题是，在本
浏览 5提问于2017-09-29得票数 2
我正试着在我的linux机器上使用impala。我的不是cloudera发行版。我单独安装了Hadoop、Hive、HBase和其他组件。
以下是版本
Hadoop - 1.0.4
HBase - 0.94.8
Hive - 0.9.0
Impala - 1.2.3
我使用rpm安装了impala，因为我的是一个redhat linux机器。
在我所做的研究中，我了解到impala只能与Hadoop 2.x一起工作。是真的吗？如果它是正确的，我需要迁移到2.x而不是在1.x上浪费时间。
有人能证实这一点吗？提前谢谢。
浏览 2提问于2014-06-06得票数 1
我刚开始使用云服务，在谷歌的云平台上导航是非常可怕的。当涉及到Google Dataproc时，他们确实在宣传Hadoop、Spark和Hive。
我的问题是，Impala到底有没有？
我想做一些基准项目使用所有这四个工具，我需要Apache Impala以及Spark/Hive。
浏览 1提问于2019-05-31得票数 2
4回答
我在HDFS中有一些事件日志数据，其原始格式如下所示：
2015-11-05 19:36:25.764 INFO [...etc...]
一个外部表指向这个HDFS位置：
CREATE EXTERNAL TABLE `log_stage`(
`event_time` timestamp,
[...])
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS INPUTFORMAT
'org.apache.hado
浏览 5提问于2015-11-05得票数 4
回答已采纳
我正在尝试使用Impala访问由hive创建的一个表。这样的访问有什么问题吗？另外，访问由Impala由Hive创建的表也很好。
浏览 7提问于2016-09-19得票数 0
我有一个需要加载到Hive Table中的示例文件
示例文件：'data'，'kumar's'，'big'data'，'Hive'，'impala-shell‘
我需要这样的输出: data，kumar's，big'data，Hive，impala-shell
我只需要外部引号被删除。
如果您有任何配置单元表定义或shell命令来删除外部引号，建议我
浏览 3提问于2017-09-29得票数 1
1回答
我在我的项目中使用bigdata来压缩执行ETL所需的操作时间。
我想理解的是CloudEra Impala框架内存密集型，因为它返回结果非常快，而且比hive和Pig快得多。
我有一个有2000-3000万条记录的数据集，我执行一个impala查询操作，比如group by和join
所以你是建议使用impala，因为它更快，还是使用hive。我的全部意图是压缩我现在正在使用Oracle的ETL操作时间。
请建议有关内存的使用和它是否建议...
此外，如果有任何链接，让我们了解Impala是如何工作的，以及它是如何使用内存的，这将是非常有帮助的。
谢谢！
浏览 4提问于2015-01-13得票数 0
2回答
Unix字符串比较
、、、、
我有两个变量是以不同的方式填充的，我想比较它们的值。如果您注意到下面的回声，两个变量值都是相同的，但是字符串比较显示“不匹配”。有什么不对的？
代码：
IMPALA_NODE=ipaddress.goes.here
HIVE_DBNAME="dbname"
HIVE_TABLENAME="tablename"
CNT_FILE=$(wc -l < /tmp/filename.csv)
CNT_EXTTABLE=`impala-shell -k -i $IMPALA_NODE -d $HIVE_DBNAME -q "select co
浏览 3提问于2015-12-15得票数 0
1回答
两个查询的蜂巢联合显示了编译错误
、、、、
我不知道下面的蜂巢查询有什么问题。然而，这是抛出的错误。
select h.database_name, h.table_name, h.frequency as hive_frequency, i.frequency as impala_frequency
from hive_access_frequency h
left join impala_access_frequency i
on
h.database_name = i.database_name and
h.table_name = i.table_name
union
select i.database_name,
浏览 11提问于2021-08-11得票数 1
回答已采纳
1回答
我有一个Kerberized集群，其中有一些每天运行的oozie工作流。它们都使用shell、impala-shell、hive和sqoop将数据吞并到Hive表中(让我们称这些表为SensitiveTables)。
现在，我想创建两个新的BI用户来使用集群，并对其他一些被摄入的数据进行实验。
要求这些新BI用户：
而不是是否有权访问SensitiveTables
应该能够将作业spark-submit到集群。
(可选)使用Hue
除了设置 (这是推荐的方法)之外，是否有机会使用文件权限或ACL和服务级别授权来满足这些要求？
到目前为止，我设法(通过hadoop fs -c
浏览 3提问于2017-09-22得票数 2
回答已采纳
3回答
我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大数据。我已经准备好了设置，现在我正在尝试从MySQL表中导入数据。表大小超过500 GB，我计划使用Sqoop，如下所示：
sqoop import --connect jdbc:mysql://remote_host_ip/database_name --username user_name -P --table table_name --hive-import --compression-codec=snappy --as-parquetfile --warehouse-dir=/user/hive/warehouse -
浏览 26提问于2016-08-24得票数 1
我在做hadoop、hive、impala和kudu的研发。已安装HADOOP、HIVE、IMPALA和KUDU服务器。
我已经在/etc/default -> impala文件中配置了--kudu_master_hosts=：。如下所示：
IMPALA_SERVER_ARGS=" \
-log_dir=${IMPALA_LOG_DIR} \
-catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
-state_store_port=${IMPALA_STATE_STORE_PORT} \
-u
浏览 2提问于2018-07-03得票数 0
我在Java中有两个Hive，它们在Hive中运行得非常好。
这两种功能互为补充。
String myUDF(BigInt)
BigInt myUDFReverso(String)
myUDF("myInput")给出了一些输出，当myUDFReverso(myUDF("myInput"))应该返回myInput时
这在Hive中是可行的，但是当我尝试在Impala (版本1.2.4)中使用它时，它给出了myUDF(BigInt)的预期答案(所打印的答案是正确的)，但是当传递给myUDFReverso(String)时，答案不会返回原来的答案)。
我注意到len
浏览 0提问于2015-05-08得票数 0
回答已采纳
我在一台Windows7计算机上运行Quickstart VM Cloudera，它有8Go的RAM和4Go的专用内存。
我使用Sqoop将表从SQL数据库加载到Hive (Cloudera VM教程练习1)。使用Hive Query Editor或Impala Shell，一切工作正常(即，"show tables“向我显示导入的表)。
使用Impala查询编辑器，无论我输入什么，我都会得到相同的错误消息：
AnalysisException: Syntax error in line 1: USE `` ^ Encountered: EMPTY IDENTIFIER Expecte
浏览 1提问于2016-01-27得票数 4
1回答
我有一个Hadoop集群，有一个主人和3个奴隶。现在，我想在这个集群上添加Apache功能。我已经从下载了tarball。我想建造黑斑羚，但不确定先决条件是什么。有两个不同的来源：
，来自Docs，它说需求是: MySQL (或PostgreSQL)，Hive转移，和Java依赖关系(很明显)。
在解锁tar球之后在apache-impala目录中创建的apache-impala文件。引用它的话：
Impala可以使用预先构建的组件构建，可以从S3下载，也可以使用位于第三方目录中的就地工具链构建(不推荐)。构建Impala所需的组件是Apache、Hive、HBase和Sentry。
浏览 0提问于2019-03-26得票数 2
回答已采纳
我试图在Impala-Shell中创建一个具有中文列名的表，但是Impala似乎不接受这样的DDL。
sql如下所示：
create table aa(`编号` string);
并且Impala-shell会抱怨编号是一个无效的列名。
我也用双引号或单引号，两者都不起作用。
但是Spark和Hive接受这个DDL..。
我是不是做错什么了，或者黑斑羚就是这样做的？
P.S.我使用的是Impala CHD 5.8.0
浏览 3提问于2017-02-28得票数 1
回答已采纳
我正在尝试在RedHat5上以伪分布式模式设置Cloudera Impala和CDH4。我让Hive使用JDBC连接到MySQL转储，但我在使用JDBC设置Impala时遇到了问题。我一直在遵循这里的说明：
我已经将JAR解压到一个目录中，并将该目录包含在$CLASSPATH中。我还在$CLASSPATH中包含了/usr/lib/hive/lib，它有mysql-connector-java-5.1.25-bin.jar。
在我的配置单元和Impala conf目录中，我都有包含以下属性的hive-site.xml：
<property>
<name>javax
浏览 2提问于2013-06-18得票数 7
回答已采纳
1回答
考虑一个具有多个原语和集合作为成员变量的复杂java (JAXB)对象。Reducer阶段将这些对象作为< K，V >对发送到HDFS中，其中K是id，V是对象的序列化形式(SequenceFileOutputFormat)。
可以将这些java序列化对象从HDFS/本地位置加载到Hive/Impala吗？
MongoDB能够将JAXB对象存储为现成的json文档。在Hive或Impala上实现同样的目标的任何帮助都是非常感谢的。
浏览 3提问于2013-06-07得票数 0
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！
让我解释一下：
我有一个用spark.sql读取的csv文件。我读取该文件，将其转换为dataframe并将其存储在一个Hive表中。此文件中的一个字段是日期，格式为"3/10/2017“。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单地更改数据类型到日期的解决方案)
从文档中可以看到，Hive时间戳数据类型具有“YYYY:MM:SS”格式，因此在将数据输入到Hive表之前，我会将日期
浏览 1提问于2017-11-22得票数 1
回答已采纳
我正在尝试在一个docker容器中安装impala (使用MAPR文档).In这个docker我只运行Impala服务，其余的hive，maprfs服务将在物理服务器上运行启动impala- node.When (impala守护进程)我得到了厌倦的错误我只想知道这种安装是否可能。
谢谢你的帮助！
浏览 0提问于2018-04-11得票数 0
1回答
我必须将一些Impala shell命令迁移到Hive。它们是非常简单的命令，但我对它们有点迷惑，因为我知道它们每一个都做了什么，但我不知道它们在Hive中的等效形式。
TABLE=$(impala-shell -i ${server} --delimited --quiet -q "select concat(db_normalized,'.',tb_normalized) from parametric_table where source='testSource' and product='testProduct' limit 1&
浏览 4提问于2021-07-19得票数 0
我正在用Python编写一些ETL流，对于这个过程的一部分，使用Hive。根据的说法，Cloudera的impyla客户端与Impala和Hive一起工作。
根据我的经验，客户为Impala工作，但当我试图连接到Hive时挂了起来：
from impala.dbapi import connect
conn = connect(host='host_running_hs2_service', port=10000, user='awoolford', password='Bzzzzz')
cursor = conn.cursor()
浏览 11提问于2016-03-07得票数 6
回答已采纳
我有一个场景，从具有parent_node_id和child_node_id的层次结构表中查找最低级别的子节点，如下所示。源表位于Hive和Impala数据库中。请建议hive/impala查询，以查找源表中每个父节点的最低级别子节点。
我尝试在Impala中使用CTE递归查询，但我想它不受支持。
提前谢谢你！
资料来源表：
+-------------+--------------+
|child_node_id|parent_node_id|
+-------------+--------------+
| C1 | P1 |
+-----------
浏览 0提问于2019-02-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
