我尝试在cloudera集群上执行性能测试。但是，就Impala使用缓存来存储以前的查询而言，我如何才能空缓存？
Impala使用缓存吗？Impala不缓存数据，但它缓存一些表和文件元数据。虽然查询在后续迭代中可能运行得更快，因为数据集被缓存在OS缓冲区缓存中，但Impala并没有显式地控制这一点。
引用自：
浏览 4提问于2015-04-20得票数 0
我在这个链接上看到了影响的链接
从Impala 1.1开始，REFRESH语句只适用于现有表。对于新表，需要发出“失效元数据”语句。
对于后来版本的Impala来说，这仍然成立吗？
浏览 9提问于2017-02-15得票数 14
在黑斑羚的正式文档中，statestore组件有一个语句：
如果在statestore关闭时发出DDL语句，则访问DDL创建的新对象的查询将失败。
如果我错了，请纠正我，但是通过Impala SQL所做的元数据更改将从Impala Catalog服务传播到Impala Daemons。那么，如果statestore关闭，通过DDL生成的新对象的查询为什么会失败呢？
浏览 0提问于2019-07-16得票数 0
回答已采纳
1回答
无法访问Impala中的配置单元表，该表对日期列创建了分区。使用dynamic partition column选项插入数据。现在，impala中不支持日期数据类型。我应该怎么做才能在impala中访问这个表。是否有在配置单元中创建时间戳分区的选项?如果有，方法是什么？
浏览 3提问于2019-05-20得票数 1
1回答
我从MySQL导入了一个表，该表有1000万行到Hive，现在在Impala中执行一些操作来检查功能和性能。现在，当我发出以下查询时，我得到了一个错误argument of type 'NoneType' is not iterable。
select count(id) from my_table_name;
在导入数据来修复这个问题之后，我需要做些什么呢？我打算使用黑斑羚主要是为了分析的目的，所以它涉及大量的和函数。
浏览 3提问于2016-08-31得票数 4
我在蜂巢有张桌子：
CREATE EXTERNAL TABLE sr2015(
creation_date STRING,
status STRING,
first_3_chars_of_postal_code STRING,
intersection_street_1 STRING,
intersection_street_2 STRING,
ward STRING,
service_request_type STRING,
division STRING,
section STRING )
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde
浏览 0提问于2018-12-03得票数 2
我用的是蜂巢和黑斑羚。我发现当我创建新表时，Impala StateStore即使在几个小时后也不会自动刷新。
我知道我可以通过在refresh中运行“impala-shell”(如果需要的话在cron作业中)来实现这一点，但是我想知道：impalad刷新元数据的频率有多高，并且可以将这个间隔设置为更短的时间吗？如果是这样的话，是怎么做的？
浏览 0提问于2013-08-31得票数 2
我使用mysql将hdfs表复制到sqoop中，然后使用"create external table“命令在impala中创建同名表。
现在，我有更多的数据要插入到impala表中，使用java api of Impala，即ImpalaService.jar。请帮助我在表中使用java api插入数据。
谢谢。
浏览 2提问于2014-05-14得票数 1
回答已采纳
我需要通过创建hive/impala表将数据从mysql数据库摄取到Hadoop。我在mysql中有nvarchar和bit数据类型，所以在创建hive表时，在HIVE/Impala中声明什么是最合适的数据类型。我在考虑使用字符串吗？
浏览 19提问于2017-03-14得票数 0
3回答
我使用sqoop将数据从MySQL导入到hdfs，并将其作为片材文件，在该文件中由Impala使用。将MySQL日期类型转换为Impala时间戳存在问题。
执行compute stats table或select *时的Impala错误消息是：
File 'hdfs://....parquet'
has an incompatible type with the table schema for column 'day'.
Expected type: INT32. Actual type: INT64
将日期列的数据类型更改为BIGINT或STRING将使错
浏览 6提问于2016-01-08得票数 0
回答已采纳
2回答
我是大数据和相关工具/技术的新手。我在查黑斑羚的资料。
说Impala是一个集群柱状数据库是真的吗？而Impala需要大量内存来计算/转换数据？
浏览 4提问于2017-04-28得票数 1
回答已采纳
我在一个文本分隔表中存储了大量数据，我通过Impala创建了这个表的Impala，我用Hive中的数据编写了它，我想在一个文件中把它放到Unix中的local file system中。在HDFS表位置路径中有多个文件，这是我使用的命令：
hadoop fs -cat '<tablelocationinHDFS>/*' > /unixlocalpathandfilename.csv
我有两个错误：
cat: is a directory error
因为其中只有一个error?cat: Unable to write to output stream目录，所以
浏览 5提问于2020-04-29得票数 2
回答已采纳
1回答
将蜂窝转移到sys
、、、、
使用Impala、Hive、Pig之一提取类似SQL Server sys的Hive元数据的最佳方法是什么？
注意:我没有访问HDFS的ssh的权限。
浏览 5提问于2018-04-13得票数 0
我的用例：
逐日在mysql数据库中创建每小时表。我需要每天使用Sqoop将它们移动到HDFS，并使用Impala处理HDFS数据。
如何编写shell脚本或作业，以便定期将新创建的表数据移动到HDFS(现有文件系统)？
假设今天是2016年1月3日，当我今天运行我的工作时，那么2016年1月2日的数据应该像宽每天一样从mysql移动到HDFS，它应该移动前一天的数据。每天，我都需要在这个HDFS集群上运行我的Impala查询并生成报告。
如何使用Impala处理整个数据并生成报告？
浏览 2提问于2016-01-13得票数 1
3回答
我尝试通过hive查询hbase数据(我使用的是cloudera)。我做了一个指向hbase的五个hive外部表，但问题是Cloudera的Impala不能访问所有这些表。所有的hive外部表都会出现在metastore管理器中，但是当我在Impala中执行一个简单的"show tables“时，我发现有3个表丢失了。这会是一个特权问题吗？我在metastore管理器中看到，缺少的3个表是每个人都可以读取的，所以...
浏览 2提问于2013-12-11得票数 20
回答已采纳
1回答
我有Tableau连接到Cloudera Impala数据。我从Metastore读取的表一直在更新，所以当我想要更新viz (按下F5)时，我必须在刷新viz之前转到Cloudera中的Impala并执行“无效元数据”。我知道这可以使用到Hive Server2的连接来完成，但执行查询需要很长时间。我的问题是，在Impala Cloudera中如何自动执行“验证元数据”和“刷新”查询？
谢谢,
Amr
浏览 2提问于2015-04-15得票数 1
2回答
当在Hive中更改分区位置时，REFRESH table命令刷新Impala中的元数据吗？
我将使用以下方法更改Hive表分区位置
ALTER TABLE db.table partition(key=value1, key2=value2) set location='path'
之后，我在Impala上运行REFRESH db.table，它不更新元数据。如果我运行INVALIDATE METADATA，它就工作了。
浏览 1提问于2019-10-10得票数 3
回答已采纳
使用配置单元如果我创建一个表，在其中插入记录，并首先在Impala中反映相同的表，我必须运行反映执行器上的元数据的无效元数据，还会显示新添加的记录。那么我的问题仍然是为什么我们需要进行刷新表？
浏览 4提问于2019-09-16得票数 2
如何以编程方式查找所有需要INVALIDATE METADATA语句的Impala表(因为它们是在Hive中创建的，但尚不为Impala所知)或REFRESH (因为添加了列、添加了数据文件等)？
浏览 0提问于2018-08-28得票数 3
1回答
我有一个从Impala获取数据的应用程序，完成这个过程并生成最终报告。写了一些测试用例来验证我本地的代码。在测试用例执行期间，它连接到remore impala服务器并获取数据。
由于远程jdbc连接到impala，所以完成我所有的测试用例需要很长时间。
我想，如果impal可以在本地设置为jar或其他东西，我将有助于减少测试用例的执行时间。
有人能给我提点建议来实现我的目标吗？
考虑使用支持所有impala查询的h2数据库，因此我在执行时更新了laod数据
我尝试过H2数据库，postgress，mysql等
浏览 32提问于2019-03-26得票数 1
1回答
黑斑羚展示表
、、
我知道在Impala (和其他数据库)中，我可以运行以下两种方式：
SHOW DATABASES
SHOW TABLES
我还知道可以添加可选的LIKE或IN参数，例如，向我展示数据库中的所有表--、香蕉、--我可以编写：
SHOW TABLES IN Bananas
我真正想知道的是一种不用递归地返回数据库中所有表的方法(也可以在单独的字段中显示数据库名和表名)。
我将通过impala shell运行这个程序，所以我必须首先返回所有的数据库名称，然后为每个数据库生成一个脚本行来给出表。
这样做并不是什么问题，我只是不由自主地想，一定有更好的方式来结束：
浏览 3提问于2016-08-12得票数 1
回答已采纳
1回答
我已经使用命令行在TLS6.5上安装了一个带有impala和sentry (CDH5.2)的集群，还设置了openLDAP (不带TLS域)。两者都独立运行，没有任何问题。
要为openLDAP配置Hadoop集群，我已经为所有hadoop服务创建了所需的LDAP组，并在core-site.xml和impala配置文件中创建了所需的条目，这些配置文件列出了文档中提到的LDAP等。
当我使用"impala-shell -l -u test1“为LDAP用户调用impala-shell时，其中test1是一个有效的openLDAP用户，它要求输入我提供的密码。问题是，一旦完成，它就会挂起。
浏览 5提问于2015-07-08得票数 0
1回答
在Impala中，是否有一种方法可以检查数据库中哪些表包含特定的列名？
类似于：
select tablename, columnname
from dbc.columns
where databasename = 'mydatabasename'
and columnname like '%findthis%'
order by tablename
上面的查询在teradata环境中工作，但是在Impala中抛出一个错误。
谢谢,
浏览 4提问于2017-11-14得票数 3
回答已采纳
3回答
我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大数据。我已经准备好了设置，现在我正在尝试从MySQL表中导入数据。表大小超过500 GB，我计划使用Sqoop，如下所示：
sqoop import --connect jdbc:mysql://remote_host_ip/database_name --username user_name -P --table table_name --hive-import --compression-codec=snappy --as-parquetfile --warehouse-dir=/user/hive/warehouse -
浏览 26提问于2016-08-24得票数 1
我有一个CSV数据，每个字段都用双引号括起来。当我使用serde 'com.bizo.hive.serde.csv.CSVSerde‘创建配置单元表时，当在Impala中查询上面的表时，我得到错误SerDe not found。
我在/usr/lib/impala/lib文件夹中添加了CSV Serde JAR文件。
后来在Impala文档中研究发现，Impala不支持自定义SERDE。在这种情况下，我如何克服这个问题，以便我的CSV数据与引号是小心的。我想使用CSV Serde，因为它在值中使用逗号，这是一个合法的字段值。
非常感谢
浏览 0提问于2014-09-03得票数 6
我在Impala中创建了一个外部表。我正在编写一个shell脚本，它检查该表中是否存在特定的列。
我们可以使用以下查询在MySql中执行此操作。
SELECT *
FROM information_schema.COLUMNS
WHERE
TABLE_SCHEMA = 'db_name'
AND TABLE_NAME = 'table_name'
AND COLUMN_NAME = 'column_name'
但是，在黑斑羚，我们如何才能做到这一点？
浏览 5提问于2014-05-08得票数 4
回答已采纳
1回答
我必须将一些Impala shell命令迁移到Hive。它们是非常简单的命令，但我对它们有点迷惑，因为我知道它们每一个都做了什么，但我不知道它们在Hive中的等效形式。
TABLE=$(impala-shell -i ${server} --delimited --quiet -q "select concat(db_normalized,'.',tb_normalized) from parametric_table where source='testSource' and product='testProduct' limit 1&
浏览 4提问于2021-07-19得票数 0
1回答
我有这样的数据：
[{'album': 'Lonerism',
'song': 'Led Zeppelin (Bonus Track)',
'datetime': '2014-12-10 08:03:00',
'artist': 'Tame Impala'},
{'album': 'Lonerism',
'song': 'Feels Like We Only Go Backwards&
浏览 3提问于2014-12-13得票数 0
回答已采纳
使用黑斑羚，我可以看到蜂巢的转移，使用任何由Hive创建的数据库，并查询由hive创建的任何表。当我试图在黑斑羚中创建一个表或做一个“无效元数据”时，我会得到
错误:无法打开本地主机的传输:26000(连接()失败:连接被拒绝)
具有以下配置。这是一个多节点集群配置*手工构建，即不使用Cloudera *
CentOS 6
CDH4.5
黑斑羚1.2.1
蜂巢MySQL Metastore
impalad运行在具有数据节点的多个节点上。
状态和目录在一个节点上运行，而该节点不是impalad节点。
在/etc/default/impala中，我已经将IMPALA_S
浏览 0提问于2013-12-12得票数 0
我最近开始研究使用Hive和Impala查询HDFS上的大量CSV数据。正如我所期望的那样，与Hive相比，我使用Impala获得了更好的响应时间，对于我到目前为止使用的查询。
我想知道是否有一些类型的查询/用例仍然需要Hive，而Impala不太适合。
与Hive相比，Impala如何为HDFS上的相同数据提供更快的查询响应？
浏览 2提问于2013-05-26得票数 57
回答已采纳
1回答
我有一张镶木镶嵌桌，格式如下：
.impala_insert_staging
yearmonth=2013-04
yearmonth=2013-05
yearmonth=2013-06
...
yearmonth=2016-04
在这些目录下的每个目录下都是我的拼图文件。我需要把它们放到我的另一张桌子上，它只有一个
.impala_insert_staging
文件。
请帮帮忙。
浏览 1提问于2016-03-18得票数 0
2回答
蜂巢和黑斑羚的NOLOCK
、、、、
我想了解为什么我们在执行Impala、Hive或MySQL的SQL查询时不使用NOLOCK关键字。例如，我在工作时通过Cloudera工作台使用Hive和Impala。Cloudera工作台不识别NOLOCK关键字。类似地，我以前也使用过MySQL。即使在那里，诺洛克也不起作用。为什么我们不需要在Hive，Impala，MySQL或Big中使用NOLOCK呢？
免责声明:我想澄清的是，我对NOLOCK特性及其用例有很好的理解。这个问题与不需要NOLOCK的SQL味道有关。
浏览 13提问于2022-02-03得票数 0
回答已采纳
1回答
我已经使用hql创建了一个数据库，并且正在创建中。但我不能从impala应用程序中使用该数据库。但是表存在于hive中，我们可以在那里查询它。此问题仅在某些新创建的表中出现。有人能帮帮忙吗？
浏览 1提问于2016-05-12得票数 0
2回答
我正在使用Imapala上的一些表，并使用jdbc配置单元驱动程序进行查询。在提取数据之前，我需要在某些表上运行刷新(或配置Impala以自动运行)。当我尝试通过jdbc驱动程序运行refresh tablename时，我做不到(因为在HIVE中这个命令不存在--我想)。我试着写了一个简单的impala-shell脚本(refresh tablename)，然后像这样用curl运行，curl -i -L "http://<server>:50070/webhdfs/v1/<path to sh file>?op=OPEN"也不起作用。有人能帮我吗？谢谢!
浏览 4提问于2018-08-30得票数 0
4回答
我正在尝试用Python编写一个spark作业，它将打开与Impala的jdbc连接，并将视图直接从Impala加载到Dataframe中。这个问题非常接近，但在scala中：
我该怎么做呢？有很多其他数据源的示例，比如MySQL、PostgreSQL等，但我还没有看到一个用于Impala + Python + Kerberos的示例。举个例子会有很大帮助。谢谢!
用网络上的信息试过了，但不起作用。
SPARK笔记本
#!/bin/bash
export PYSPARK_PYTHON=/home/anave/anaconda2/bin/python
export HADOOP_CONF_DIR
浏览 7提问于2016-09-09得票数 5
我在hive table1有一张桌子。我正在使用impala从表中获取数据
table1
------
name, amount
其中表的值是
test1, 10
test1, 15
test1, 30
test2, 30
test2, 40
test2, 50
test3, 30
test3, 40
test3, 50
现在，我必须从table1中获取数据，这样，它才能获取所有name (test1, test2, test3) but gives only top 2 records based on amount for each name的数据。
Can it possible i
浏览 0提问于2014-02-06得票数 2
1回答
我试图在Impala中计算表中的列数。
下面的代码在中工作，但在Impala中给出了错误。有什么想法吗？
SELECT COUNT(*)
FROM INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_CATALOG = 'database_name'
AND TABLE_SCHEMA = 'schema_name'
AND TABLE_NAME = 'table_name'
来自黑斑羚的错误：
AnalysisException:第1行的语法错误：…‘从information_schema.COLUMNS ^遭遇:列预
浏览 0提问于2018-01-28得票数 0
我有一个snappy.parquet文件，我想通过impala或beeline将它完整地移动到一个表中，通过以下方式创建表
CREATE EXTERNAL TABLE IF NOT EXISTS first_test LIKE PARQUET '/user/my_user/my_table/part-00000-c0544fc8-b709-4408-8e90-f0f9e4050691-c000.snappy.parquet'
由于某种原因无法工作，因为当我通过spark.read.parquet在spark中读取这个文件时，它显示为Fetched 0 row(s) in 0.3
浏览 30提问于2018-06-07得票数 0
回答已采纳
1回答
我想在running total中实现Impala示例，如下所示：
DATE | DAY | COUNT | Total
2014-11-12 | 1 | 12 | 12
2014-11-13 | 2 | 32 | 44
2014-11-14 | 3 | 50 | 94
To solve this problem using Impala, we might need temp variable like in MySql, which Impala does not suppo
浏览 6提问于2014-11-25得票数 2
我已经按照官方的kudu文档成功地在Ubuntu (信任)上安装了kudu (参见 )。安装程序有一个节点运行主服务器和tablet服务器，另一个节点只运行tablet服务器。在运行kudu主机的节点上，安装没有Cloudera管理器的黑斑羚-库都有问题。我在这个页面(请参阅 )上遵循了CDH安装说明，直到第3步。我避免了用纱线和MRv1安装CDH，因为我不需要运行任何mapreduce作业，也不会使用hadoop。没有错误地安装了Impala-kudu和impala-kudu-shell。当我启动黑斑羚壳时，它会返回：
Starting Impala Shell without Kerber
浏览 4提问于2016-09-11得票数 0
回答已采纳
考虑到以下情况：
<code>A0</code>
对于高度最小且时间小于6的每架飞机，如何准确返回1行？当之前的条件返回飞机的多行时，应使用最小时间。
预期结果：
<code>A1</code>
它是一个非常大的Apache Impala数据库，因此性能是此解决方案的一个考虑因素。
创建了一个用于测试的小提琴(注意小提琴是mysql而不是impala)：<code>C2</code>
浏览 59提问于2019-03-29得票数 1
回答已采纳
1回答
我正在使用MySQL中的现有表，但我需要知道它是如何设置的。我需要找到FIELDS TERMINATED BY设置，这样我就可以相应地设置我的Impala数据库。
浏览 14提问于2016-02-12得票数 0
回答已采纳
我正在尝试在RedHat5上以伪分布式模式设置Cloudera Impala和CDH4。我让Hive使用JDBC连接到MySQL转储，但我在使用JDBC设置Impala时遇到了问题。我一直在遵循这里的说明：
我已经将JAR解压到一个目录中，并将该目录包含在$CLASSPATH中。我还在$CLASSPATH中包含了/usr/lib/hive/lib，它有mysql-connector-java-5.1.25-bin.jar。
在我的配置单元和Impala conf目录中，我都有包含以下属性的hive-site.xml：
<property>
<name>javax
浏览 2提问于2013-06-18得票数 7
回答已采纳
1回答
重新启动Impala服务器后，我们无法看到表(即表没有出现).Anyone帮助我我们必须遵循什么顺序才能避免此问题。
谢谢，斯里尼瓦斯
浏览 0提问于2017-04-01得票数 0
我正在开发NRT解决方案，它要求我经常更新Impala表上的元数据。
目前，此无效是在我的火花代码运行后完成的。我希望通过直接从我的Spark代码执行刷新/无效操作来加快速度。
什么是最有效的方法？
乌兹太慢了(头顶30秒？)不，谢谢)
对(edge)节点的SSH操作似乎是一个有效的解决方案，但感觉是"hackish“。
我也看不出有什么方法可以在火星城的蜂巢环境中做到这一点。
浏览 3提问于2016-07-06得票数 5
回答已采纳
在mysql中，ORACLE很容易删除列名和查询输出之外的内容。
当使用IMPALA并将IMPALA查询的输出分配给shell变量时，这一点就不那么明显了。像sed这样的东西似乎是需要的。还有其他方法可以将投影数据输入shell变量吗？
在下面的代码中，只需要shell变量中的AAAAA，而不是所有的财政和+-+。
是的，我知道我们可以用.选择v作为"“..。以压制列。
+------+ | v | +-------+ | AAAAAA | +-----+
不相信用黑斑羚能做得很好。
浏览 0提问于2017-11-06得票数 0
回答已采纳
我正在尝试在我的本地机器(32位ubuntu)上安装cloudera impala，但没有安装cloudera管理器( 32位ubuntu不支持cloudera impala，我也尝试过，但失败了)。
我尝试使用以下命令从存储库下载impala。
$ sudo apt-get install impala-shell
$ sudo apt-get install impala # Binaries for daemons
$ sudo apt-get install impala-server # Service start/stop
浏览 8提问于2013-06-18得票数 5
所以我试着用sqoop将数据从impala导出到mysql中，这是由oozie job.But安排的，当第一个sqoop动作开始时，它停留在map100%，而reduce 0%.and则填充了所有其他动作。
奇怪的是，在我终止这个oozie作业之前，mysql中没有数据，但在我终止它之后，数据出现在mysql表中(只有与第一个阻塞的sqoop操作相关的表)。
下面是我的导出脚本：，我的oozie作业操作显示如下：
并且不存在错误日志。
浏览 1提问于2017-03-21得票数 1
我正在使用熊猫和pyodbc从CDH6 Impala中提取数据。这些表每天都被摄入，每隔一天，我需要进入其中，手动使几个表上的元数据失效。我一直试图用Python来实现这一点，以便让代码在列表中的每个表中迭代。但是，由于我们用语句检索一个None类型的对象，所以迭代不起作用。
有什么想法吗？
import pyodbc
import pandas as pd
connString = 'connection string'
tables = ["INVALIDATE METADATA master.table1", "INVALIDATE METAD
浏览 20提问于2021-08-26得票数 0
回答已采纳
我正在使用Tableau连接Cloudera。我提供服务器和端口的详细信息，并使用"Impala“进行连接。我能够成功地连接，选择默认架构并选择所需的表。
在此之后，当我将维度或度量值拖放到“网格”上的行/列时，将得到以下错误：
来自ThriftHiveClient的Cloudera (22)错误:查询返回非零代码: 10025，原因:失败: SemanticException错误10025:第1:7行表达式不按'<column name>‘键分组。
但是，如果我尝试使用与'HiveServer‘(而不是'Impala')相同的连接类型，它可
浏览 3提问于2014-01-21得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
