我正尝试在DSE cassandra上运行以下命令:-
dse$ bin/dse spark-sql
它给出以下错误:-
2018-05-24 16:59:41 [main] ERROR o.a.s.d.DseSparkSubmitBootstrapper - Failed to start or submit Spark application - see details in the log file(s): /home/aditya/.spark-sql-shell.log
java.lang.RuntimeException: java.lang.RuntimeException: T
尝试将配置单元从2.1.0升级到2.3.0时出现以下错误(实际将emr 5.7.0升级到5.8.0)
init hive-metastore schema]/returns: 0: jdbc:mysql://connection_string-> CREATE INDEX PCS_STATS_IDX ON PART_COL_STATS (DB_NAME,TABLE_NAME,COLUMN_NAME,PARTITION_NAME) USING BTREE Notice: /Stage[main]/Hadoop_hive::Init_metastore_schema/Exec[init hi
目前我使用的是hadoop版本2.6.2,并在ubuntu 15.10的独立模式下安装hive。当我尝试使用" hive“命令启动hive shell时,我得到以下错误:"Logging initialized using configuration in jar:file:/usr/lib/hive/apache-hive-1.2.1-bin/lib/hive-common-1.2.1.jar!/hive-log4j.properties error Terminal initialization failed;shell back to unsupported”。
我附上错
我有一个CDH 5.3实例。我首先从命令行启动hive-metastore,然后启动hive-server来启动hive-server2。在此之后,我使用beeline连接到我的hive-server2,但显然它不能这样做。
Could not open connection to jdbc:hive2://localhost:10000: java.net.ConnectException: Connection refused (state=08S01,code=0)
另一个问题是,我尝试查看hive-server2是否正在侦听端口10000。我做了“sudo netstat -tulpn
我有Hadoop1.2.1,在单个节点上安装了hive0.14.0
$ hive
Logging initialized using configuration in jar:file:/usr/local/hive/lib/hive-common-0.14.0.jar!/hive-log4j.properties
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should b
我是Hadoop的新手。我正在为大数据制作塔伦德开放工作室。我正在尝试与蜂巢相关的组件: tHiveConnection等。
在执行作业时,我会得到以下错误:
[statistics] connecting to socket on port 3556
[statistics] connected
13/04/18 14:08:52 WARN conf.HiveConf: hive-site.xml not found on CLASSPATH
13/04/18 14:08:52 INFO metastore.HiveMetaStore: 0: Opening raw store with i
下面是我的hive/conf/hive-site.xml:
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is stored in a MySQL server</desc
我试图用jdbc连接器连接到通过Cloudera实现的Hive Server,但是连接在模拟点失败:
14/05/13 10:45:10 INFO hive.metastore: Connected to metastore.
14/05/13 10:45:10 WARN conf.Configuration: org.apache.hadoop.hive.conf.LoopingByteArrayInputStream@2f490758:an attempt to override final parameter: mapreduce.job.end-notification.max.ret
我已经安装了jdk8,在运行hive时,我获得了以下信息
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = f9b039ac-ca16-4fe1-ba61-aecb31e0462e
Exception in thread "main" java.lang.ClassCastEx
我连接了hive,当我尝试使用下面的命令显示所有数据库时,我得到以下错误:
techgene@slaveone:~/apps/hive-0.12.0$ hive
Logging initialized using configuration in jar:file:/home/techgene/apps/hive-0.12.0/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> show databases;
FAILED: Execution Error, return code 1 from org.apache.ha
首先:我是蜂巢的新手。
我刚刚安装了Hive,当我运行"hive“时,服务器启动并将我带入CLI。但是,当我尝试用“蜂巢--服务蜂巢”作为服务/服务器启动它时,我得到了:
在线程"main“java.net.URLClassLoader$1.run(URLClassLoader.java:366):org.apache.hadoop.hive.service.HiveServer at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivi
我以这种方式从命令行调用hive -e数百次:
cat hive_script.hql | parallel --gnu hive -e '{}'
其中hive_script.hql中的每一行都可以以任何顺序独立运行。
有没有可以减少启动时间的--hiveconf参数?Apache网页似乎暗示可能存在于
"This is frustrating as Hive becomes closely coupled with scripting languages. The Hive startup time of a couple seconds is non-trivi
用例是运行配置单元中的sql列表并更新impala元数据。如下所示,hive和impala的两个方法使用jdbc_hook。按照我调用这些方法的顺序,只有第一个方法运行,第二个方法抛出错误- java.lang.RuntimeException: Class <driver name of hive/impala> not found。当单独使用时,每种方法都运行良好。请找到airflow自定义运算符的execute方法:注意::我不能使用hive_operator运行hive语句。我在HiveServer2_Hook中看不到任何方法。我是第一次接触airflow,非常感谢您的帮助
当我试图使用hiverserver2启动Hive时,我得到了下面的错误。
Connecting to jdbc:hive2://localhost:10000
18/10/25 09:45:38 [main]: WARN jdbc.HiveConnection: Failed to connect to localhost:10000
Error: Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000: Failed to open new session: java.lang.RuntimeEx
我是新到Hadoop的蜜蜂,所以请帮助我这个基本的问题。
当我在Hive中做"select * from table where <condition>;"时,我知道它会启动mapreduce,因为它需要对底层的HDFS文件应用过滤。
但是,当我在Hive上不使用where子句执行select * from table时,有时mapreduce会被启动,有时它不会启动。我的理解是,理想情况下,它不应该启动mapreduce,因为没有过滤条件。
那么,有人能解释一下为什么在少数情况下mapreduce会在Hive上发布吗?
提前谢谢。
我已经下载了Hive的最新稳定版本,当我启动/usr/local/hive/bin/hive时,它会给我这个错误:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at org.apache.hadoop.util.RunJar.main(RunJar.java:14
我已经按照这个在我的Ubuntu机器上设置了HIVE。当我运行HIVE命令(最后一步)时,我得到了这个异常:
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/administrator/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/admi
我试图在一个具有1500个动态分区的表中插入一些数据,并收到以下错误:
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException:
Number of dynamic partitions created is 1500, which is more than 1000.
To solve this try to set hive.exec.max.dynamic.partitions to at least 1500.
因此,我尝试:SET hive.exec.max.dynamic.partitions=2048,但我
hadoop_1@shubho-HP-Notebook:~$ hive
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop_1/apache-hive-2.3.2-bin/lib /log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoo
我已经运行了kerberized的Hadoop Hortonworks集群。直线工作得很好。但是当我启动hive时,它失败了,错误如下:
Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: GSS initiate failed
[root@hdpm1 ~]# su - hive
[hive@hdpm1
我使用Hortonwork的HDP 2.2部署了hadoop集群(Spark1.2.1和Hive 0.14)
我开发了一个简单的星火应用程序,它应该检索一个Hive表的内容,执行一些操作并输出到一个文件中。Hive表是使用导入的。
当我在集群上运行应用程序时,我会得到以下异常:
ERROR log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hadoop.hive.serde2.OpenCSVSerde not found
java.lang.ClassNotFoundException: Cla