我是hadoop的新手--大数据分析。我指的是一本书--“mahout in action”。
我在这里看到了一个主题，它解释了我们如何从数据库中表示推荐数据。在这本书中，他们展示了将MySQL与mahout连接起来的编程方法。
我的问题是“有没有可能像我们连接MySQL那样连接hive和mahout ?如果可能，那么如何连接呢？”
浏览 3提问于2012-02-09得票数 0
回答已采纳
试图运行一个简单的mapreduce代码，从RCFile读取数据。
我使用hadoop命令运行代码：
hadoop jar MRJobRCFile.jar MRJobRCFile <inputRCfile> <outputfile>
尽管向hadoop类路径添加了hive-exec jar，但是得到了这个错误。
export HADOOP_CLASSPATH=/opt/cmr/hadoopinstall/hive-0.10.0-cdh4.4.0/lib/hive-exec-0.10.0-cdh4.4.0.jar
不然我怎么能把罐子加进去？
尝试使用详细的:class
浏览 1提问于2017-09-07得票数 0
回答已采纳
我想用Hive取代Hadoop作业。我的挑战是在Hadoop中，我使用setup()从分布式缓存中读取引用数据(兴趣点)来构建kdtree。然后，我在map()中使用kdtree来评估目标数据与kdtree的距离。
在Hive中，我想使用udf和evaluate()方法来确定距离，但我不知道如何使用引用数据设置kdtree。这个是可能的吗？
浏览 4提问于2013-12-13得票数 1
我们希望学生能够以自己的用户身份启动spark-shell或pyspark。但是，Derby数据库会锁定进程，使其不能作为另一个用户启动：
-rw-r--r-- 1 myuser staff 38 Jun 28 10:40 db.lck
并显示以下错误：
ERROR PoolWatchThread: Error in trying to obtain a connection. Retrying in 7000ms
java.sql.SQLException: A read-only user or a user in a read-only database is not permitt
浏览 0提问于2017-06-29得票数 0
3回答
我是Hadoop，HBase和Hive的新手。我在伪分布式模式下安装了Hadoop、HBase和Hive，一切都很好。现在，我计划使用Hive、HBase和ZooKeeper建立一个简单的Hadoop集群(5个节点)。我以前读过一些文件和说明，但我找不到一个很好的解释我的问题。我不确定，在哪里运行所有守护进程。这是我的考虑：
Node_1 (硕士)
NameNode
JobTrakcer
HBase硕士
ZooKeeper (独立节点；由HBase管理)
Node_2 (Backup_Master)
SecondaryNameNode
浏览 13提问于2012-11-12得票数 4
我正在尝试用python编写一个自定义的hive udf来计算员工的经验，但我得到了运行时错误，请解决这个问题。这是python脚本empexp.py
import sys
from datetime import datetime
from dateutil.relativedelta import relativedelta
cdate = datetime.now().date()
for line in sys.stdin:
line = line.strip()
eno,ename,hiredate = line.split('\t')
浏览 0提问于2017-10-23得票数 0
我有一个Oozie工作触发了一个R脚本。R脚本依次运行一个Hive查询，将一行插入到Hive表中。但问题是，在运行作业时，单个insert语句将插入4行。但是，如果我单独运行Rscript而不执行Oozie作业，它可以正常工作，并且只有一行被插入到表中。
请注意： Oozie作业运行在Cloudera分发版上，我怀疑问题在BigData环境中，因为处理在节点之间被分割。下面是R脚本中的代码。
library(RHive)
Sys.setenv("HADOOP_HOME"="/opt/cloudera/parcels/CDH/lib/hadoop")
Sys.se
浏览 4提问于2017-08-21得票数 0
1回答
蜂巢的桶状地图连接
、、、
我有一个Hadoop集群，我使用Hive来查询，我想连接两个大表--其中一个有小桶，据我所读到的--如果我使用连接键对两个表进行分类，这将有助于性能。
所以我的设置是：
将连接键上的两个表放入相同数量的桶中，
一桶小桌子适合记忆，
集合hive.optimize.bucketmapjoin = true；
运行以下查询：
SELECT /*+ MAPJOIN(a) */
count(*)
FROM a JOIN B ON a.join_key = b.join_key;
问题1:上面的设置是否足以触发桶映射连接？
问题2:我对桶映射联接的理解是，它启动一个本地任务，
浏览 2提问于2012-10-08得票数 1
Hive可以有自己的元数据，并在那里存储表、列、分区信息。如果我不想使用hive.Can，我们将为spark创建一个与hive相同的元数据。我想查询spark SQL (不使用dataframe)，就像Hive (select，from和where)一样，我们能做到吗？如果是，我们可以使用哪个关系数据库来存储元数据？
浏览 1提问于2018-12-18得票数 1
6回答
在像MySQL这样的远程数据库管理系统中，Hive上也有数据库吗?我在手册上看到，hive只有表，我对此有点困惑。
RDBMS和Hive有什么不同的概念？
Tks之前
浏览 0提问于2011-08-03得票数 8
2回答
我对java很陌生，所以这可能是个天真的问题，我有一个外部jar文件，我想通过编程转移到Hadoop，我有API要这样做，但我只需要给出jar文件的路径。我不想使用硬编码路径(绝对路径和相对路径)，也许我可以将它与我的项目一起包括，或者更好地让相同的代码在不同的机器上工作，可能相同的jar文件可能不在不同的机器上出现在同一个位置，如果我给出硬编码路径，那么我需要显式地将文件复制到同一个位置。
我已经为我的磁盘上可用的Hive编写了UDF (jar文件)，现在要访问Hive中的UDF，需要将jar添加到HIVE类路径，所以我想将JAR文件从本地系统复制到HDFS，然后从HDFS路径将jar添加
浏览 2提问于2012-05-04得票数 0
1回答
我让hive在EMR主节点上运行，但我需要在EMR任务/从节点上运行hive命令行。
有谁知道怎么做吗？谢谢!
浏览 0提问于2017-03-21得票数 1
1回答
我有以下Java代码，可以从HDFS读取JSON文件，并使用Spark将其输出为配置单元视图。
package org.apache.spark.examples.sql.hive;
import java.io.File;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Dataset;
import org.apac
浏览 14提问于2018-01-23得票数 0
回答已采纳
1回答
我开始了解hadoop。我对它有了一些了解，但是当我读到关于Hive，Pig和其他Apache工具时，我感到很困惑。因此，有人能简单地概述一下hadoop和Apache的工具(Hive、Pig、等)，我想知道它们在处理大数据时是如何和在哪里使用的。
浏览 3提问于2014-05-20得票数 0
回答已采纳
我正在研究使用Hadoop集群上的Hive，然后使用Presto对Hadoop中存储的数据进行一些分析，但我仍然对一些事情感到困惑：
文件存储在Hadoop (某种文件管理器)中。
Hive需要表来存储来自Hadoop (数据管理器) 的数据。
Hadoop和Hive是分开存储数据还是Hive仅仅使用Hadoop中的文件？(在硬盘空间等方面？) ->是这样的，Hive是在表中从Hadoop中导入数据，而不使用Hadoop，或者我必须如何看待这一点？
Presto可以不用蜂巢直接在Hadoop上使用吗？
先谢谢你回答我的问题:)
浏览 3提问于2014-01-24得票数 1
回答已采纳
1回答
我希望在一个Python文件中放置一些常量，然后将其导入另一个Python文件中。我创建了两个文件，一个是常量文件，另一个是导入文件，一切都在本地运行良好：
constants.py
CONST = "hi guy"
test_constants.py
from constants import CONST
import sys
for line in sys.stdin:
print(CONST)
局部测试
$ echo "dummy" | python test_constants.py
hi guy
基于蜂巢(直线)的测试
hive> ad
浏览 3提问于2018-10-29得票数 0
回答已采纳
1回答
使用Hive进行实时查询
、、、、
首先，我想澄清一下，我正在学习Hive和Hadoop (以及一般的大数据)，所以请原谅我缺乏适当的词汇。
我正在着手一个巨大的项目(至少对我来说)，它需要处理大量的数据，而我过去不习惯于处理这些数据，因为我一直主要使用MySQL。
对于这个项目，一系列传感器将产生大约125.000.000个数据点，每小时5次(每天15.000.000.000)，这是我插入到每个MySQL表中的所有数据点总和的数倍。
我知道一种方法是使用Hadoop MapReduce和Hive来查询和分析数据。
我面临的问题是，据我所知，Hive的运行方式主要类似于"cron job“，而不是实时查询，这可能需要花费
浏览 6提问于2012-10-03得票数 5
回答已采纳
1回答
Create table t1(id int)
上面的查询是在Hive2.3.6 (MapR HadoopDistribution6.3.0)上进行的。
默认的蜂箱引擎是tez。因此，在触发查询后，我无法看到在纱线资源管理器web ui上启动了任何TEZ应用程序。
因此，我将执行引擎更改为MapReduce。
set hive.execution.engine=mr
并试图再次运行相同的查询。同样，我未能看到在纱线资源管理器web ui上启动了任何MR应用程序。
那么，我的问题是如何管理这些类型的查询？这些查询的细节存储在哪里，比如应用程序id，启动时间等等？
浏览 2提问于2021-04-10得票数 0
回答已采纳
3回答
java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql.exec.ExecMapper.close(ExecMapper.java:226) at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:57) at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:436)
浏览 3提问于2013-02-27得票数 3
下面是我的hive/conf/hive-site.xml：
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is stored in a MySQL server</desc
浏览 10提问于2017-11-23得票数 0
4回答
配置单元元存储未创建MYSQL或Derby连接。
对于Derby
schematool -dbType derby -initSchema
Metastore connection URL: jdbc:mysql://localhost/metastore
Metastore Connection Driver : com.mysql.jdbc.Driver
Metastore connection User: hive
schematool -dbType derby -info
Metastore connection URL: jdbc:mysql://local
浏览 1提问于2014-01-30得票数 1
1回答
我已经将hadoop、hive和MySQL安装在CENT OS的同一台服务器上。我还设置了MySQL，并且用户ID - hive可以通过以下步骤访问数据库。
mysql> CREATE DATABASE metastore;
mysql> USE metastore;
mysql> SOURCE $HIVE_HOME/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql;
mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY
浏览 4提问于2015-07-11得票数 0
1回答
与Mahout的集成蜂巢供推荐
、、、、
我想在蜂箱中使用mahout，我将从hive中获取数据，并使用数据模型来填充数据，并使用mahout作为推荐。这有可能吗。因为我见过mahout只为文件工作。( 1)如何使用蜂窝表将数据加载到mahout中？( 2)是否有其他方法可以将mahout推荐应用于hive或其他？
在这里，我有一个进程jdbc结果，我想在mahout中填充到DataModel。如何居住？
我希望使用数据库结果，而不是从文件中读取mahout推荐。例如：
蜂巢：
import java.sql.SQLException;
import java.sql.Connection;
import ja
浏览 3提问于2014-02-26得票数 0
回答已采纳
2回答
我是hadoop新手，我正在尝试这个教程：
1.使用参数: hive --auxpath /cygdrive/c/Hadoop/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar，/cygdrive/c/javaHBase/hbase-0.94.6/hbase-0.94.6.jar，/cygdrive/c/Hadoop/hive-0.9.0/lib/zookeeper-3.4.3.jar，/cygdrive/c/Hadoop/hive-0.9.0/lib/guava-r09.jar -hiveconf hbase.master=localhost:60010
浏览 5提问于2013-04-10得票数 1
回答已采纳
我已经安装了jdk8，在运行hive时，我获得了以下信息
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = f9b039ac-ca16-4fe1-ba61-aecb31e0462e
Exception in thread "main" java.lang.ClassCastEx
浏览 8提问于2020-06-02得票数 1
1回答
我对安巴里的蜂巢视图有两个问题。
1.问题1:我有脚本:
<br>DELETE FILE /user/admin/hive/scripts/MKT_UDF/fb_audit_ads_creatives.py;
<br>ADD FILE /user/admin/hive/scripts/MKT_UDF/fb_audit_ads_creatives.py;
<br>SELECT TRANSFORM (line) USING 'python fb_audit_ads_creatives.py' as (ad_id) FROM stg_fb_audi
浏览 0提问于2018-06-15得票数 0
回答已采纳
1回答
使用hive的mysql连接错误
、、、、
当我试图将mysql (从hadoop-2.5.1集群中的datanode )远程连接到hive时，它抛出了errot：
由:java.sql.SQLException引起:无法打开到给定数据库的测试连接。JDBC url =jdbc:mysql://192.168.4.43:3306/亚稳态？createDatabaseIfNotExist=true，用户名= root。终止连接池。原始异常：- java.sql.SQLException: null，服务器消息：“主机'ravi‘不允许连接到com.mysql.jdbc.SQLError.createSQLException(SQ
浏览 2提问于2014-11-17得票数 0
现在，我知道我可以使用--hive-import选项来告诉hive在hive中自动创建表，但是hive中自动创建的表不包含mysql表中的注释。
有没有办法在hive表和mysql表之间同步注释？
准确地说，我有以下mysql表：
CREATE TABLE `orders` (
`current_day` varchar(11) NOT NULL DEFAULT '' COMMENT 'order day',
`total` int(11) unsigned NOT NULL COMMENT 'total order'
);
我使用以下命
浏览 11提问于2015-05-25得票数 0
1回答
有没有人能帮我理解下面这一点。
我已经创建了一个不是分区表的HIVE表，但我在一个10节点集群中工作，那么在这种情况下，该表(表是一个大表)的数据是否会分布在不同的数据节点上？或者它将只存在于一个节点中？？
如果它分布在不同的数据节点上，那么我们如何才能看到\hive\warehouse文件夹下的一个文件呢？
另外，请不要说明这个存储是如何分配给一个分区表的。
浏览 2提问于2015-02-26得票数 0
1回答
sqoop import --connect jdbc:mysql://mysql.example.com/i --username root --password root --table Student --hive-home /user/hive/warehouse --hive-import --create-hive-table --hive-table databasename.tablename -m 1
配置单元表名为'tab1‘和数据库为'abc’中未显示任何数据。MySQL数据库名称inst和表名stu。
浏览 1提问于2018-04-08得票数 0
1回答
猪窝Hbase的不同之处
、、、
我是hadoop技术的新手。我正在尝试弄清楚这些Pig Hive和Hbase用于哪种类型的数据(结构化、非结构化、半结构化)？
在哪种情况下使用哪种工具更有效？
浏览 3提问于2015-01-05得票数 0
1回答
在命令“显示数据库”后出错；
、、、、
嗨，我是hadoop的初学者，我刚刚安装了hive2.3.7，并根据本教程和这个用mysql安装了亚稳态。这是我的hdfs-site.xml文件
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
<description>metadata is
浏览 5提问于2020-12-17得票数 1
我在windows上运行Hadoop 3.0.0-alpha1，并将Hive 2.1.1添加到其中。当我试图使用hive命令打开蜂巢时，我会得到一个错误：
Error applying authorization policy on hive configuration:
Couldn't create directory ${system:java.io.tmpdir}\${hive.session.id}_resources
出什么事了？
我运行mysql作为Hive的亚稳态，并在HDFS中添加了所需的文件：
hadoop fs -mkdir /user/hive
hadoop
浏览 0提问于2017-03-09得票数 4
1回答
我在单元格中有一个名为test的表，其中列为id和name
现在，我在单元格中有另一个表，名为mysql，列为id、name和city。
现在，我想比较这两个表的模式，并将列差异添加到test表中。
hive_df= sqlContext.table("testing.test")
mysql_df= sqlContext.table("testing.mysql")
hive_df.dtypes
[('id', 'int'), ('name', 'string')]
mysql_df.dt
浏览 4提问于2017-03-23得票数 2
回答已采纳
我用的是电火花，我把一个蜂箱表导入了一个数据仓库。
df = sqlContext.sql("from hive_table select *")
我需要帮助将此df转换为numpy数组。您可以假设hive_table只有一列。
你能建议一下吗？提前谢谢你。
浏览 11提问于2017-01-20得票数 3
回答已采纳
我可以在hive中添加一个文件，如下所示：
hive> add file /home/vis/Documents/def.txt;
hive>list files;
/home/vis/Documents/def.txt
现在问题是，上面的文件在我的仓库中是不可见的。
是否有可能在蜂巢仓库(/user/hive/warehouse)中看到它。
如果不是，那么我如何在配置单元中查看该文件？
浏览 2提问于2014-08-20得票数 1
我正在尝试使用以下命令在HDFS中上载文件：
sudo -u hdfs hdfs dfs -put /home/hive/warehouse/sample.csv hdfs://[ip_redacted]:9000/data
我可以确认HDFS工作正常，因为我已经很好地创建了/data目录。
即使给出.csv文件的完整路径，也会产生相同的错误：
put: `/home/hive/warehouse/sample.csv': No such file or directory
为什么它会给出这个错误？
浏览 114提问于2019-07-24得票数 0
我使用sqoop导入mysql数据：
sqoop-import-all-tables --connect jdbc:mysql://ip/'database'--username "username" --password **** --hive-import --hive-database 'database '--create-hive-table --as-parquetfile
它显示：
Hive import and create hive table is not compatible with importing into Parq
浏览 1提问于2019-10-30得票数 0
2回答
我正在尝试创建一个带有hadoop和hive的码头容器。这是我的Dockerfile
FROM ubuntu:latest
USER root
RUN apt-get update
#RUN apt-get -y install default-jre
RUN apt-get install -y python-pip python-dev build-essential
RUN apt-get install -y libmysqlclient-dev
RUN apt-get install -y python-mysqldb
RUN apt-get update && \
浏览 0提问于2019-03-27得票数 3
回答已采纳
我正在使用spark SQL (spark 2.1)来读取一个hive表。hive表的模式如下(简化为唯一与我的问题相关的字段，其他字段都是无用的)：
Body类型:Bynary
body是一个具有多个字段的JSON，而我感兴趣的是一个数组。在这个数组的每个索引中，我都有另一个包含日期的JSON。我的目标是获得一个数据集，其中填充了我的数组中的所有对象，这些对象的日期高于“插入想要的日期”。
为此，我使用以下代码：
SparkConfig conf = //set the kryo serializer and tungsten at true
SparkSession ss = //set
浏览 0提问于2018-06-16得票数 0
2回答
配置单元中的增量更新
、、、
我有一个源MySql表。出于分析目的，我必须将数据导出到Hive。最初，当MySQL中的数据较小时，使用Sqoop将Mysql数据完全导出到Hive不是问题。现在，随着我的数据大小的增长，我如何将MySql数据增量更新到hive？
浏览 0提问于2016-05-03得票数 0
我正在尝试使用下面的代码从远程hive2服务器上使用spark访问表：
import org.apache.spark.SparkContext, org.apache.spark.SparkConf, org.apache.spark.sql._
import com.typesafe.config._
import java.io._
import org.apache.hadoop.fs._
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.Row
import org.apache.spar
浏览 2提问于2017-06-15得票数 0
回答已采纳
1回答
我看到，除了Elasticsearch支持接近实时的查询之外，Hive和Elasticsearch几乎是等价的。此外，Elasticsearch可以独立运行来存储和分析数据。那么为什么人们在Hadoop上同时使用Hive和Elasticsearch呢？
浏览 0提问于2014-08-31得票数 0
3回答
我必须通过Sqoop从MySQL表(具有复合主键)导入>4亿行到分区的Hive表单元中。该表有两年的数据，列出发日期为20120605至20140605，一天有数千项记录。我需要根据出发日期来划分数据。
版本如下：
Apache Hadoop - 1.0.4
Apache Hive - 0.9.0
Apache sqoop-1.4.2.bin__hadoop-1.0.0
据我所知，有三种方法：
MySQL ->非分区Hive表->从非分区的Hive表插入到已分区的Hive表中
MySQL ->分区Hive表
MySQL ->非分区Hive表->更
浏览 3提问于2013-06-27得票数 1
我将hive-site.xml放在我的spark/conf目录中，并将其配置为连接到thrift://<user>:9083，并且我没有使用derby我在hive/lib文件夹中有mysql-connector-jar，但每次我创建配置单元表并存储数据时，所有数据都存储在项目目录下的metastore_db中，而不是hdfs://<user>:9000/user/hive/warehouse中，所以如果我删除metastore_db数据就会丢失。conf/hive-site.xml
<property>
<name>javax.j
浏览 1提问于2017-08-08得票数 1
1回答
我试着在窗口上安装蜂箱。我几乎完成了我的install.But，而盯着蜂箱命令Im得到了下面的错误。
Error applying authorization policy on hive configuration: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Beeline version 2.1.1 by Apa
浏览 1提问于2017-05-22得票数 0
回答已采纳
1回答
如果R只是将所有来自Hive的数据放入内存中(特别是统计分析)，并在内存中处理这些数据，那么将R放在Hive节点上有什么好处？
浏览 8提问于2018-02-19得票数 1
回答已采纳
是否可以使用R访问Hadoop HDInsight集群中的Hive数据？假设我们没有R，我感兴趣的就是使用R作为访问Hive数据的客户端工具？
浏览 4提问于2017-03-13得票数 0
回答已采纳
2回答
请告诉我下面的两个命令有什么区别
sqoop import --connect jdbc:mysql://localhost:3306/db1
--username root --password password
--table tableName --hive-table tableName --create-hive-table --hive-import;
sqoop create-hive-table --connect jdbc:mysql://localhost:3306/db1
--username root --password password;
在这两个命令
浏览 1提问于2015-07-26得票数 0
我想知道hive和map reduce之间的区别，以及它们之间是否有任何比较。hive是否也显示map reduce的某些部分
浏览 2提问于2019-04-18得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
