1回答
运行: cloudera @quickstart ~$ sqoop导出--连接"jdbc:mysql://quickstart.cloudera:3306/retail_db“--用户名retail_dba --密码cloudera-table department_export --导出-dir /home/cloudera/sqoop_import/departments -m 12
错误：
16/12/24 22:29:48 INFO client.RMProxy:连接到ResourceManager at /0.0.0.0:8032 16/12/24 22:29:49 INF
浏览 4提问于2016-12-27得票数 0
3回答
请描述您的问题
标题：2017腾讯云11.11大促 给你实实在在的优惠
地址：https://cloud.tencent.com/act/double11/expand
浏览器信息
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/603.2.4 (KHTML, like Gecko) Version/10.1.1 Safari/603.2.4
浏览 703提问于2017-11-03
1回答
我们公司的云服务器只允许我们将文件保存到hdfs。是否有方法在hdfs上保存Keras模型。我试过model.save，但它不起作用。
浏览 0提问于2019-10-12得票数 1
2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
这在亚马逊是可能的，但我的问题是:在OpenShift中是可能的吗？
浏览 1提问于2014-09-15得票数 0
3回答
请问一下，以前买过学生云，但是又来没有续费，停了，现在还能购买学生云吗?
然后就是最近的那个拼团的活动，我老用户开团，买12个月的学生云，是付了款就可以有12个月的服务器用，还是说必须得有人参加拼团才能用?
浏览 422提问于2018-12-10
我们使用的是HDP HDFS模块版本2.7.3.2.6.5.0-292。
服务器被卡住了，必须重新启动--现在Node服务的名称在启动时会抛出一个错误。
在成功获取一个锁文件之后，它会立即失败，因为它再次尝试获取它，即使它是针对同一个进程(可能是同一个线程)--它失败了。
如何使用tact中的数据启动名称节点？
18/11/14 20:19:24 INFO util.GSet: Computing capacity for map NameNodeRetryCache 18/11/14 20:19:24 INFO util.GSet: VM type = 64-bit 18/11/
浏览 1提问于2018-11-14得票数 0
回答已采纳
我参加活动买的云服务1.3折 我买了3年 3年后续费能是几折？原价还是活动价 还是半价？如果高于2折以上真心不划算。
一直在思考这个问题，腾讯云不能只考虑新用户，也得考虑老用户的留存问题.
12.png
浏览 374提问于2020-04-17
1回答
google为使用Hadoop提供了连接器。()
使用连接器，我从hdfs接收数据到google云存储。
(前)
hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。
因此，我尝试更改设置distcp ( map属性、带带属性.)。
但是速度是一样的。
HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
2回答
1.优惠活动中云服务器2核4G 3年 1607.14元，还需要另外购买云磁盘吗？
2.如果购买了这个云服务器，再购买云数据库MySQL入门机型（每月12元）产品，可以搭配使用吗？
[附加信息]
浏览 243提问于2018-06-02
3回答
我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？
浏览 20提问于2017-06-28得票数 0
回答已采纳
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。
我知道一个解决办法
远程->集群节点(使用scp)
节点-> hdfs (使用hdfs命令)
但是对于我的用例，它不起作用，我需要找到一个解决方案，直接从本地上传文件到hdfs，就像hue用于上传一样。
我也试过听从命令
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://<‘hdfs-路径’>
但是，通过以下错误：
copyFromLocal：<‘本地路径’>：没有这样的文件或目录
如有任何
浏览 2提问于2016-06-17得票数 0
我正在研究如何使用GCP，特别是大数据和分析函数，我不太确定它们的功能。我做了一些映射来理解这些组件。你能帮我查一下我的理解吗？
云Pub/Sub: Apache Kafka
云Dataproc: Apache，火花
GCS: HDFS兼容
云数据流: Apache束，Flink
数据存储: MongoDB
BigQuery: Teradata
BigTable: HBase
内存: Redis
云SQL: MySQL，PostgreSQL
云编写器: Informatica
云数据工作室: Tableau
云Datalab:木星笔记本
浏览 3提问于2019-02-10得票数 0
我已经尝试过在堆栈溢出中提供的关于这个主题的所有不同的解决方案，但是没有办法再次询问具体的日志和细节。
任何帮助都是非常感谢的。
我的Hadoop集群中有一个主节点和5个从节点。ubuntu和ubuntu组是~/Hadoop文件夹的所有者，~/hadoop/hdfs/data & ~/hadoop/hdfs/name文件夹都存在。
这两个文件夹的权限设置为755。
在启动脚本start-all.sh之前成功地格式化namenode
脚本无法启动"NAMENODE“
它们在主节点上运行。
ubuntu@master:~/hadoop/bin$ jps
7067 TaskTrac
浏览 6提问于2014-12-03得票数 16
回答已采纳
1回答
上一天，当我在coursera学习GCP课程时，他们提到，他们坚持我们不应将数据留在HDFS中，而是在完成任务后，我们应该复制它并坚持使用云存储，每次我们想启动一项工作时，我们应该再次将数据放在HDFS中并重复循环，所以我的问题如下：
如果关闭hadoop集群，我们会丢失HDFS中的数据吗？
为什么我们不应该将数据留在HDFS中？
价格问题？
谢谢
浏览 8提问于2020-01-21得票数 0
回答已采纳
SOLR版本- 5.5.2
我的项目需求是将solr云索引从cloudera集群传输到HDP集群。
数据是巨大的(在生产上有10亿个索引记录)，因此重新索引不是一种选择。
我们已经尝试过solr还原和备份API，但是在云上看不到数据。请检查我们是否遗漏了==>下面的任何一步
1) 允许快照 (Cloudera集群)：
sudo -u hdfs hadoop dfsadmin -allowSnapshot /user/solr/CollectionName
2) 创建了快照：
sudo -u hdfs hadoop dfs -createSnapshot /user/solr/
浏览 0提问于2018-06-03得票数 1
1回答
Ubuntu云服务器:硬件需求
、、、、
我想了解更多关于公共云托管(商业)的信息。
Ubuntu支持它吗？以及我需要用12,000美元的预算购买哪些硬件部件。
浏览 0提问于2017-02-16得票数 0
回答已采纳
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。
然而，我意识到，当目标是云时，基于快照差异的复制不能工作。
这样的同步还可以吗？
-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。
命令
hadoop distcp --conf hdfs.conf -update -delete hdfs:///tmp/test_distcp gs://onpremhadoopfiles-123/
带有快照diff的命令
hadoop distcp --conf test
浏览 16提问于2022-07-29得票数 0
1回答
我尝试使用Hive和Zeppelin请求Hive数据库，但我得到了以下错误：
SemanticException Unable to fetch table table_name. org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby
我得到两个namenode :A和B，当A处于活动状态，B处于状态状态时，我可以在没有问题的情况下请求我的表。
hdfs haadmin -ge
浏览 0提问于2019-02-04得票数 0
回答已采纳
1回答
推特流经水槽中的错误
、、、、
**在运行flume命令时，我得到了以下错误，我尝试更改.bashrc中的envi变量以及flume.env.sh中的类路径，但仍然没有用
Picked up JAVA_TOOL_OPTIONS: -javaagent:/usr/share/java/jayatanaag.jar 16/12/08 01:57:11 INFO node.PollingPropertiesFileConfigurationProvider: Configuration provider starting 16/12/08 01:57:11 INFO node.PollingPropertiesFileConfi
浏览 4提问于2016-12-08得票数 0
回答已采纳
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
当我在主服务器和从服务器上运行一些作业时，我使用的是Hadoop版本2.8.2，这些作业在hdfs中使用这些文件。主机和从机都在下面的警告中显示此信息
17/11/15 12:51:46 WARN hdfs.DFSClient: zero
17/11/15 12:51:46 WARN hdfs.DFSClient: zero
17/11/15 12:51:46 WARN hdfs.DFSClient: zero
17/11/15 12:51:46 WARN hdfs.DFSClient: zero
17/11/15 12:51:46 WARN hdfs.DFSClient: zero
17/1
浏览 3提问于2017-11-15得票数 2
flume将如何识别活动namenode，以便将数据写入HDFS？如果没有High Availability Hadoop，我们将在flume.conf中配置namenode，这样数据就可以轻松地定向到HDFS。而在我们的例子中，Flume应该识别活动和备用名称节点，因此数据应该被定向到活动名称节点。
浏览 2提问于2015-05-12得票数 2
详细说明了场景-> HDFS目录，该目录“填充”了多类型银行帐户活动的新日志数据。每一行代表一种随机活动类型，每一行(字符串)都包含文本"ActivityType=<TheTypeHere>“。
在Spark中，读取HDFS目录中的输入文件/s并输出多个ActivityType文件的最佳方法是什么，其中每个HDFS被写入自己的新文件？
浏览 2提问于2018-10-22得票数 0
回答已采纳
无法在Centos-7上启动cloudera容器。我在启动namenode时遇到了一些问题。
$ tar xzf cloudera-quickstart-vm-*-docker.tar.gz
$ docker import - cloudera/quickstart:latest < *.tar
$ docker run --hostname=quickstart.cloudera --privileged=true -t -i cloudera/quickstart:latest /usr/bin/docker-quickstart
以下是namenode日志中的错误。我在这里遗漏
浏览 2提问于2017-12-02得票数 0
我在cdh3u5中使用flume-ng-1.2.0。我只是尝试从一个文本文件中提取数据并将其放入hdfs。下面是我使用的配置：
agent1.sources = tail1
agent1.channels = Channel-2
agent1.sinks = HDFS
agent1.sources.tail1.type = exec
agent1.sources.tail1.command = tail -F /usr/games/sample1.txt
agent1.sources.tail1.channels = Channel-2
agent1.sinks.HDFS.channel
浏览 2提问于2012-10-10得票数 1
我正在用水槽写到谷歌云存储。水槽在HTTP:9000上收听。我花了一些时间才使它正常工作(添加gcs库，使用凭据文件.)但现在它似乎是通过网络进行交流的。
我正在为我的测试发送非常小的HTTP请求，并且我有大量可用的RAM：
curl -X POST -d '[{ "headers" : { timestamp=1417444588182, env=dev, tenant=myTenant, type=myType }, "body" : "some body ONE" }]' localhost:9000
我在第一次请求时遇到
浏览 3提问于2014-12-01得票数 0
回答已采纳
我在Solaris10服务器上有hadoop配置。我已经在这台服务器上配置了Hadoop 2.7.1。现在，当我使用start-dfs.sh datanode启动hadoop守护进程时，secondaryNamenode正在启动，但Namenode没有启动。我检查了namenode日志，它给出了以下错误消息：
2015-12-08 16:24:47,703 INFO
org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/****************************************************
浏览 0提问于2015-12-07得票数 1
我正在Windows Azure上设置Hadoop (v1.1.1)群集。我正在尝试使用以下命令启动namenode进程：
service hadoop-namenode start
然而，当VM重启被擦除时，我总是得到以下错误。我移出了这个目录，这样它就不会每次都被删除，但它仍然会发生。我们将非常感谢您的帮助。
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = master/10.77.42.61
STARTUP_MSG: args = []
STARTUP_MSG: version = 1.1.1
STARTUP_MSG:
浏览 1提问于2012-12-13得票数 2
我正在安装hadoop。一切都很顺利，但是当我尝试格式化这个命令时：
//Format the name node:
$bin/hdfs namenode -format
我得到了以下错误：
> 16/06/30 12:58:12 WARN namenode.NameNode: Encountered exception during
> format: java.io.IOException: Cannot create directory
> /home/dataflair/hdata/dfs/name/current at
> org.apache.had
浏览 0提问于2016-06-30得票数 0
hdfs api 操作部署在腾讯云的伪分布建目录，删除目录都正常，但下载文件就不行了，总是报错
Could not obtain block: BP-1234137304-121.5.67.247-1618417691404:blk_1073741825_1001 file=/test.txt
确定文件正常的，从web页面都能下载查看！
如下是hdfs api 代码
image.png
以下是报错
image.png
请问大佬这是怎么回事？
浏览 230提问于2021-04-15
2回答
根据谷歌云文档，
云存储可能会增加I/O变化。在许多情况下，云存储比HDFS具有更大的I/O差异。如果您有一致的I/O需求，例如由HBase或另一个NoSQL数据库支持的应用程序，这可能会有问题。
有人能提供一个变异的例子吗？什么意思？
浏览 0提问于2021-01-29得票数 0
回答已采纳
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我是如何移动数据的？
我担心它会在公共网络上传播。
安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
1回答
我对水槽很陌生。我试图从Twitter上提取数据，但我并没有成功。(我正在使用Cloudera Quickstart)
我的conf文件如下所示：
TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
我添加了所
浏览 2提问于2018-06-27得票数 0
回答已采纳
我已经将一个数据库的数据和文件夹结构从一个HDFS实例复制到另一个HDFS实例。 如何对配置单元元数据执行相同的操作？我需要新的HDFS实例的hive使用它们现有的分区来定义这个数据库和它的表，就像它在原始位置一样。当然，它们通常需要随着hdfs外部表位置的更新而维护其原始模式。 乐于使用直接的hive命令、spark或任何开源且随时可用的通用CLI实用程序。我没有实际的hadoop集群(这是云存储)，所以请避免回答依赖于map reduce/etc的问题(比如Sqoop)。
浏览 16提问于2019-05-15得票数 1
回答已采纳
1回答
我试着用crontab编程一个简单的任务，把一些文件从本地复制到HDFS。我的代码是：
#!/bing/ksh
ANIO=$(date +"%Y")
MES=$(date +"%m")
DIA=$(date +"%d")
HORA=$(date +"%H")
# LOCAL AND HDFS DIRECTORIES
DIRECTORIO_LOCAL="/home/cloudera/bicing/data/$ANIO/$MES/$DIA/stations"$ANIO$MES$DIA$HORA"*"
浏览 0提问于2015-12-10得票数 1
我上传了一个csv，其数据如下：
下面是我用来将数据上传到hive的命令
将文件拖到linux文件系统。
使用以下命令上载到hdfs。hadoop fs -put“/home/k深处/kd_city_data.csv”/home/k深处
使用hive将数据加载到表dev.k_site中，将数据加载到路径‘/home/k深处’中；
我的桌子是这样的：
浏览 3提问于2017-01-31得票数 0
回答已采纳
使用HDFS或HFTP方案(例如hdfs://namenode/path/to/file)，我可以访问HDFS集群，而不需要它们的XML文件。在运行hdfs dfs -get、hadoop distcp之类的shell命令或从sc.hadoopFile()这样的Spark读取文件时非常方便，因为我不必将所有相关HDFS集群的xml文件复制和管理到这些代码可能运行的所有节点。
这种方法的一个缺点是，我必须使用活动NameNode的主机名，否则Hadoop将抛出一个异常，抱怨NN是备用的。
通常的解决方法是尝试其中一个，然后尝试另一个(如果发现了任何异常)，或者直接连接到ZooKeeper并使用p
浏览 4提问于2015-04-14得票数 9
2回答
我的目的--启动namenode的恶魔。我需要使用hdfs的文件系统，从本地文件系统复制这些文件，在hdfs中创建文件夹，并且需要在配置/conf/core-site.xml文件中指定的端口上启动namenode的demon。我启动了一个脚本
./hadoop namenode
因此，我收到了以下消息
2013-02-17 12:29:37,493 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/*******************************************************
浏览 0提问于2013-02-18得票数 0
回答已采纳
1回答
我有一个Orion实例，Cygnus在filab；subcription并通知运行良好，但我不能将数据持久化到cosmos.lab.fi-ware.org。Cygnus返回此错误：
es.tid.fiware.fiwareconnectors.cygnus.sinks.OrionSink.process(OrionSink.java:139)错误--持久性错误(无法在中创建talky/talkykar/Room6_目录)。HttpFS响应:503号服务不可用)
这是我的agent_a.conf文件：
cygnusagent.sources = http-source
cygnusagent.s
浏览 2提问于2015-05-04得票数 3
回答已采纳
1回答
我希望通过使用sh -c来执行以下命令(因为我希望稍后附加类似的命令)：
impala-shell -q "CREATE TABLE test LIKE PARQUET 'hdfs://.../foo.parquet' STORED AS PARQUET"
这个命令工作得很好。但如果我试着
sh -c 'impala-shell -q "CREATE TABLE test LIKE PARQUET 'hdfs://../foo.parquet' STORED AS PARQUET"'
我得到一个语法错误：
LIKE
浏览 0提问于2018-08-15得票数 0
回答已采纳
1回答
我看到配置单元到配置单元的数据移动在Gobblin中有一个回看配置，我们可以在其中指定要复制的分区的日期 gobblin.data.management.copy.hive.filter.LookbackPartitionFilterGenerator 在Gobblin中，HDFS到GCS (Google云存储)的数据复制是否有类似的回看配置，只能在特定分区日期之后复制文件？ 我的文件在HDFS中，这些文件是按日期分区的。
浏览 13提问于2021-07-08得票数 1
我试图更改文件权限。该文件驻留在HDFS中，当我试图将权限设置为777到特定文件时，它只授予读和写权限，而不授予该文件执行权限。
，这就是我尝试过的：
root@ubuntu:/home/BATCH62# ll
total 56
drwxrwxrwx 2 root root 4096 2016-02-12 04:40 ./
drwxr-xr-x 16 root root 4096 2016-02-12 01:21 ../
-rwxrwxrwx 1 root root 40209 2016-03-10 19:22 processes.log*
-rwxrwxrwx 1 root roo
浏览 1提问于2016-02-12得票数 2
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。
假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
使用Ubuntu VM 4 VM运行Hadoop版本1.2.1 1. hadoop-NN (名称节点) 2. hadoop-snn (辅助名称节点) 3. hadoop-dn01 (数据节点1) 4. hadoop-dn02 (数据节点2)所有进程都使用start-all.sh启动
我在辅助名称节点中看不到编辑操作，这意味着辅助名称节点上的fsiamge没有更新。SecondaryNameNode上的LOg文件显示以下错误。
2015-02-04 13:16:12,083 INFO org.apache.hadoop.hdfs.server.common.Storage:文件数= 50 201
浏览 0提问于2015-02-05得票数 0
0回答
我正在尝试配置hadoop2.7 2节点cluster.When，我使用start-dfs.sh和start - to n.sh启动Hadoop，主从上的所有服务都可以正常启动。
Here is my jps command on my master:
23913 Jps
22140 SecondaryNameNode
22316 ResourceManager
22457 NodeManager
21916 DataNode
21777 NameNode
Here is my jps command on my slave:
17223 Jps
14225 DataNode
14363
浏览 17提问于2016-07-11得票数 0
回答已采纳
我们有一个以每秒1 1msg的速度处理3个分区的主题，我使用HDFS连接器将数据写入HDFS格式(默认)，它生成的文件大小为KBS，因此我尝试更改HDFS属性中的以下属性。
"rotate.interval.ms":"7200000" "flush.size":"5000“
但是输出仍然是小文件，所以我需要澄清以下几点来解决这个问题：
如果我们不提及flush.size属性，那么flush.size属性是否是强制性的，数据如何被刷新？
如果我们提到刷新大小为5000，旋转间隔为2小时，则为前3个间隔每2小时刷新一次数据，但在此之后
浏览 0提问于2018-07-03得票数 3
2回答
用于NRT数据应用的Google
、、、、
我正在评估Kafka/Spark/HDFS，用于开发NRT (子秒级) java应用程序，该应用程序接收来自外部网关的数据，并将其发布到桌面/移动客户端(使用者)，用于各种主题。同时，数据将通过用于分析和ML的流和批处理(持久)管道提供。
例如，流量将是..。
独立的TCP客户端从外部TCP服务器读取流数据。
客户端根据数据包(Kafka)发布不同主题的数据，并将其传递给流式分析管道(Spark)。
桌面/移动用户应用程序订阅各种主题并接收NRT数据事件(Kafka)
消费者还从流式/批处理管道(Spark)接收分析。
必须对Kafka集群进行管理、配置和监视，以获得最
浏览 2提问于2016-02-16得票数 0
2回答
所以我配置了flume来将我的apache2访问日志写入hdfs ...and，因为我通过flume的日志发现所有的配置都是正确的，但是我不知道为什么它仍然没有写入hdfs。下面是我的flume配置文件
#agent and component of agent
search.sources = so
search.sinks = si
search.channels = sc
# Configure a channel that buffers events in memory:
search.channels.sc.type = memory
search.channels.sc.cap
浏览 2提问于2014-12-18得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
