看不到上传到hadoop的文件

文章/答案/技术大牛

发布

2回答

hadoop、putty、pscp

pscp告诉我，它是成功的。password: part-00000 | 758 kB | 758.9 kB/s | ETA: 00:00:00 | 100% 但是当我使用hdfs dfs -ls时，我没有在我的hadoop

浏览 84提问于2020-09-21得票数 0

1回答

Apache坚持“将长方体数据转换为HFile”

cube、kylin、warehouse

我在实验室设置中安装了以下堆栈：现在我尝试从Kylin本身提供的示例数据集构建一个多维数据集，这个过程将停留在78.26%的“将长方体数据转换为HFile”。

浏览 2提问于2021-08-11得票数 0

1回答

使用HDInsights集群中的Spark未保存在Azure blob中的文件

azure、apache-spark、hadoop、azure-blob-storage、azure-hdinsight

我们已经在Azure上设置了HDInsights集群，Blob作为Hadoop的存储空间。我们尝试使用Hadoop将文件上传到hadoop，然后将这些文件上传到Azure Blob。用于上载的命令：然而，当我们尝试使用Spark将文件写到Hadoop时，它不是上传到Azure

浏览 2提问于2022-06-14得票数 0

回答已采纳

1回答

使用hadoop将文件从我的虚拟机上传到另一个虚拟机

hadoop、upload

请告诉我，如何将txt文件从本地机器上传到另一个基于hdfs中IP地址的虚拟机。你好，洛凯什G

浏览 0提问于2013-06-25得票数 0

1回答

在hadoop mapreduce作业中使用多个本地文件夹作为源

hadoop、mapreduce

我在多个本地文件夹中有数据，即/usr/bigboss/data1、/usr/bigboss/data2和更多文件夹。我想使用所有这些文件夹作为我的MapReduce命令的输入源，并将结果存储在HDFS中。我找不到一个有效的命令来使用Hadoop Grep示例来执行此操作。

浏览 2提问于2012-05-16得票数 0

回答已采纳

2回答

使用hadoop distcp将数据复制到s3数据块文件系统:指定的复制源大于复制源允许的最大大小

hadoop、amazon-s3

我正在尝试使用hadoop的distcp将数据从HDFS复制到S3 (而不是S3N)。我的理解是，使用s3://协议，Hadoop将在S3上存储单独的块，并且每个S3“文件”实际上将是一个HDFS块。 at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java

浏览 0提问于2013-11-29得票数 0

1回答

Hadoop文件系统拷贝- namenode与datanode

apache、hadoop、filesystems、hdfs

我需要将文件从我的文件系统复制到HDFS中，下面是我在hdfs-site.xml中的配置。如何使用hadoop fs命令将/home/text.txt中的文件复制到HDFS中？value>1</value> <property> <value&

浏览 0提问于2015-06-19得票数 0

1回答

错误security.UserGroupInformation: Hadoop2.2中的PriviledgedActionException

hadoop、hadoop-yarn

我使用的是Hadoop 2.2.0。hadoop-mapreduce-examples-2.2.0.jar在hdfs上运行良好。我用eclipse做了一个单词统计程序，用maven添加了jar文件，然后运行这个jar文件： ubuntu@ubuntu-linux:~$ yarn jar Sample-0.0.1-SNAPSHOT.jarat org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268) at org.apach

浏览 1提问于2015-02-17得票数 1

2回答

多个wordpress服务器之间的共享上载文件夹

php、wordpress

我有一个复制的wordpress博客，即负载均衡器后面的两个服务器提供相同的wordpress博客。我将两台服务器上的数据库指向相同的数据库，因此在那里没有问题。但是，当用户(由负载均衡器)转发到server-1并上传文件时，这些文件将保留在server-1上。server-2也是如此。这些文件不会在两个服务器之间共享，因此转发到服务器-2的用户将看不到上传到服务器-1的文

浏览 0提问于2013-09-13得票数 2

3回答

星火作业在纱线群集模式下失败

apache-spark

我的工作在纱线-客户端模式上完美地运行，但在纱线-群集模式下失败，指出“hdfs://192.xxx.x.x:port/user/hduser/.sparkStaging/application_1442810383301_0016/pyspark.zip".文件不存在”文件不存在。虽然它显示它已经将文件上传到上面的目录！可能是什么原因？？这是完整的错误日志： Application application

浏览 4提问于2015-09-21得票数 4

1回答

将数据库还原到MongoDB

database、mongodb、restore、mongorestore

我正在尝试将数据库恢复到MongoDB，使用的命令如下：mongorestore --db NewMonica dump\MonicaNew但是我看不到上传到Mongo DB的新数据库，就像你在链接中看到的那样：如何恢复MongoDB中的数据库？

浏览 15提问于2021-05-23得票数 0

回答已采纳

1回答

Tango3DR_AreaDescription_createFromDataset在华硕增强型AR上的应用

android、c++、google-project-tango

我的应用程序已经在联想Phab 2 Pro上运行良好。有趣的是，我的Phab 2 Pro实际上有一个名为/sdcard/config的目录，包括各种文件和一个lens_invariant_ocvfreak子目录。但是，这个目录不在我的Asus Zenfone AR上。我能做些什么才能让它发挥作用？tango_3d_reconstruction.h中的文档说循环闭包数据库可以从Tango开发人员网站下载，但是我在任何地方都找不到它。我不完全确定循环闭

浏览 5提问于2017-08-09得票数 1

回答已采纳

2回答

hdfs://localhost:9000/home/hduser/sqoop/lib/hsqldb-1.8.0.10.jar : java.io.FileNotFoundException:文件不存在

java、hadoop、sqoop

我基本上是一个mysql的家伙，是hadoop的新手，试图通过sqoop和下面的命令在我的hadoop系统上导入一个mysql表，但得到了错误。我在网上搜索，但没有得到任何可能的解决方案。我将非常感谢您的支持。sqoop-import --connect jdbc:mysql://192.168.12.172:3306/ users_log --用户名根-P --表hduser 错误: 15/02/25 16:26:40

浏览 1提问于2015-02-25得票数 0

回答已采纳

1回答

使用Python的Hadoop* EMR*

python、hadoop、emr

我使用Hadoop流来使用python中的mapper和还原程序代码来运行Mapreduce作业。我在s3中有输入数据，我正在尝试在工作中使用它。但是，当我像这样运行命令时->-mapperreduceri.py -file s3://INLOCATION -input s3:/&#x

浏览 3提问于2014-06-20得票数 0

回答已采纳

2回答

通过Hadoop -put将带有方括号的文件上载到hadoop

hadoop、mapr

我有一个文件，它的名字有一个方括号。这个文件需要通过Hadoop -put上传到hadoop。我正在使用MapR 6。以下变体导致put:意外的URISyntaxExceptionhadoop fs -put aaa\[bbb.txt /destination hadoop fs -put "aaa[bbb

浏览 3提问于2020-01-31得票数 1

回答已采纳

2回答

将带有参数的文件传递给mapreduce作业

java、configuration、hadoop、mapreduce

我有个mapreduce这个Mapper应该使用一些只读参数.让我们想象一下，我想要计数一些子字符串(某物的标题)在输入行中的出现情况。我有一个成对列表："some“=> --一个从输入行中提取这个标题的正则表达式”。这些对存储在通常的文本文件中。将带有对的文件上载到hdfs。使用-Dpath.to.file.with.prope

浏览 4提问于2012-09-30得票数 1

回答已采纳

2回答

Hadoop中字计数期间的异常

java、hadoop、word-count

我已经成功地安装了Hadoop，现在我想运行Wordcount.jar。如下所示，我的源地址是/user/amir/dft/pg5000.txt，保存结果的目标地址是/user/amir/dft/output.txt。我已经从.jar下载了文件。我遵循了在中找到的指令，现在我的问题是“运行MapReduce作业”步骤。我怎样才能克服它？amir@amir-Aspire-5820TG:/usr&#x

浏览 0提问于2014-08-19得票数 1

回答已采纳

1回答

在HDFS上写入会导致502响应

hdfs、gateway

我正在HDFS上写一个文本文件。此操作每分钟都会执行一次。如果尝试写10次，我会得到7个502响应和3个201响应。即使相同的代码重复，也会发生这种情况。这可能是什么原因？？感谢您的任何想法:)

浏览 16提问于2020-06-29得票数 0

1回答

对数据摄取混淆hadoop

java、scala、hadoop、hdfs、ethernet

这可能是一个简单的问题，但它是概念性的，而不是一个清晰的答案，谷歌可以提供。但我目前的理解是，要将数据“摄取”到hadoop集群中，首先必须在主pc或集群单元上获得数据。这与我知道可以使用hadoop作为分散数据收集的方法相矛盾，如果每个单元都有传感器，您可以在设备上收集数据，并以这种方式摄入数据。假设我有一个Raspberry pi (或任何其他外围以太网设备)，并且我想将数据添加到Hadoop分布式处理/数据库中。我是否需要使这个以太网设

浏览 4提问于2014-11-06得票数 0

回答已采纳

4回答

看不到上传到服务器上的文件夹的图像

php、mysql

嗨，我在服务器上载文件时遇到了问题。这是我的代码：我有一个名为"upload“的文件夹，它将存储用户上传的所有文件。我的目标是将文件存储在mysql和"upload“文件夹中。文件的存储工作正常，没有错误消息，但我在"upload“文件夹中看不到上传

浏览 0提问于2013-01-02得票数 1

点击加载更多