HDFS TO COS上传了hdfs上的文件到cos，哪怎么把上传到cos的文件直接下载到hdfs?
浏览 611提问于2019-02-13
1回答
.tmp文件刷新速率控制问题
、、、、
我试图每5分钟刷新一次.tmp文件，我的源代码很慢，需要30分钟才能在hdfs接收器中获得128 my文件。
在flume接收器中是否有任何属性可以在文件滚入HDFS之前控制.tmp文件的刷新速率。
我需要使用.tmp文件中的hive表来查看HDFS中的数据。
目前，我正在使用hive表从.tmp文件中查看数据，但是由于卷大小为128 is，.tmp文件在很长一段时间内不会刷新。
浏览 1提问于2015-05-26得票数 1
回答已采纳
基本上，我有一个程序，它上传文件到HDFS。这些文件是在任务执行结束时上传的。因此，很多任务同时(在执行结束时)将文件上传到HDFS，从而造成争用。文件大小小于HDFS块(< 64 MB)。我想知道，提前创建HDFS文件是否会更快(任务正在做一些处理以避免争用)，然后在处理完成后，以字符串的形式读取本地文件的内容，然后将该字符串附加到已经预先创建的HDFS文件中。
所以，基本上，我的问题是，哪一个有更多的开销，创建一个HDFS文件或者在已经创建的HDFS文件中附加一个字符串？
浏览 1提问于2016-04-26得票数 1
回答已采纳
我试图将目录中的文件上传到我在HDFS上创建的目录中，但我无法这样做，因为ubuntu无法在我的机器上找到这些文件。‘state’目录(我正在尝试上传的目录)包含50个txt文件，位于我的下载文件夹(路径: /home/shradha/Downloads)。我尝试在hdfs /state中上传这些文件到我的ec2 hadoop实例中(我已经创建了hdfs和state)。我在某个地方读到只有' tmp‘文件夹中的文件可以移动，所以我将我想要上传到hdfs的目录移到了tmp文件夹中，仍然没有成功。我尝试了put，copyFromLocal，moveFromLocal，但都不起作用。请看屏幕
浏览 0提问于2016-10-15得票数 0
我正在试图上传100万个文本文件到HDFS。因此，使用Eclipse上传这些文件大约需要2个小时。有谁能建议我做这件事的快速技巧吗？Iam的想法是:将所有文本文件压缩到一个zip中，然后将其上传到HDFS中，最后使用解压缩技术将这些文件解压缩到HDFS中。任何帮助都将不胜感激。
浏览 2提问于2013-10-10得票数 2
回答已采纳
据我所知，Hadoop HDFS不能提高网络速度，但我正在与一些人讨论如何才能显著加快上传速度，有人说他们能够使用HDFS显著提高上传速度。
如果用户在LAN (100 MBPS)上，当用户使用浏览器上传大于100 on的大文件时，Hadoop HDFS是否可以帮助提高上传速度？
浏览 5提问于2019-01-31得票数 0
我正试图找到一种解决方案，将文件从本地windows机器或本地linux机器复制到云上的hdfs。
我知道一个解决办法
远程->集群节点(使用scp)
节点-> hdfs (使用hdfs命令)
但是对于我的用例，它不起作用，我需要找到一个解决方案，直接从本地上传文件到hdfs，就像hue用于上传一样。
我也试过听从命令
hdfs文件：：//<‘本地-主机’>：<‘本地-路径’>hdfs://<‘hdfs-路径’>
但是，通过以下错误：
copyFromLocal：<‘本地路径’>：没有这样的文件或目录
如有任何
浏览 2提问于2016-06-17得票数 0
1回答
我有我想上传到HDFS的数据
数据文件夹是多层的，但最内部的dir只包含多个.gz文件.
文件夹是大约250 GB压缩，我不知道有多少gz文件在那里。
我想上传到HDFS，但他们应该被解压。
是否有一种方法可以通过单一的hadoop fs -put命令来实现这一点？还是编写一个脚本文件，逐个解压缩并上传到hdfs是唯一的方法？
浏览 1提问于2018-11-16得票数 0
回答已采纳
我们已经在Azure上设置了HDInsights集群，Blob作为Hadoop的存储空间。我们尝试使用Hadoop将文件上传到hadoop，然后将这些文件上传到Azure Blob。
用于上载的命令：
hadoop fs -put somefile /testlocation
然而，当我们尝试使用Spark将文件写到Hadoop时，它不是上传到Azure Blob存储，而是上传到hdfs-site.xml为datanode指定的目录下VM的磁盘上。
所用代码：
df1mparquet = spark.read.parquet("hdfs://hostname:8020/dataSet/
浏览 2提问于2022-06-14得票数 0
回答已采纳
我将作业提交到运行在Yarn上的星火集群--有时通过相对缓慢的连接提交。为了避免为每个作业上传156 job火花组装文件，我将配置选项spark.yarn.jar设置为HDFS上的文件。但是，这并不能避免上传，而是从HDFS目录获取程序集文件，并将其复制到应用程序目录：
$:~/spark-1.4.0-bin-hadoop2.6$ bin/spark-submit --class MyClass --master yarn-cluster --conf spark.yarn.jar=hdfs://node-00b/user/spark/share/lib/spark-assembly.jar
浏览 2提问于2015-07-06得票数 1
回答已采纳
我正在尝试使用python脚本在HDFS上上传本地文件。现在，我有Hue(用户名和密码)，我的ip地址。我想使用python中的hdfs3库。我基本上知道如何自动化这个过程。我可以使用Hue找到我想要上传到HDFS上的位置(运行一些查询)。
我的问题是在哪里可以找到此主机、端口信息并连接到HDFS。
from hdfs3 import HDFileSystem
hdfs = HDFileSystem(host=***, port=***)
浏览 2提问于2018-05-26得票数 0
我使用的是windows10，并使用docker container来运行confluent控制中心。我正在尝试上传一个可以在confluent集线器上找到的预先构建的连接器：
我得到以下错误：“无效的连接器类。请检查连接器配置文件。”
我正在尝试上传具有以下.properties文件的连接器
name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=test_hdfs
hdfs.url=hdfs://localhost:9000
flush.size=3
浏览 17提问于2021-02-24得票数 0
1回答
我已经用Java-8在Ubuntu18.04中安装了Hadoop3.2.1。我能够通过终端使用hadoop fs -put命令将文件发送到HDFS。但是，当我试图通过UI上传文件或创建一个目录时，我会得到以下错误：
上传文件时：
无法上传文件temp.txt
在创建目录时：
拒绝权限: user=dr.who，access=WRITE，inode=“/”：user1 1:supergroup:drwxr-xr-x
hdfs-site.xml文件：
<configuration>
<property>
<name>dfs.replication
浏览 8提问于2021-06-15得票数 1
有人对HDFS进行前向同步有很好的建议吗？(与“双向同步”相比，“前向同步”)
基本上，我有大量的文件想要放入HDFS。它太大了，我常常说，在它完成之前，我就会失去连接。我想做的是做一个“简历”我的文件上传。然而，hadoop fs -put只会再次上传整个目录(如果存在则会发出抱怨)。
有谁有一个好方法来继续一个不完整的hdfs上传？
浏览 0提问于2009-09-14得票数 5
我有个问题，下面是一些信息：
节点:3个节点，但仅配置2个区域服务器
操作系统: Centos6.3
Apache Hadoop2.7.1
Apache Apache 0.98.12
我的hadoop和hbase支持lzo压缩，同时支持snappy压缩成功，我有一个使用lzo压缩的hbase表，还有其他使用snappy压缩的hbase表，我将50个recoder数据插入到这个表中，ok，insert没有问题，但是当我使用java api扫描这个表时，一个区域服务器就死掉了。
我检查了hbase日志，但是没有错误或异常，但是我检查了hadoop日志，我发现了一些异常：
java.io.IOExc
浏览 2提问于2015-12-31得票数 0
回答已采纳
1回答
我正在尝试实现这样的场景:我可以拆分本地linux上的gz文件，并将其作为部分解压缩或压缩文件上传到hdfs，而无需将拆分的输出写入磁盘。在尝试以下命令后，我遇到了问题。
下面的命令写到本地磁盘，然后我可以上传到我不想要的hdfs :-
zcat ./file.txt.gz | tail -n +2 | split -l 20 - file.part
hdfs dfs -copyFromLocal ./*file.part* /folder/in/hdfs/
我想要这样的东西是可以实现的吗？
zcat ./file.txt.gz | tail -n +2 | split -l 20
浏览 0提问于2017-10-07得票数 0
回答已采纳
用户rok上传文件，权限设置为770。HDFS上的文件如下所示：
-rw-rw---- 3 rok hdfs filename1
我正在使用ksc用户来使用rok用户上传的数据。因此，首先，我要确保ksc拥有对该文件filename1的权限。
如何找到我的用户ksc的组名？用户是否属于Hadoop中的hdfs组？
顺便说一句，如果我上传一个文件到Hadoop，文件权限如下：
-rw-r--r-- 3 ksc ksc filename2
我的Linux of ksc用户的本地信息是：
uid=504(ksc) gid=502(ksc) groups=502(ksc)
浏览 3提问于2013-09-05得票数 4
我有一个c#应用程序，可以创建拼花文件并将其上传到远程HDFS。如果我使用scp将文件复制到安装了HDFS客户端的目标计算机上，然后"hdfs将该文件放入“HDFS中，那么spark可以正确地读取该文件。
如果我使用curl对webhdf服务直接从客户端应用程序将该文件上传到HDFS，则在尝试读取parquet文件时从Spark获得以下错误：
df = "/usr/hdp/current/spark2-client/python/pyspark/sql/readwriter.py"，(“/tmp/test.parquet”)追溯(最近一次调用)：File“，第1行，在
浏览 0提问于2018-12-04得票数 0
2回答
我创建了一个网页，要求用户填写一张表格，其中包括上传图片。为了允许用户在不刷新页面的情况下查看上传的图像，我使用AJAX将图像存储在一个临时目录中。如果表单未正确填写，则在提交时临时目录中的图像将被删除。但是，如果用户在未提交表单的情况下上传图像后关闭其web浏览器或刷新页面，则该页面将停留在临时目录中。
是否有一种方法可以检测用户是否退出/刷新了页面，并随后在临时目录中解除了图像文件的链接？
浏览 5提问于2014-08-19得票数 0
回答已采纳
1回答
我使用Python来处理包含时间戳和文件名的hadoop文件系统的输出。
由于输出很长，所以我只想打印未被检查的行。
为此，我将存储时间戳last_ts，这是最后一次检查系统。
要打印整个输出，我将使用以下命令
hadoop fs -ls /path/to/donemarkerfiles/ | sort -k 6 |awk '{print $6" "$7" "$8} '
6是一天，7是时间，8是内容。
我想将6和7与last_ts进行比较，并且只打印某些行。
我该怎么做？我试着在awk中使用awk条件，但是我失败了很多，并且放弃了。
样本输出：
浏览 0提问于2014-06-24得票数 0
回答已采纳
假设XYZ先生正在将一个500MB的文件上传到Hadoop (HDFS)中。100MB数据成功上传到Hadoop(HDFS)和ABC先生，因为客户端希望在上传过程中读取上传的数据。在这种情况下会发生什么，上传的1000MB数据会显示出来吗？
浏览 27提问于2020-07-14得票数 0
回答已采纳
1回答
所以我有两个脚本: script1用于上传文件到hdfs，script2将访问该文件夹并每n秒钟读取一次文件。
我的上传脚本是这样的
from hdfs import InsecureClient
from requests import Session
from requests.auth import HTTPBasicAuth
session = Session()
session.auth = HTTPBasicAuth('hadoop', 'password')
client_hdfs = InsecureClient('http://had
浏览 5提问于2022-01-26得票数 0
回答已采纳
如何处理上传到HDFS中的cvs文件的特定部分？我是Hadoop的新手，我有一个问题，如果我将关系数据库导出到cvs文件中，然后将其上传到HDFS中。那么如何使用MapReduce对文件中的特定部分(表)进行操作。提前谢谢。
浏览 0提问于2013-04-17得票数 0
回答已采纳
我一直在研究一种在其他消费者/应用程序访问数据时刷新HDFS文件的方法。我有一个HDFS目录，其中有可供用户访问的文件，我需要每天用最新的传入数据替换这些文件，我的刷新过程只有几秒钟/毫秒。但仍然面临的挑战是，由于此刷新过程，已经读取此数据以进行分析的作业会受到影响。我的方法是刷新文件，而不是将spark作业产生的数据写入用户访问的实际数据位置，我将首先将数据写入临时位置，然后用hdfs文件替换API替换。但是我的问题仍然没有解决。请建议任何解决方案或解决方法来处理HDFS文件替换，而不会对下游造成影响。
val conf: Configuration = new Configur
浏览 1提问于2018-12-09得票数 1
我们有一个以每秒1 1msg的速度处理3个分区的主题，我使用HDFS连接器将数据写入HDFS格式(默认)，它生成的文件大小为KBS，因此我尝试更改HDFS属性中的以下属性。
"rotate.interval.ms":"7200000" "flush.size":"5000“
但是输出仍然是小文件，所以我需要澄清以下几点来解决这个问题：
如果我们不提及flush.size属性，那么flush.size属性是否是强制性的，数据如何被刷新？
如果我们提到刷新大小为5000，旋转间隔为2小时，则为前3个间隔每2小时刷新一次数据，但在此之后
浏览 0提问于2018-07-03得票数 3
2回答
在将一个大文件(大于5GB)从HDFS上传到S3时，我遇到了一个问题。有没有一种方法可以直接将文件从HDFS上传到S3，而无需将其下载到本地文件系统并使用多部分？
浏览 5提问于2016-01-07得票数 1
回答已采纳
我想通过python模块" hdfs“远程上传文件到我的hdfs。我的hadoop在我的linux上运行，但我想远程上传文件在我的windows(或其他计算机)。当我使用如下代码时：
from hdfs import InsecureClient
client = InsecureClient('http://xx.xx.xx.xx:50070', user='user')
我可以使用client.walk('/')来查看目录，但是我不能上传文件，它会引发如下错误：
requests.packages.urllib3.exceptions
浏览 1提问于2017-03-22得票数 2
2回答
我是如何理解WAL的:预先写日志提供了一致的put/delete操作。在对区域进行更改之前，所有操作都会写入其中。如果区域服务器出了问题，我们可以从WAL中修复信息。
我不明白的是WAL是如何在HDFS之上实现的？
来自HDFS文件：
创建文件的客户端请求不会立即到达NameNode。实际上，最初HDFS客户端将文件数据缓存到一个临时本地文件中。应用程序写入将透明地重定向到此临时本地文件。当本地文件累积超过一个HDFS块大小的数据时，客户端将与NameNode联系。NameNode将文件名插入文件系统层次结构并为其分配数据块。NameNode使用DataNode和目标数据块的标识来响应客户端
浏览 5提问于2015-09-24得票数 4
1回答
背景
使用java将文件上传到s3的简单老问题稍微有点扭曲
S3不支持流(AFAIK)，因此在上传数据之前，需要将数据分组到适当大小的文件中。
在创建上述临时文件时，有一些关于位置的选项。
一些指定目录中的本地目录
在HDFS中本地(如果可能的话，我甚至不知道Hadoop中的H)
到hadoop集群中的HDFS
问题
哪一个可能更快？
使用HDFS (本地或集群)与本地FS，HDFS本质上更接近S3格式是否有优势？
技术和基础设施
EC2，linux，java
浏览 0提问于2016-09-23得票数 0
回答已采纳
环境: Hadoop 0.20.2-cdh3u5
我正在尝试上传日志数据(10G)到硬盘文件系统的自定义工具，其中使用SequenceFile.Writer。
SequenceFile.Writer w = SequenceFile.createWriter(
hdfs,
conf,
p,
LongWritable.class,
Text.class,
4096,
hdfs
浏览 3提问于2012-09-24得票数 3
回答已采纳
1回答
有没有一种方法可以将文件从(比方说) hdfs://old复制到hdfs://new，而不需要先下载文件然后再上传？
浏览 37提问于2016-04-06得票数 1
2回答
我在ubuntu 16.10上有Hadoop
一切正常:我可以在HDFS中上传输入文件并执行map-reduce操作。但是当我重新启动我的PC时，所有的HDFS块都被损坏了，并且NameNode在SafeMode中启动
所以我不得不
1)离开SafeMode
2)使用以下命令删除所有损坏的块
hdfs fsck -delete
3)重新上传输入文件
那么在下次重启之前，它都工作得很好。
有没有人能帮我解决这个问题。谢谢
浏览 0提问于2017-03-09得票数 0
1回答
Iam使用Hadoop解析大量(大约一百万)文本文件，每个文件都包含大量数据。首先，我使用Eclipse将我所有的文本文件上传到hdfs中。但是在上传文件时，我的map-reduce操作导致C:\tmp\hadoop-admin\dfs\data目录中有大量文件。那么，有没有什么机制可以让我缩小HDFS的大小(基本上就是上面提到的驱动器)。
浏览 1提问于2013-10-10得票数 0
我使用的是Azure中的Hortonworks-sandbox。当我在Hive view (Ambari)中点击upload table选项卡下的浏览按钮时，我可以从我的本地文件系统(而不是沙箱本地文件系统)上传文件。而且我无法从HDFS中选择文件。在界面中，没有从HDFS中选择文件的选项。有没有办法从HDFS中选择文件？
浏览 0提问于2016-11-10得票数 0
1回答
我使用Microsoft.Research.Peloponnese.WebHdfs向HDFS写入文件。但是使用这个文件上传文件似乎有一个100年代的超时时间。我没有找到任何方法来改变这个超时。
using (var hdfs = new WebHdfsClient(user, port))
{
using (Stream writeStream = hdfs.GetDfsStreamWriter(writeFileURI))
{
using (Stream readStream = System.IO.File.OpenRead(inFile))
{
浏览 5提问于2017-12-06得票数 0
回答已采纳
我正在使用Oozie运行Shell脚本。首先，我将脚本上传到HDFS，然后脚本应该将其日志转发到存储在HDFS中的同一个目录中的日志文件，这意味着生成的日志文件应该在HDFS中。
有人知道如何实现这一目标吗？
浏览 1提问于2015-08-26得票数 0
为什么HDFS客户端不能直接发送到DataNode？
客户端缓存的优点是什么？
创建文件的应用程序请求不会立即到达NameNode。
实际上，最初，HDFS客户端将文件数据缓存为临时本地文件.。
应用程序写入将透明地重定向到此临时本地文件。
当本地文件累积至少一个HDFS块大小的数据时，客户端将与NameNode联系以创建一个文件。
然后，NameNode按照在Create一节中的描述继续进行。客户端将数据块从本地临时文件刷新到指定的DataNodes。
当文件关闭时，临时本地文件中剩余的未刷新数据将被传输到DataNode。
然后，客户端告诉NameNode文件已
浏览 0提问于2017-06-17得票数 2
回答已采纳
1回答
我有一个非常基本的概念级别的问题出现在我的脑海中，HDFS和各种文件格式之间有什么区别和联系-序列文件(基于它的映射文件)，HAR文件？
我认为答案是，HDFS是基础文件系统，我们可以将原始二进制文件上传到HDFS (不使用序列文件、HAR文件等)，也可以使用一些特殊设计的文件格式来写入基于HDFS的文件--如序列文件(基于它的映射文件)格式、HAR文件格式。这是正确的理解吗？
浏览 2提问于2012-12-01得票数 1
回答已采纳
1回答
如何将目录上传到HDFS
、、、、
我正在做一个项目，在这个项目中，我需要通过REST API将目录从Hadoop集群外部的机器上传到HDFS。基本上，我需要一个命令，以便通过终端(或Python脚本)使用REST API将目录发送到HDFS。
WebHDFS文档中指定的唯一方法是上载单个文件。这对我来说还不够，因为我需要通过REST API上传数千个文件。
提前感谢！
这适用于使用单个节点作为NameNode和DataNode的HDFS，这是非常默认的配置。
浏览 9提问于2019-07-16得票数 0
1回答
我得到了分配给项目的HDFS文件夹的这些使用统计数据。
hdfs dfs -df -h hdfs://hp3/data/test_data.db
Filesystem Size Used Available Use%
hdfs://hp3 6.1 P 5.1 P 1.0 P 83%
“P”代表什么？它不能是GB，因为我知道我上传的数据大约是10 GB。
浏览 0提问于2021-05-20得票数 0
1回答
我正在尝试创建一个bashscript来将文件从本地边缘节点文件系统上传到hdfs。我想知道一种在文件中添加时间戳的好方法。在让时间戳开始工作上遇到了一些问题。
#!/bin/bash
echo Running upload script to hdfs...
timestamp(){date +"%T"}
hdfs dfs -put /home/myname/folder1/* /user/myname/example_1_$(timestamp).txt
hdfs dfs -put /home/myname/folder2/* /user/myname/example_2
浏览 2提问于2017-03-24得票数 3
回答已采纳
是否有一种方法可以确定hadoop中的文件是否正在被写入？我有一个将日志放入hdfs的过程。我有另一个进程来监视hdfs中是否存在新的日志，但我希望它在处理之前确保文件已经完全上传到hdfs中。这样的事情有可能发生吗？
浏览 5提问于2009-11-20得票数 2
我正在尝试上传HDFS (服务器)中的文件。如我所见，文件已成功上传到HDFS中，但文件大小略有增加。因此，使文件损坏。而且文件不像预期的那样工作。
我用邮递员上传的文件也很好。HDFS中的文件大小没有变化，而且文件的工作原理是预期的。
这里是and中请求的主体，它显示成功消息和文件在服务器中。
POST http://myurl/../..
POST data:
--HTKJ_hgyyM7QVWQfJBS5X-WQX0zkMO5fqmlY
Content-Disposition: form-data; name="file1.pak"; filename="fil
浏览 3提问于2017-02-02得票数 0
回答已采纳
1回答
我正在尝试保存一个熊猫DataFrame到HDFS的CSV格式使用pyarrow上传方法，但CSV文件保存是空的。代码示例可以在下面找到。
import io
import pandas as pd
import pyarrow as pa
df = pd.DataFrame({"x": [1, 2, 3]})
buf = io.StringIO()
df.to_csv(buf)
hdfs = pa.hdfs.connect()
hdfs.upload("path/to/hdfs/test.csv", buf)
当我在HDFS上检查test.csv的内容时，它
浏览 0提问于2021-07-07得票数 0
我正在使用Flume将一些CSV文件从本地文件系统写入HDFS。
我想知道什么是最适合Flume HDFS接收器的配置，这样本地系统上的每个文件都将在HDFS中被准确地复制为CSV。我希望由Flume处理的每个CSV文件都是单个事件，刷新并写入为单个文件。尽可能的，我希望文件是完全相同的，没有标题等。
我需要在这些值上添加什么来模拟我想要的行为？
hdfs.batchSize = x
hdfs.rollSize = x
hdfs.rollInterval = x
hdfs.rollCount = x
请提供如果有其他的水槽代理配置变量，我需要改变以及。
如果这将无法使用现有的配置，我是否需要使
浏览 3提问于2015-05-07得票数 5
回答已采纳
1回答
我有一堆CSV的压缩文件，我想从这些文件创建Hive表。我想找出什么是最好的方法。
解压缩文件，将它们上传到HDFS。有方法将文件复制到HDFS，解压缩，还是有其他更好的/推荐的方法？
浏览 0提问于2011-06-16得票数 4
回答已采纳
1回答
我和NiFi和Hive一起在安巴里的一个HDP网箱里工作。
我有一个NiFi流，我将修改后的文件上传到hdfs，然后使用generateflowfile将查询load data inpath 'hdfs/path/' into table tablename传递给puthiveql处理器。
它工作得很好，但我只想在“hdfs / path”指定的路径中有文件时这样做，因为当命令load inpath执行时，hdfs目录会清空。
我不知道我该怎么做。
非常感谢！
浏览 0提问于2019-07-25得票数 1
回答已采纳
我正在尝试使用json加载json文件。我成功地添加了serde文件。
1)放置在path /apps/hive/仓库/lib/I上的json jar文件已成功运行此命令
add jar hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar; converting to local hdfs:///apps/hive/warehouse/lib/json-serde-1.3-jar-with-dependencies.jar Added [/tmp/6f1a54b9-65c4-4e32-8e87-25d
浏览 1提问于2019-04-11得票数 0
回答已采纳
我需要创建一条数据管道，其中source是HTTP，Sink是HDFS，用于发布数据和文件。问题是我想用与最初发送到HTTP源文件相同的扩展名保存文件。
我用下面的脚本创建了一个流
流创建httpToHdfs --定义"http | HDFS“--部署
但是当我上传.gzip /.xml / .json格式的文件时，它会将文件存储在.txt中
我只想通过HTTP源复制HDFS中的文件，spring xd可以吗？
浏览 2提问于2015-02-22得票数 1
我想要自动处理每日上传的文件使用临时电子病历集群。我在S3上的文件是使用这样的日期键进行分区的：
2022-07-27-stats.csv
2022-07-28-stats.csv
...
每天，我从S3上传一个文件到‘hdfs://raw/’，并且在文件‘hdfs://raw/**..csv’中使用*作为Spark脚本中读取的文件，这样我就不必每天手动更新脚本中的读取路径来计算更改的日期键。
这很好，但我希望能够在‘hdfs://raw’中获取文件的日期键部分，以便我可以使用字符串内插将其添加到脚本的写文件部分；这样，写入S3输出桶的文件可以类似地进行分区。是否有返回文件名的方法？
浏览 15提问于2022-07-27得票数 -2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
