2回答
我需要使用Ubuntu 18.04从SMB共享中删除超过1亿个小文件(8k-300 k)。我认为有效的唯一方法是运行多个并行作业，每个任务删除数据的一个子集(直到我饱和了NASs的处理能力)。
但是，我不确定如何从Linux命令行运行并行命令。
浏览 0提问于2019-12-19得票数 0
最近，我从Windows转到Linux，并且一直存在同步OneDrive的问题。虽然onedrive-砂糖程序真的很酷，我真的很高兴使用它，但它有一个小问题。上传/下载许多小文件需要时间。问题是角需要大量的依赖(？)创造了大量的小文件。我想澄清一下，我有一个很好的网络连接。我已
浏览 0提问于2021-10-21得票数 0
我已经下载了百万首歌曲数据集的一个子集，大约2 2GB。但是，数据被分解为文件夹和子文件夹。在子文件夹中，它们都是几种“H5文件”格式。我知道它可以用Python来读取。但是我不知道如何提取并加载到HDFS中，这样我就可以在Pig中运行一些数据分析。我是否将它们提取为CSV并加载到Hbase或Hive？如果有人能帮我找到合适的资源会很有帮助。
浏览 0提问于2015-10-10得票数 0
4回答
我的一位朋友设计师正在手动编译他的小文件，并将其上传到Coda (远程站点)，花费了大量宝贵的时间。他问我：
是否有可能自动检测Linux服务器上的文件更改并立即进行编译？
浏览 18提问于2012-11-29得票数 10
回答已采纳
2回答
我有一个系统，有一个高吞吐量的小文件在磁盘上，即大量的小文件被创建，写入和删除在几秒钟内。
是否有任何合理的ext3 2/ext3 3/ext3 4挂载选项来提高性能？
浏览 0提问于2012-08-07得票数 3
回答已采纳
1回答
我总共有8gb的磁盘空间，还有超过2GB的：Filesystem Size Used Avail Use% Mounted ontmpfs 200M 21M 180M 11% /run但是，当我运行服务器或尝试make时，它总是失败的：或者出现某种"Unix.E
浏览 0提问于2017-09-05得票数 0
我试图找到最好的方法来存储大量的小文件在一个卷，而不触及inode的限制。我在做一些研究，结果发现：他们建议：“小文件”的选项是什么？另外-任何其他的建议，如何配置一个驱动器为许多小文件(~3-10 of )，将不胜感激！
浏览 0提问于2020-09-19得票数 2
回答已采纳
2回答
传输大量小文件
、、、、
当你的数据在MB甚至GB范围内时，通常的数据传输方法(scp、http和ftp实用程序，如curl或wget)可以很好地工作，但是当你有非常大的小文件集合(例如10KB)时，传输将非常慢，并且根本不会使用带宽
浏览 3提问于2018-12-16得票数 0
1回答
几个月后极端的ZFS减速
、、、
使用0.6.5.3运行Linux4.2.3内核。它会创建15分钟、小时、每日和每月的快照，并保留一定数量的每个快照，删除最老的快照。这意味着，随着时间的推移，每个文件系统上已经创建和销毁了数千张快照。
浏览 0提问于2015-10-23得票数 8
1回答
我有一个在Linux下运行的Python脚本，它会在给定的目录中生成大量的小文件。但是，像ext4这样的许多Linux文件系统在创建时都设置了固定数量的inode，所以我想确保在开始之前可以将那么多的文件保存到该目录中。
浏览 10提问于2012-09-08得票数 2
回答已采纳
我把Linux CentOS作为VMWare工作站上的客户操作系统，主机是Windows。我每次都能复制这个问题。我们能做些什么来解决这个问题。
浏览 0提问于2014-02-14得票数 -1
1回答
我有一个包含大量小文件的源文件夹。我希望将所有文件包装到Hadoop加密区中的单个文件或容器中。有没有办法可以删除源文件夹中的所有小文件并创建一个归档文件。如果是，如何解压并取回源文件？
浏览 7提问于2017-08-22得票数 0
回答已采纳
我试图找到最快的方式删除文件夹，所有的子文件夹和文件。Remove-Item -path $Folder.FullName -Recurse -Force
然而，这似乎很费时。使用powershell删除所有这些的最快方法是什么？
浏览 0提问于2019-06-26得票数 1
1回答
我安装了cloudera管理器(CDH 5)并创建了自己的claster。一切都很好，但是当我运行任务时，它运行得很慢(18分钟)。但是红宝石的剧本大约运行了5秒。#mapper.py for word in doc.split(): for key, value in do_map(line):
print(key + "\t" + str(valu
浏览 3提问于2015-11-17得票数 0
我最近一直在查看我们的备份，并且注意到在编写大量小文件时，磁带的吞吐量要低得多，所以考虑将这些小文件存储到一个大tar文件中，并将其写入磁带，而不是直接录制小文件。我的意思是，我将丢失包含大量较小文件的整个(大)文件，还是只会丢失tar文件的一个特定块并能够恢复其余的文件？
另外，像Amanda或Bacula这样的备份程序如何处理大量的小文件？注意:可能只是我们的暂存磁盘太慢了，但我假设小文件会对大多数人造成这样的备份性能问题。
浏览 0提问于2011-10-20得票数 4
回答已采纳
5回答
我的问题是，我有一个应用程序，它正在编写大量相对(100-500kb)较小的CSV文件(数万和数十万)。因此，我需要不时地删除这些小文件，以防止它们占用所有空间。我想将其附加到编写这些文件并将其加载到数据库中的活动中，作为最后的完成步骤。我的问题是，在java中，如何才能以较低的性能开销删除一堆小文件呢？
提前感谢！迈克尔
浏览 2提问于2010-07-29得票数 17
回答已采纳
1回答
当文件作为记录从linux机器上传到Hbase表时，我们观察到数据大小的减少(文件系统上为10 GB，Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法，主要压缩也被禁用。
浏览 47提问于2021-06-23得票数 0
3回答
移动大量的小文件
、、
我必须将包含大量小文件(250 k，avg大小为5mb)的目录从一台服务器传输到另一台服务器。两者都运行在Debian上。是否有一个关于大量文件传输的协议是值得推荐的？
浏览 0提问于2011-03-26得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
