3回答
使用C#读取数百万个小文件
、、、、
我有数百万个日志文件，每天都会生成，我需要读取所有这些文件，并将它们放在一起作为单个文件，以便在其他应用程序中对其进行一些处理。 我正在寻找最快的方法来做这件事。目前我正在使用线程、任务和并行，如下所示： Parallel.For(0, files.Length, new ParallelOptions { MaxDegreeOfParallelism = 100ReadFiles(file)).Start(); // Task.Run(()
浏览 60提问于2019-09-29得票数 2
回答已采纳
我尝试过许多方法，但是找不到一种高效的、高效的方法来打开文件夹中的数百万个文件，并将其内容插入到带有nodejs的数据库中。有洞察力吗？
浏览 4提问于2019-11-20得票数 0
回答已采纳
3回答
我计划从磁盘上读取数百万个小文件。为了最小化i/o，我计划使用一个字典将文件路径映射到其内容。不过，我只希望字典保留插入其中的最后n个键(因此字典将充当缓存)。
浏览 1提问于2018-06-30得票数 5
回答已采纳
我目前正在开发一个存储库，其中包含数百万个小型.npy、numpy或.png图像文件。代码读取和写入这些多个小文件。它看起来非常慢，我想知道如果我将所有较小的.npy文件合并成一个更大的文件，代码会运行得更快吗？如果是的话，原因是什么？它与磁盘I/O有关吗？
浏览 1提问于2022-07-15得票数 0
回答已采纳
我在s3中有一个文件夹(path = mnt/data/*. json )，其中包含数百万个json文件(每个文件小于10 KB)。星星之火通过一个任务为此创建一个作业。任务似乎没有运行它的执行程序，这通常意味着作业的完成(对吗？)，但是由于某种原因，DataBricks中的命令单元仍在运行。像这样卡住已经10分钟了。json文件，我不能自信地说它们将具有相同的确切结构(可能有一些discrepancies)The json文件是从我读到的= False可以帮助减少运行时的REST 中
浏览 2提问于2020-12-04得票数 2
回答已采纳
7回答
在很短的时间内备份数百万个小文件的最佳方法是什么？我们有不到5个小时来备份一个文件系统，其中包含大约6000万个文件，其中大部分是小文件。我们可以先将文件放入存档文件，或者通过网络或硬盘传输将文件传送到另一个位置。
谢谢
浏览 0提问于2011-02-02得票数 9
1回答
列出20个子目录需要很长时间
、、、、
我有一个目录(my_dir)，它有20个子目录。每次我运行'ls‘或试图在这个目录中自动完成一个文件名时，我的IO使用量就会达到100%，列出20个子目录需要很长时间(10分钟)。我怎么才能修好它？
浏览 0提问于2012-02-23得票数 2
我试图利用Span<T>，使用.NETCore 2.2来提高从文本文件解析文本的性能。文本文件包含多个连续的数据行，每个行将被分割为字段，然后每个字段被映射到一个数据类。最初，解析例程使用传统方法使用StreamReader读取每一行，然后使用Substring从该行复制各个字段。根据我所读到的()，除其他外，使用Span<T>和Slice应该更有效地执行，因为所做的数据分配较少，相反，指向byte[]数组的指针被传递并执行。经过一些实验，我比较
浏览 1提问于2019-07-12得票数 13
1回答
为数百万个小文件设置块大小
、、、、
我在Debian上的硬件RAID1中有2x4TB磁盘(可能是一个LSI MegaRaid)。物理块大小为4kB。我要存储1.5亿到2亿的小文件(3到10‘m之间)。我将一个8200字节的文件复制到一个块大小为4kB的ext4上。这需要32 of的磁盘！？写日记是原因吗？那么，有哪些选项可以为这样的小文件保存大部分存储空间呢？
浏览 0提问于2014-01-08得票数 10
1回答
我们每年一次截断一个由几个GBs和数百万行组成的表，然后运行优化以缩小文件系统上相应的ibd文件的大小。我们使用InnoDB作为存储引擎，MySQL 5.7作为数据库管理系统。
浏览 0提问于2020-08-09得票数 0
我必须读取一个大的文本文件，并使用C#逐行解析它。对于小文件，这可以用StreamReader轻松完成，但在处理大文件时，它捕获了内存不足的异常。如何适配大文件？
浏览 2提问于2013-01-08得票数 3
2回答
我正在使用scp从我的EC2实例中下载数百万个小文件(100到1000 kb)。scp似乎一次传输一个文件，并且没有充分利用我的1 gbps连接。
有没有更有效的方式下载这些文件？
浏览 3提问于2013-11-04得票数 0
回答已采纳
1回答
我用了一年左右的时间使用DRBD + OCFS2，但它现在不支持超过02台服务器。我读过关于GlusterFS和CEPH的文章，但是有很多关于它们的坏评论都与文件丢失有关。我需要所有的服务器实时同步，使用主动-主动-主动布局.有人知道怎么做吗？我的场景包括数百万个小文件(10 in或更少)，所以在这种情况下，我需要一些具有良好性能的东西。当使用大型文件时，GlusterFS具有良好的性能，但在处理小文件时却受到了影响。
浏览 0提问于2014-06-29得票数 -2
1回答
我正在开发一个从数百万个小文件创建1 Hadoop归档文件的应用程序。你知道如何使用客户端应用程序创建Hadoop归档吗？
浏览 0提问于2017-07-29得票数 1
/tmp只包含一个东西:一个名为/tmp/.mount_VCeNjK/的文件夹。我找不到关于它的任何东西，因为即使是sudo和su也不能chmod、阅读、umount、rm或stat。
浏览 0提问于2019-01-19得票数 0
回答已采纳
我需要备份一个服务器(Windows2008R2)到外部驱动器。因为服务器有数百万个小文件，所以需要块级备份，而不是文件系统。
我可以使用Acronis备份和恢复，也可以使用Windows备份。有什么令人信服的理由来选择一个而另一个呢？(我已经拥有Acronis软件，所以价格不是问题。)
浏览 0提问于2011-05-19得票数 3
回答已采纳
我有一个包含3个节点的HDFS集群。该集群包含大量小文件(KB)，我已经达到了每个节点数百万个数据块。 我又向集群中添加了4台新服务器，并启动了均衡器进程，但看起来效果不是很好。-目标是减少每台服务器的数据块数量 为了平衡小文件，我应该更改以下参数的值以支持从1KB大小的文件移动吗？
浏览 25提问于2021-10-16得票数 0
回答已采纳
从Ubuntu 15.04升级到15.10后，我注意到当我打开笔记本电脑时，启动和显示登录屏幕只需几秒钟，但当我输入密码登录字段并按下“enter”时会出现问题:屏幕显示我的桌面图像，左下角写着"Ubuntu 15.10“(我也可以看到我的鼠标)，大约需要3-4分钟才能显示菜单栏。我知道我立即登录到会话，因为我可以听到skype登录声音，它也加载所有的启动程序，但我不明白为什么要花这么长时间来显示菜单栏。P.S.我的笔记本电脑是惠普展馆dv6b04st。
浏览 0提问于2015-11-13得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
