在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
我正在寻找一个linux命令，以便远程将文件集从一个文件夹移动到另一个文件夹。
我尝试了smbclient，但是当我使用它来移动文件时，我必须执行两个步骤：
首先将远程CIFS文件从folder1复制到linux框。-使用mget
然后使用mput将这些文件复制到远程CIFS上的folder2中。
由于上面的过程，当我有大文件时，它变得太费时了。如何在不通过本地机器移动文件的情况下正确地完成此操作？
浏览 0提问于2016-07-06得票数 3
我正在寻找在python中压缩大文件夹(大约30 Go )的更快的方法。压缩级别不是优先级。我尝试过一些库，如tarfile或zipfile。你知道其他图书馆吗？我的脚本运行在Linux上，像gzip、bzip2或xz这样的Linux命令更快吗？欢迎任何建议。
谢谢
浏览 1提问于2016-02-02得票数 2
回答已采纳
如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
5回答
如何使文件变得稀疏？
、、、
如果我有一个包含许多零的大文件，我如何有效地使它成为稀疏文件？
是否唯一的可能是读取整个文件(包括全零，通常是稀疏存储的)，并使用seek跳过零区域将其重写为新文件？
或者有没有可能在现有的文件中这样做(例如File.setSparse(长开始，长结束))？
我正在寻找一个解决方案的Java或一些Linux的命令，文件系统将是ext3或类似的。
浏览 6提问于2011-05-13得票数 10
回答已采纳
在linux上，临时文件存储在ramdisk上：
tmpfs 15G 4.0K 15G 1% /dev/shm
但是，如果/tmp/ i中有几个大文件，那么假定文件溢出到磁盘上了吗？在这种情况下，如果机器的磁盘速度越来越慢，则最好使用更快的磁盘。
这到底是如何工作的，我们如何在Linux上配置溢出到哪里呢？
浏览 0提问于2012-07-17得票数 4
2回答
将shell输出中断为文件
、、、、
我知道我可以使用以下方法将脚本输出输出到文件中：
/path/to/script.sh >& path/to/output.log
问题是，我在Java中做了一个无限循环，我的shell将运行，因此输出文件将变得非常大。
是否有使用linux命令按最大文件大小来拆分日志的输出，或者我必须将输出Java改为控制台，以便按照最大文件大小分隔文件？
浏览 0提问于2013-08-14得票数 1
回答已采纳
2回答
我需要保存大量数据(>500 PC )，这些数据是从连接到我的PC的另一台设备流式传输的(800Mb/s)。速度排除了数据库的使用，例如MySQl/ISAM，我正在寻找一个快速，轻量级的库，它位于'C‘stdio文件库(即fopen/fclose/fwrite)之上，它将允许我读/写一个非常大的文件(最多可用磁盘空间)。
在幕后，大文件可以被分解成更小的文件，例如1 1GB，我希望API来处理这些细节。
数据以压缩的二进制格式到达PC，在将其写入硬盘之前不需要进一步处理。
这个库应该可以在Windows和Linux上运行。
浏览 3提问于2010-01-19得票数 0
2回答
我有一个带有VZFS文件系统的VPS主机。如何确定VZFS分区的最大文件大小？
UPD:自由空间(或全部空间)不是我所需要的。有时文件不能占用一个空穴分区卷- fat16有2Gb的限制是一个很好的例子。我需要使用一个大型数据库文件(例如，64 it )，所以我需要知道VPS托管的文件系统是否能够处理它。ext3文件系统使用tune2fs很容易计算，但是VPS通过Virtuozzo使用VSFS，而且它被记录为糟糕。对于linux中的某些文件系统，是否有计算最大文件大小的通用方法？
浏览 0提问于2010-01-29得票数 0
2回答
我们有一个旧的java应用程序被包装成一个服务，它本质上是一个while循环，它在文件夹中迭代，寻找正在创建的新文件。
除了与大文件有点不一致外，它工作得很好，但这让我怀疑这是否仍然是一种非常基本的方法，或者说这是“寻找更新”应用程序的唯一方法
浏览 1提问于2012-01-18得票数 0
回答已采纳
2回答
我想知道Linux中是否有针对以下情况的软件解决方案：
将USB磁盘连接到Windows主机(可以是XP、Vista、7等)。
将一个大文件复制到USB磁盘。
以不安全的方式将USB设备与Windows断开
将USB设备连接到Linux主机。
尝试安装USB设备
其结果是USB磁盘将不会在Linux中挂载，因为它包含一个打开的文件。
解决这一问题的一种方法是将USB磁盘重新连接到Windows，然后安全地卸载，然后将USB磁盘挂载到Linux。
是否有办法解决这个问题，只使用Linux工具，而不涉及Windows，以正确关闭USB磁盘。
浏览 0提问于2013-01-25得票数 3
1回答
GitAhead是否支持大文件存储？我试图克隆我们的一个BitBucket存储库。它完成得很好，但是一个大的TAR文件只有1KB，而不是几百MB。
我寻找启用LFS的方法，但没有找到。我必须安装插件吗？
浏览 6提问于2020-05-26得票数 0
1回答
APR和大文件
、、
我想使用APR来mmap非常大的文件，大于4Gb。首先，我需要创建这么大的文件，但我发现函数apr_file_seek接受类型为apr_seek_where_t的参数，该参数只是int的别名。因此，这是可能的，以寻找前4的工作。有可能用APR处理大文件吗？
浏览 2提问于2013-11-25得票数 0
回答已采纳
2回答
我在网上搜索了一下，怎么改目录名？但我什么也没找到。我发现的只有rename()在改变文件名。我想更改目录名称。Linux使用mv命令来重命名目录，但是如果目录包含大文件，那么移动将花费更多时间，对吗？我想用C语言做这件事。
浏览 2提问于2021-02-26得票数 1
2回答
我试图在linux中使用git将一些文件上传到github。
我有一个大文件和一个不稳定的连接。上传被多次中断。
有没有办法上传这些文件可以恢复？
浏览 6提问于2016-01-10得票数 2
回答已采纳
我们知道，如果我们在linux或mac中下载一个大文件，文件的最后修改时间将保持不变。这在S3中是一样的吗？对象最后一次修改了time will keep changed during uploading，或者它只是一个简单的时间戳to record the start of upload operation
浏览 1提问于2021-04-13得票数 0
1回答
在Windows上的Python中，我可以通过以下方式创建一个大文件
from mmap import mmap
f = open('big.file', 'w')
f.close()
f = open('big.file', 'r+')
m = mmap(f.fileno(), 10**9)
现在big.file大约是1千兆字节。然而，在Linux上，这将返回ValueError: mmap length is greater than file size。
有没有办法在Linux上获得与
浏览 4提问于2013-07-01得票数 6
回答已采纳
2回答
我正在写大文件，大小在70 -700 70之间。有没有人有经验，如果内存映射文件将比常规的块编写更有效？代码将在c++中运行，并在Linux2.6上运行
浏览 2提问于2012-05-08得票数 1
我有一个程序，可以扫描一个大文件，寻找一些文本。在这里，加载文件的两行代码将其映射到内存中，以避免在大文件中完全加载它。
NSData *buf = [NSData dataWithContentsOfFile:sourceFile options:NSDataReadingMappedIfSafe error:&err];
NSMutableString *string = [[NSMutableString alloc] initWithBytesNoCopy:(void *)buf.bytes length:buf.length encoding:NSASCIIStringEnc
浏览 2提问于2012-07-31得票数 1
回答已采纳
今天，我禁用了archlinux (即systemctl mask tmp.mount和创建自定义文件/etc/tmpfiles.d/tmp.conf)中描述的tmpfs。
然后我开始在文件夹/tmp中创建大文件(例如，dd if=/dev/zero of=/tmp/large.dat count=2097152给了我一个1GB的文件)。当我创建它们时，我注意到，mysqld开始使用更多的ram。现在我删除了我创建的所有大文件。我重新启动了几次，每次重启之后，我看到mysqld使用了大约2GB的RAM。我没有任何不寻常的程序/脚本在自动启动。我有普通的Arch Linux安装。我知道我可以禁用
浏览 0提问于2016-11-07得票数 0
回答已采纳
我读到过boost iostream应该支持64位访问大文件的半便携方式。他们的常见问题解答提到了，但没有关于如何使用它们的示例。有没有人用过这个库来处理大文件？一个简单的例子，打开两个文件，寻找到他们的中间，并将一个复制到另一个将是非常有帮助的。
谢谢。
浏览 6提问于2009-08-19得票数 7
回答已采纳
我有一个应用程序，需要处理大文件后，他们被上传到系统。在Linux中，是否可以检测文件夹更改并自动运行脚本，还是应该每分钟运行一次cron作业来查找新文件？
浏览 0提问于2009-08-02得票数 3
回答已采纳
1回答
我有点怀疑
首先:可以创建的文件流(可读流或可写流)的最大数量是否有限制？
Like a [...[readable, writable]] streams array of n files
第二:在操作系统中打开的最大文件数是否仅适用于在“打开”上使用流事件时？
Like in linux by default is 1024 per process
第三:这是否直接影响在“开放”同时事件上存在的最大流数？
Like 1024 simultaneous 'open' stream event per process
如果有人有关于它的信息，谢谢你分享它和你的时间，为任何错误
浏览 5提问于2020-08-28得票数 0
回答已采纳
2回答
(bash)对于特定的目录，我需要发现该文件系统支持的最大文件大小。所讨论的文件系统可能是从外部USB媒体挂载的，可能是FAT32、NTFS、exfat或ext2。
我知道我可以部分地猜测来自mount的信息，但是我想要一个更干净的解决方案--另外，在exfat的情况下，mount将文件系统类型显示为"fuseblk“。
(我正在运行Linux3.2.04-686-pae #1 SMPDebian3.2.51-1 i686 GNU/ Linux )
getconf FILESIZEBITS path不适用于exfat文件系统的fuseblk挂载:它返回32，这是不准确的。因此，这不是
浏览 4提问于2014-02-21得票数 6
2回答
分布式文件源
、、、
寻找一个软件解决方案来存储大文件(>50MB -1.5 to )，分布在多个服务器上。我们已经了解了MogileFS，但是，考虑到现有的软件需求，需要有一个NFS接口。然而，我更喜欢开源，对所有选项都开放。
浏览 1提问于2008-10-01得票数 1
我读过这时，寻找软件同步文件夹在我的笔记本电脑驱动器和我的外部高清，但它仍然缺乏软件选择。
一开始，我想到的只是Windows软件。但是，如果有Linux软件的话，情况会更好。
请注意，我有Ubuntu14.04和Windows8.1(都是64位)。
因为它是关于同步文件夹与大文件和大小，我有点害怕任何可能出现的问题。
我能用什么软件来同步我的笔记本电脑‘数据’驱动器和我的外部硬盘作为备份？它应该是可靠的，稳定的。我不在乎它是在Windows还是Linux下运行。(Linux选项会更好)。
浏览 0提问于2015-12-01得票数 2
回答已采纳
2回答
在我的linux服务器上，我在这里挂载了我的zfs池：~/data/homepool，~/data通过afp共享。我的macOS (high see )客户端可以正确地查看和读取/写入~/数据，甚至可以在数据/归属池中写入数据。
问题是，zfs错误地获取了macOS池的存储容量，将homepool的存储空间表示为~/data的存储空间，而由于homepool挂载了ZFS池，所以homepool非常大。这阻止了Finder复制大文件，并且Finder认为没有可用的空间。这是个bug吗？
浏览 32提问于2018-07-25得票数 1
回答已采纳
6回答
出于对Linux上一些流行文件系统提供的最大文件大小限制()的好奇，我看到一些文件系统达到了TB级。
我的问题是，如果文件指针是32位宽的，就像我们今天遇到的大多数Linux一样，这不意味着我们可以寻址的最大距离是2^32-1字节吗？那么如何存储大于4GB的文件呢？
此外，即使我们可以存储这样的文件，我们如何找到一个位置超过2^32范围？
浏览 19提问于2011-02-08得票数 2
回答已采纳
4回答
目前，我正在使用崇高文本3，但我正在寻找一种开源的替代方案，即：
是免费的、免费的和开放的
至少适用于Linux和Windows
在Linux上使用本机GTK主题
至少有语法高亮显示：
HTML (使用Jinja2)
CSS
触笔
SCSS
JS
TS
Vue
Python
生锈
C++
有皮毛，至少有：
HTML
JS
TS
Vue
Python
具有代码智能，至少：
Python
JS
埃米特
有EditorConfig
在左边有一个文件树
有一个内置的终端
有一个拆分视图，是一个用于折纸的ST3插件la。
高亮括号，是用于BracketHighlighter的ST3插件
在包含颜色
浏览 0提问于2016-09-25得票数 1
我正在捕获从微型路由器到我的linux服务器的流量，并将其写入一个大文件。我正在寻找一种从当前文件末尾向前发送的方法，因为它是一个几个GB文件，而且我无法从一开始就读取，但是tshark (或tcpdump)需要首先读取头部，否则它会以“未被识别的libpcap格式”结束。所以尾巴-f不起作用。有什么想法吗？
浏览 0提问于2014-03-12得票数 2
6回答
我想每个人都知道有用的Linux行实用工具head和tail。head允许您打印文件的前X行，tail也这样做，但是打印文件的末尾。什么是打印文件中间的好命令？类似于middle --start 10000000 --count 20 (打印10,000‘000至10,000’010行)。
我正在寻找的东西，将处理大文件的效率。我试过tail -n 10000000 | head 10，它速度太慢了。
浏览 0提问于2010-04-19得票数 109
回答已采纳
1回答
一次下载链接
、、
我正在寻找一次下载链接软件。其想法是上传一个文件，并使它只能用于一个下载，出于安全原因。到期日也不错。
该项目需要：
自由软件(由OSI定义)
可用于简单的web浏览器
可以托管小文本文件，也可以任意大文件。
在简单的POSIX堆栈(Linux、*BSD等)上运行
干净的API也不错，但不是强制性的。
命令行客户端也不错。
浏览 0提问于2014-09-22得票数 6
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
1回答
首先是一些背景知识：
我正在创建一个处理大文件的Windows应用程序。我想在文件中插入(或删除)给定偏移量的数据，而不必重写后面的数据，我希望系统为我“扩展”或“收缩”文件。我知道在Linux上使用sed是可能的，但这对我没有帮助，因为我将主要处理二进制数据。
现在，有没有可能用.NET或本地C/C++来实现呢？任何提示都会很有帮助。
浏览 0提问于2015-03-28得票数 0
2回答
我们有一个下载一个大文件要安装的流浪者盒子。我们用厨师的食谱来准备食物。下载这些文件大约需要一个小时。有没有办法让厨师输出文件下载的进度，而不是只是在remote_file请求之后闲置呢？如果您只是在linux上运行wget，我正在寻找类似于命令行输出的东西。
似乎并不表示这是可能的。
浏览 8提问于2014-08-15得票数 3
回答已采纳
嗨，我在大文件上传组件上工作。我正在寻找上传大文件的有效方法。我在谷歌上搜索了一下，发现通过对大文件进行切片并异步上传的方式做的很少。我正在寻找Wicket中类似的实现。在Wicket中有没有类似的方法来实现同样的目标？
浏览 0提问于2014-07-14得票数 1
我有一堆台式机，我想连接在一起，并使用作为一个大文件服务器。我希望能够用一个IP访问所有硬盘。我一直在与FreeNas和OpenFiler玩，但似乎无法得到任何信息，我正在寻找什么。
类似于贝奥武夫计算，但不是并行计算，我想将它用于并行存储。
这个是可能的吗？
谢谢你，巴拉吉
浏览 0提问于2010-07-22得票数 1
5回答
对于在大文件(< 2 2GB)上生成sha1，有没有什么linux命令行实现执行得特别好？
我曾经尝试过'openssl sha1‘，它需要几分钟才能得到一个2 2GB文件的sha1 : /。
浏览 10提问于2009-03-13得票数 4
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
在MariaDB中将大文件保存为LONGBLOB时，我收到“内部异常: java.sql.SQLNonTransientConnectionException:无法发送查询:软件导致连接中止:套接字写入错误”。我们在MariaDB 5.5上使用Spring和EclipseLink。大小小于300KB的所有文件都会持久保存，但超过300KB会导致此错误。
我们是第一次在组织中使用MariaDB，我不知道应该将哪些DB变量设置为适当的值，以便持续大文件和比正常时间更长的事务不会导致此错误。
这方面的任何快速帮助都是非常感谢的。我正在寻找我这边的解决方案，如果我找到了解决方案，我会更新这篇文章。提前
浏览 0提问于2014-11-24得票数 0
我有一个XXX.img文件。
system.img: Linux rev 1.0 ext4文件系统数据，UUID=XXXX (扩展区)(大文件)
我想从其中提取一些文件，如何提取？
或XXX.subimg.tgz文件
首先用枪将其压缩，得到subimg文件，然后将其作为图像文件。
浏览 0提问于2014-09-01得票数 3
回答已采纳
1回答
我正在做一个项目，我担心桌子的大小限制。如果一个表变得太大，以致于操作系统的最大文件大小。Windows为每个文件2GB。
MySQL是否将数据从表中分割成两个文件？
我正在查看我的WAMP安装中的数据，现在每个表都是一个文件: user.frm和user.ibd (这个表根据文件大小存储所有数据)。
基本上，如果我查看存储在一个表中的10-50GB大小的数据，MySQL数据库能够处理它吗？
编辑：，我最终要将我的项目转移到一个具有相同文件大小限制的Linux服务器上，我假设MySQL在Linux和上的工作方式是一样的。
浏览 5提问于2014-01-21得票数 0
回答已采纳
1回答
多次读取后I/O流变慢
、、、、
我正在c++中实现一个范围搜索代码，其中我有一个大文件(20 to )，我需要为不同的查询搜索特定的范围。
我已经将大文件分成更小的块来加快搜索，在这里我有两个层次--根和叶，数据存储在叶子中(遵循与ISAM树相同的想法)。
我有3000,000行数据
将每页分为30000页，每页有100000行A行，每页有品脱(根有30000页)。
但是，我注意到，一旦搜索范围开始于页200或更高，流就会明显变慢。完成后，我会关闭每一页。那么，为什么阅读流会变得非常慢呢？
我正在linux机器上运行。
我不能选择执行多线程。
读取是从这些文件中连续进行的。
浏览 4提问于2016-11-03得票数 1
我想以异步方式读取C++中的一个大文件。我已经使用boost::asio从网络套接字执行异步读取，我想知道是否可以扩展boost::asio来对常规文件进行非阻塞读取。
我可以使用单独的线程来完成这项工作，但是有没有更本机的解决方案，可以很好地适合asio::io_service？
我正在使用Linux，但我不会拒绝使用std::ifstream的便携解决方案;)
浏览 6提问于2015-08-06得票数 3
在linux上的bash中，有没有办法更改大文件中的几个字节/字符？例如，查找位置x，然后选择性地删除几个字符，然后插入几个字符。我更喜欢在bash中做这件事。
浏览 1提问于2013-04-25得票数 1
回答已采纳
1回答
我正在用C编写软件，在运行在AWS上的Linux上，它必须处理240TB的数据，包含7200万个文件。
数据将分布在24个或更多个节点上，因此每个节点上只有10 be，每个节点有300万个文件。
因为我必须每60秒向这300万个文件中的每一个添加数据，所以最简单和最快的方法就是能够同时打开每个文件。
我不能将数据存储在数据库中，因为读写数据的性能太慢了。我需要能够很快地把数据读回来。
我的问题：
1)是否可能打开300万个文件？
2)如果有可能，它会消耗多少内存？
3)如果可能的话，表现会很糟糕吗？
4)如果不可能，我将需要将所有单独的文件合并成几十个大文件。Linux中有最大文件大小吗？
5
浏览 3提问于2015-05-29得票数 1
回答已采纳
我有一个Windows和Linux，如果需要的话，我创建了一个200 to的分区来存储大文件。问题是，在我的Debian操作系统中，我无法添加文件夹或在其中放置新文件。分区位于/media/username/分区中。每当我想在文件夹程序中打开分区时，我必须输入我的根密码，即使这样，我也不能向其中添加文件。我已经重新安装了它，但是每次获得读/写许可都会遇到麻烦。另外，如果我想创建一个新的文件夹，我会得到这个目录不存在的错误，尽管它确实存在。在Windows操作系统上，我可以访问它，并使用它没有问题。对于如何使Linux上的使用和访问变得容易，有什么帮助吗？
浏览 0提问于2020-12-07得票数 0
回答已采纳
我正在寻找一个unix命令，通过将行号传递给一个大文件(大约有500万条记录)来获取单行。例如，为了获得第10行，我想这样做
command file-name 10
是否有这样的命令可用？我们可以通过循环遍历每条记录来做到这一点，但这将是一个耗时的过程。
浏览 3提问于2010-07-20得票数 20
回答已采纳
5回答
我的任务非常简单:在Linux上读取和解析C++中的一个大文件。有两种方式：
逐字节解析。
而( /* . */ ){.=fgetc(.)；/*对char */}做了一些事情
逐个缓冲区解析缓冲区。
while(*. */ ){ char bufferSOME_LARGE_NUMBER；fread(缓冲区，SOME_LARGE_NUMBER，1，.)；/*解析缓冲区*/}
现在，逐字节解析对我来说更容易了(不检查缓冲区有多满，等等)。然而，我听说读大的文章更有效率。
哲学是什么？“最优”缓冲是内核的一个任务，所以当我调用fgetc()时，它已经被缓冲了吗？或者它是建议我处理它以
浏览 6提问于2012-12-22得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
