2回答
我在网上搜索了一下，怎么改目录名？但我什么也没找到。我发现的只有rename()在改变文件名。我想更改目录名称。Linux使用mv命令来重命名目录，但是如果目录包含大文件，那么移动将花费更多时间，对吗？我想用C语言做这件事。
浏览 2提问于2021-02-26得票数 1
如何更改允许列出/传输的最大文件数...在suse linux上？客户端和服务器都是suse linux机器。
浏览 5提问于2011-04-20得票数 0
回答已采纳
2回答
如何在Windows中删除大文件路径/文件名文件。这对Linux -rf来说更糟。？
浏览 3提问于2017-05-20得票数 10
回答已采纳
3回答
MySQL慢日志配置
、、、
有没有办法让MySQL慢速日志每天启动新的日志文件？目前它只是一个大文件，每天都要有grep行。如果每一天都有单独的文件，慢日志就更方便了。
我是否必须配置my.cnf或某些linux特性？
浏览 0提问于2012-03-30得票数 4
回答已采纳
4回答
文件之间的比较
、、
我已经编写了一些代码，可以将大文件块复制到远程机器。现在，我想通过逐字节比较这两个文件来确定我是否真的将所有位复制到了正确的位置。有没有windows版的工具可以让我这么做？我猜Linux已经内置了这样一个工具，不是吗？
非常感谢，保罗
浏览 0提问于2009-08-24得票数 0
3回答
我想把Windows box上的一个大文件夹放到一个归档文件中(tar、zip、gzip等等)。有没有工具可以保存所有文件夹的时间戳？
在Linux机器上解压归档文件后，必须保存时间戳。
欢迎任何想法！
浏览 3提问于2011-03-23得票数 1
回答已采纳
我有一个大文件在我的蓝色的blob存储容器。我想将我的文件从blob存储移到在azure>上创建的Linux上，如何使用数据工厂来实现这一点？或者是任何Powershell命令？
浏览 1提问于2019-08-30得票数 1
回答已采纳
我正在捕获从微型路由器到我的linux服务器的流量，并将其写入一个大文件。我正在寻找一种从当前文件末尾向前发送的方法，因为它是一个几个GB文件，而且我无法从一开始就读取，但是tshark (或tcpdump)需要首先读取头部，否则它会以“未被识别的libpcap格式”结束。所以尾巴-f不起作用。有什么想法吗？
浏览 0提问于2014-03-12得票数 2
1回答
大多数情况下，我会遇到必须在两台服务器之间移动文件的情况。我通常在一个在线测试服务器上测试我的项目，客户端检查websties的功能和所有的东西。在完成所有任务后，我必须再次将测试服务器的内容与数据一起传输到实时服务器……
因此，在这个过程中，我将所有客户端上传的文件下载到测试服务器中，备份数据库，并再次将数据库上传到新的服务器和客户端文件。如果客户端上传的文件较少，那么这不是问题，但如果是大文件，我真的会浪费时间将文件从一个文件复制到下一个文件。
那么，我如何才能在更短的时间内完成相同的过程，即使是大文件
浏览 3提问于2010-08-23得票数 0
我有一个来自不同文件夹的巨大文件列表，我需要将它们复制到另一个文件夹。
我已经创建了这些文件夹，我将复制它们。
我试过下面的代码：
for file in $(cat /home/pdf/report/folder/files.txt | sed $'s/\r//'); do cp "$file" /home/pdf/report/folder/dest.txt; done
Linux有什么解决方案吗？
浏览 0提问于2017-03-10得票数 1
我试图将大约50 Gb的文件从Redhat Linux变体传输到我的Debian 8.1，但没有成功。
我想找到其他方式，而不是外部HDD移动数据。这两台机器都有USB3连接和HDMI，但没有其他任何连接。我不允许安装BTsync来快速传输彼此之间的文件。
如何在两个不同变体的Linux盒之间轻松地大量传输大文件？
浏览 0提问于2015-07-12得票数 1
回答已采纳
我工作的其中一个站点使用VMWare虚拟服务器。在大多数情况下，它们工作得很好，但是将大型文件从网络上的其他地方复制到它们上是非常缓慢的。
所谓大文件，我的意思是大约4GB的大小(这实际上没有那么大，现在)
到目前为止，我已经看了我的4GB文件拷贝90分钟，它仍然说大约2个小时。
是否有加速网络文件复制的VMWare技巧？
技术细节:它的VMWare ESX运行在Linux上。网络是一个1GB的局域网。到目前为止，我一直试图仅使用Windows进行复制，方法是将远程桌面插入虚拟服务器，然后连接到网络并复制/粘贴文件。
作为比较，如果我在同一网络上复制两台真正的机器，我预计大约5分钟内就能复制4
浏览 0提问于2009-05-18得票数 5
回答已采纳
1回答
我有一个大文件(~500 Mo)，其中包含这样的字典：
{'data1': {..},
'data2': {..},
'data3': {..},
... }
这个文件被保存为gzip (使用Python)来优化内存。现在我查询了很多这个文件，所以当我只想获得‘data2 2’时，我需要全部加载并查找data2，这在加载和内存中需要时间。有办法只加载我们想要的元素吗？或者至少是为了更快地加载文件？
谢谢,
浏览 3提问于2022-06-16得票数 0
回答已采纳
我们知道，如果我们在linux或mac中下载一个大文件，文件的最后修改时间将保持不变。这在S3中是一样的吗？对象最后一次修改了time will keep changed during uploading，或者它只是一个简单的时间戳to record the start of upload operation
浏览 1提问于2021-04-13得票数 0
我现在有一台运行Ubuntu14.04.02的PC和一个运行OSX10.10.3的iMac，我在这两台机器上都有一些大文件( >500 G)。我想在这两台机器之间建立一个以太网连接，这样我就可以从这两台机器上传输文件。但是，由于我对linux非常陌生，所以我不太知道该如何做。求你帮帮我。
浏览 0提问于2015-08-02得票数 0
回答已采纳
1回答
最近，我在Linux机器上的一个java构建过程运行得很慢。我怀疑导致运行缓慢的原因之一是进程达到了最大文件描述符限制。我没有权限知道我的构建过程使用了多少文件描述符。那么，如果进程达到最大文件描述符限制，Linux会记录到文件中吗?我可以检查是否因为最大文件描述符限制而使构建过程变慢。
浏览 3提问于2011-07-27得票数 0
我有一个大文件，它有超过100万行，还有另一个文件，它有我需要使用的输入字符串，以使大文件中的行匹配。
我就是这样做的：
File.open(strings_file, 'r') do |l|
File.open(large_file, 'r') do |line|
next if !line.include?(l)
puts line
end
end
但是，它将为每个循环打开大文件。例如，在输入字符串中，我有100行字符串，所以当它执行时，它将打开这个大文件100次来处理它，这需要更多的时间来完成。
是否有更快的方法来避免打开大文件10
浏览 2提问于2016-08-19得票数 1
回答已采纳
在使用ofstream写入文件时，我如何知道文件大小何时达到操作系统的最大文件大小--更确切地说，是linux的最大文件大小?？
浏览 5提问于2008-09-25得票数 3
回答已采纳
我正在尝试解决一个运行在UNIX版本上的应用程序的问题。默认日志记录级别会输出合理数量的消息，并且不会影响性能。
但是，如果有问题，我需要将日志记录级别更改为详细。一秒钟就有几千条线路。这会影响性能。
删除跟踪日志文件会使应用程序崩溃。
能够尽可能快地改回日志记录级别有助于避免对生产性能造成影响。
代码在生产环境中运行，因此性能影响不是很好。
如何才能为问题重现的那一两秒创建日志的第二个实例呢？
这将避免复制整个大文件，然后进行编辑以删除与当前问题无关的日志条目。
我已经回答了我自己的问题，因为我发现这个技巧有时非常有用，并希望它能帮助其他人。
浏览 1提问于2020-05-12得票数 0
3回答
我注意到，从网络驱动器的一个位置复制一个大文件到同一网络驱动器上的另一个位置比在本地复制它要花费更长的时间。网络计算机不是在本地复制文件，而是将文件发送到我的远程计算机，由远程计算机将文件发送回同一台网络计算机。这意味着这些文件被完全不必要地通过网络传输。有办法解决这个问题吗？管理我的网络驱动器上的视频文件正在成为一个真正的麻烦。
注意: Windows和Linux (使用Samba)网络文件夹都是这样。
浏览 0提问于2010-06-18得票数 2
6回答
我有两个大文件。每个文件有1000列和2000行。我想使用循环(R或linux)合并它们，这样相同的列号就会放在一起：
文件a：
[,1] [,2] ... [,1000]
1 3
1 3
1 4
1 3
1 5
文件b：
[,1] [,2] .... [,1000]
2 7
2 8
2 9
2 10
2 11
合并后：
[,1] [,1] [,2][,2] .... [,1000][,1000]
1 2 3 7
1 2 3 8
1 2 4 9
1 2 3 10
1 2 5 11
浏览 7提问于2012-11-08得票数 1
回答已采纳
我想知道Linux上哪些文件传输协议支持服务器端复制(并且不会在内部下载和重新上传文件)。我所拥有的最简单的用例是将大文件(如VM)从一个目录复制到同一个共享上的另一个目录。
我知道Samba4.1.0最近在SMB2协议中实现了对SMB2的支持，但据我所知，还没有客户端工具/文件管理器支持这一点(链接)。我也看过法新社，但安装法新社股票的唯一两个Linux工具是gvfs-afp和afpfs-ng，两者都不太好。afpfs-ng没有维护，并且与netatalk (分段故障)不太协调，而gvfs-afp在工作时比afpfs-ng具有很低的吞吐量。更新:看起来下一个版本的NFS也可能支持这一点。
还
浏览 0提问于2014-01-12得票数 9
回答已采纳
2回答
在我的linux服务器上，我在这里挂载了我的zfs池：~/data/homepool，~/data通过afp共享。我的macOS (high see )客户端可以正确地查看和读取/写入~/数据，甚至可以在数据/归属池中写入数据。
问题是，zfs错误地获取了macOS池的存储容量，将homepool的存储空间表示为~/data的存储空间，而由于homepool挂载了ZFS池，所以homepool非常大。这阻止了Finder复制大文件，并且Finder认为没有可用的空间。这是个bug吗？
浏览 32提问于2018-07-25得票数 1
回答已采纳
2回答
我一直在努力理解PHP (或者其他语言，实际上，我认为原则是相同的)在什么地方保持会话数据服务器端。
我阅读了和，这两个文件似乎都表明它默认只创建/tmp文件夹中的普通文件，这些文件的名称与存储在客户端cookie中的会话ID相匹配。
但是，对于me.....what来说，对于拥有数百万并发users....do的高流量站点来说，这似乎有点奇怪，它们真的只有一个装满会话文件的巨大文件夹吗？没有数据库吗？
浏览 4提问于2015-02-04得票数 1
回答已采纳
在我的HP ProLiant ML150 Gen9中，从一个驱动器(USB或SATA到RAID)传输大文件的速度很慢。一开始，我们想到的是B140i控制器--一个没有任何内存缓存的伪raid控制器。
这是最初的B140i性能以及升级到智能数组p 440/4 4gbFWC后的改进。
📷
📷
Raid配置是RAID 10，在这两种情况下都有4×SSD 500 on驱动器。
虽然改进了，但问题仍然存在:在传输大文件时，速度在几分钟后急剧下降，从400 MB/s下降到6-7 MB /S，直到传输结束：
📷
我试过但没有成功：
Windows2012R2的清洁安装
Windows 2019的清洁安装
升
浏览 0提问于2019-07-29得票数 2
2回答
我想在使用c#时重命名大文件。如果我有几个大文件，如果我使用.IO.move函数，我的文件将以正确的名称复制，而旧文件将被销毁。对于大文件，这将需要很长时间
我找不到一个好的解决方案。谁有适合大文件的想法？
浏览 0提问于2011-12-30得票数 0
3回答
我想知道在c++中擦除部分文件的最快方法是什么。
我知道如何写第二个文件，跳过你想要的部分。但我认为在处理大文件时速度会很慢。
那数据库系统呢，他们怎么能这么快地删除记录呢？
浏览 1提问于2011-08-23得票数 3
回答已采纳
2回答
可能重复：将文件复制到SD卡没有保存
当从Ubuntu 10.10 (Maverick )将大文件(甚至几KB的文件)复制到SD卡时，文件似乎就在那里，但是当我从另一个设备访问卡片时，文件要么丢失，要么大小为0字节。
我怀疑问题是文件复制到卡上需要时间，而且我很快就取出来了，但是没有进度条--我只是从命令行这样做。当我干净利落地扔出这张牌时，甚至会发生这种情况。
是否有更好的方法来做到这一点，这样我就可以知道文件被复制了吗？
浏览 0提问于2012-08-08得票数 2
我需要在网络上分发文件的内容(最多5GB)，这样文件的每个分布式节点(XML或简单文件)都不会复制数据并相互同步。
更重要的是，可能有1000多个大文件，需要在分发过程中进行。
我可以使用Hadoop来存储大文件，并使用集群节点来存储分布式数据吗？
浏览 2提问于2014-07-23得票数 0
回答已采纳
1回答
我需要下载一个包含未知层数的大文件夹到我的Linux (Redhat)服务器。
我去了网页版，它告诉我这个文件“太大了，无法下载”。人们说，你可以简单地检索下载URL，wget就可以完成这项工作。但是，查看该文件夹，除了“共享链接”之外，我没有看到任何检索URL的方法。
谁能和我分享一下递归下载一个大文件夹到linux服务器的最佳实践是什么？
浏览 4提问于2016-01-06得票数 2
2回答
恢复当前正在写入的已删除文件
、、、、
我开始下载一个大文件，并意外删除了一段时间前。我知道如何通过cping /proc/<pid>/fd/<fd>获取其当前内容，但由于下载仍在进行中，所以当我将其复制到其他地方时，它将是不完整的。
我是否可以在下载完成时，但在下载程序关闭文件并永久丢失该文件之前，以某种方式挽救该文件？
浏览 0提问于2012-02-26得票数 8
回答已采纳
这可能有点OT，但我想知道为什么拥有一个大量使用IO的进程(例如，从一个位置到同一磁盘上的另一个位置的cp大文件)会减慢一切，即使是主要受CPU限制的进程。我注意到我在两个操作系统上都大量使用(mac OS x和linux)。
特别是，我想知道为什么多核在这里没有真正的帮助:这是商用硬件(磁盘控制器等)的硬件限制，还是操作系统的限制，或者在分配正确的资源(调度)方面存在固有的困难？
浏览 5提问于2010-11-27得票数 18
回答已采纳
4回答
作为我工作的一部分，我经常需要上传大文件(例如512 MB到1GB ISO )。在某些情况下，从ISO到ISO的变化非常小(例如，1GB ISO中的10 MB文件)。不幸的是，我不能仅仅发送更改的文件-我需要发送整个ISO。更快的连接不是有效的解决方案。
是否有任何工具(最好是Linux，最好是免费的)可以创建和应用这样大的二进制文件？
浏览 0提问于2010-01-14得票数 3
回答已采纳
我们目前正在Windows2012 R2服务器机器上运行ES (内部)，它有2000万个文档，索引大小为12 GB。
现在，我们被要求将Windows服务器迁移到Linux服务器中。为此，我正在寻找任何可靠的方法将索引数据从Windows传送到Linux机器。有谁能建议最好的解决办法吗？
谢谢。
浏览 4提问于2020-02-11得票数 1
5回答
如何使文件变得稀疏？
、、、
如果我有一个包含许多零的大文件，我如何有效地使它成为稀疏文件？
是否唯一的可能是读取整个文件(包括全零，通常是稀疏存储的)，并使用seek跳过零区域将其重写为新文件？
或者有没有可能在现有的文件中这样做(例如File.setSparse(长开始，长结束))？
我正在寻找一个解决方案的Java或一些Linux的命令，文件系统将是ext3或类似的。
浏览 6提问于2011-05-13得票数 10
回答已采纳
所以我在我的远程文件服务器(处于另一种状态)上做了一个递归scp，它在我的远程web目录上创建了一个无限的链接循环。
http://www.linuxquestions.org/questions/linux-general-1/recursive-scp-w-o-following-links-658857/说我可以尝试创建一个巨大的tar文件。但是，这有一个问题--我在办公室的Linux机器上运行递归scp，并将所有文件复制到我的外部硬盘驱动器中，这是FAT32格式的(因为我需要一些同时为UNIX和Windows所读的文件)。FAT32不支持大文件大小。所以我得尝试一些不同的东西。
还有一
浏览 0提问于2012-12-09得票数 6
2回答
如何对我在azure blob存储中的一些csv文件运行sed命令？ 我正在使用Azure copy activity将数据从csv文件复制到postgres，但我的csv是一个20 gb的大文件，并且包含空字符\x000之类的内容。postgres文本数据类型无法识别的。ADF复制活动无法将csv字符串列转换为postgres abyte，因此只能选择使用文本。我想到了一个变通的解决方案，在我的csv上运行sed命令，将null字符替换为其他字符，比如-。所以我需要知道如何在blob存储中的azure csv文件上运行sed命令。我是否应该先将它们拷贝到具有linux的新虚拟机，但还要注意
浏览 21提问于2019-12-19得票数 0
5回答
我使用smbclient每晚将一组大文件(80 GB)从Linux系统传输到Windows共享。最近，不管出于什么原因，我一直处于I/O超时状态：
cli_push returned NT_STATUS_IO_TIMEOUT
这将导致活动文件传输中止并从Windows共享中删除。
这可能是由于未解决的Samba bug 8498 (或者可能不是)。Windows系统不在我的控制之下，所以我无法安装SSH服务器(使用SCP或SFTP)，我不想依赖Microsoft的NFS实现。
还有另一种简单的标准选择可以让我定期地通过网络将80 GB的数据从Linux传输到Windows (网络是GB以太网，
浏览 0提问于2012-02-17得票数 12
回答已采纳
我有一个很大的Javascript文件(2万行)。
Chrome调试器不会调试它。也就是说，我可以放一个断点，它知道断点，但它不会停在上面。这肯定与大文件大小有关；它适用于同一站点上的较小文件。
有人知道我怎样才能让它处理这个大文件吗？(关于大文件大小，我什么也做不了)。
浏览 1提问于2013-11-29得票数 7
我想使用SQLServer2012Express版。有人知道数据库的最大文件大小限制吗？
浏览 0提问于2012-10-29得票数 1
回答已采纳
有没有什么产品可以与IBM的Domino一起使用来处理大文件的复制？优选地，可以进行字节级复制的存储器。我有一个放置和更改大文件的环境(超过50台服务器)(带宽是最重要的)。我想只复制已更改的字节，而不是再次复制整个文件。是否有人使用其他产品来处理文件中的字节级更改以及标准Domino复制来处理所有其他项？
浏览 3提问于2009-06-26得票数 1
我有一些CSV格式的大文件，我想使用Powershell中的Import-Csv命令将它们转换为对象。但是，这些文件缺少列标题，在我使用Import-Csv之前需要添加这些标题。将这些文件添加到文件的最快、最有效的方法是什么？
浏览 0提问于2009-03-18得票数 6
1回答
我有一个git大文件存储的repo设置，我没有放任何exclude statements就把大文件放到了我的本地分支中，所以所有的大文件都已经下载到我的本地了。 这会占用很多空间，而且我不需要本地的所有文件，所以我希望将实际的大文件转换为链接，这样它们占用的空间就会更少。如果我在拉出更新的repo之前使用了exclude语句，就会发生这种情况。 我环顾四周，没有发现任何明确的说明，而且我发现我在git方面还不够胜任，不能只是在git repo中玩玩，所以任何帮助都是非常感谢的。谢谢!
浏览 17提问于2020-09-15得票数 1
回答已采纳
我的任务是将一个非常大的文件(已经提交)分割/提取为许多较小的文件。使用Hg，我会将提取的文件添加为现有大文件(hg cp或hg cp -A)的副本，这样当我将分支合并到主文件中时，我正在工作时对大文件所做的其他更改将在我的提取文件中跟踪/冲突。
Git中有没有类似的东西？
浏览 0提问于2016-04-26得票数 3
1回答
我有一个不错的配置，英特尔的i5第4代CPU和12 GB的内存，BIOS和SATA仿真设置为AHCI和硬盘直接插入主板，但当我复制一个大文件，如ISO图像或进行一些虚拟化，光标移动开始口吃，有时操作系统完全冻结。
我在硬盘上使用过Windows操作系统，但从来没有遇到过这样的问题。
我还在硬盘上运行了基准测试，健康状况似乎很好，我只在Linux上遇到了这个问题；我现在已经安装了ParrotLinux4.8 (KDE版本)，但是问题在不同的发行版上几乎没有变化。
有些发行版完全冻结了，有些则试图跟上这一趋势。我真的很喜欢Linux，但是当我多任务或使用VMS (注意到我的工作依赖于大量虚拟化)时
浏览 0提问于2020-04-08得票数 -1
我的linux上有一个文件。我想通过"Windows共享“来共享它(IPMI只能理解一种远程大文件挂载的方式)。如何在科学linux的"Windows共享“上共享我的文件？
浏览 0提问于2015-08-07得票数 1
我有一个非常大(>500 to )的文件，我想在它前面加上一个相对较小的头(<20KB)。执行以下命令：
cat header bigfile > tmp
mv tmp bigfile
或者类似的命令(例如，使用sed)非常慢。
向现有大文件的开头写入标题的最快方法是什么？我正在寻找一种可以在CentOS 7.2下运行的解决方案。可以从CentOS安装或更新repo、EPEL或RPMForge安装包。
如果有一些方法不涉及重新定位或复制大文件中的大量数据，那就太好了。也就是说，我希望有一种解决方案，无论大文件的大小如何，都可以在给定的头文件的固定时间内运行。如果这要求太高，那
浏览 4提问于2016-06-17得票数 7
2回答
等待文件复制/上载完成
、、、、
我必须等待文件复制/上传完全使用python完成(首选方法)，bash/shell也可以(我将从python调用) 我已经共享了nfs目录/data/files_in/，如果有人将文件复制/上传到/data/files_in/目录，我应该在文件复制/上传完成后通知其他应用程序 我当前要检查的代码文件是否复制完成 while True:
current_size = Path(file_path).stat().st_size
time.sleep(5)
result_s
浏览 20提问于2021-06-24得票数 0
2回答
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心) linux Debian到gziping更快的一个大文件
我正在尝试使用这些命令，但我不能把这些部分放在一起。
获取CORES=$(grep -c '^processor' /proc/cpuinfo)核数
这用于在更多的split -b100 file.big中拆分大文件
这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip --best的gzip命令。
我不知道这是否是优化大文件gzip处理的最佳方法。
浏览 6提问于2014-06-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
