我需要保存大量数据(>500 PC ),这些数据是从连接到我的PC的另一台设备流式传输的(800Mb/s)。速度排除了数据库的使用,例如MySQl/ISAM,我正在寻找一个快速,轻量级的库,它位于'C‘stdio文件库(即fopen/fclose/fwrite)之上,它将允许我读/写一个非常大的文件(最多可用磁盘空间在幕后,大文件可以被分解成更小的文件,例如1 1GB,我希望API来处理这些细节。
数据以压缩的二进制格式到达PC,在将其写入硬盘之前不需要进一步处理。这个库应该
FTP是一种纯TCP连接协议,因此,在考虑TCP文件传输选项时,AFAIK“速度快”。
然而,还有一些其他产品没有在TCP上运行--例如商用产品、和。另外,人们可能会认为这应该是某种RFC --一种标准的大型文件传输协议,可能运行在UDP上。有人知道这样的协议或倡议吗?( Google 很有趣,但不直接解决快速大文件传输问题)
在Linux系统上,我需要创建一个大文件(大约10 On ),不可压缩文件。
该文件应该驻留在Docker映像中,这是测试在本地注册表中传输和存储大型坞映像时的性能所必需的。fallocate (在中描述)可以非常快地创建大文件,但是结果是一个0熵的大文件,高度可压缩。当将大图像推送到注册表时,只需要很少的MB。