有没有办法用gsutil cp做多份拷贝？
是的，可以使用gsutil cp命令进行多份拷贝。gsutil是Google Cloud Storage的命令行工具，用于管理和操作云存储资源。
要使用gsutil cp命令进行多份拷贝，可以通过在源路径和目标路径之间使用通配符来指定多个文件或目录。例如，要将多个文件拷贝到目标路径，可以使用以下命令：
gsutil cp file1.txt file2.txt gs://bucket/path/
这将同时拷贝file1.txt和file2.txt到指定的目标路径。
另外，如果要拷贝一个目录及其所有子目录和文件，可以使用递归选项-r。例如：
gsutil cp -r directory gs://bucket/path/
这将递归地拷贝directory目录及其所有子目录和文件到指定的目标路径。
关于gsutil cp命令的更多详细信息和用法，您可以参考腾讯云对象存储（COS）的官方文档：gsutil cp命令。
相关·内容
我希望将文件列表复制到存储桶中，同时保持目录结构。
test.txt：
a/b/1.jpg
a/c/23.jpg
a/d/145.jpg
gsutil命令：
cat file.txt | gsutil -m cp -I 'gs://my-bucket/'
这会复制文件，但会忽略子目录。有没有办法解决我的问题？非常感谢!
浏览 2提问于2015-12-02得票数 5
我在谷歌云存储桶foo中有一个名为bar的目录。目录bar中有大约100万个小文件(每个文件约1-2kb)。
根据，如果我有大量文件，我应该使用gsutil -m选项下载这些文件，如下所示：
gsutil -m cp -r gs://foo/bar/ /home/username/local_dir
但是，考虑到文件总数(约10^6)，下载文件的整个过程仍然很慢。
有没有办法可以在云存储中压缩整个目录，然后将压缩目录下载到本地文件夹？
浏览 3提问于2018-06-30得票数 1
回答已采纳
我试过使用这段代码，但它不起作用。
gcloud compute ssh user@ftp.example.com --zone my_zone \
--command='gsutil cp path/to/my_file gs://MY_BUCKET'
我甚至尝试过通过http请求从服务器复制文件，但没有结果。我已经向公众提供了这些文件，并尝试了这段代码。
gsutil cp http://example.com/dir1/ gs://MY_BUCKET
我收到错误，因为http无法识别。
我还可以通过ssh访问远程服务器。
浏览 1提问于2019-09-19得票数 0
有没有可能自动将基于gsutil的文件上传到google云商店，以便登录时不需要用户干预？
我的用例是有一个jenkins作业，它轮询SCM位置以查看对一组文件的更改。如果它检测到任何变化，它会将所有文件上传到特定的Google Cloud Store存储桶中。
浏览 1提问于2013-03-20得票数 5
回答已采纳
我们正在开发一个POC，我们希望在该POC中将我们的网络日志流式传输到google云存储。我们了解到google云存储上的对象是不可变的，并且不能从java api中追加。然而，我们可以做流式传输使用gsutil根据这个链接现在我们想写每小时文件。有没有办法像logrotate那样每小时更改一次文件名？
浏览 1提问于2015-10-15得票数 0
场景:项目团队成员可以访问的存储存储桶中有多个文件夹和多个文件。有没有办法下载整个文件夹，而不是一次下载一个文件(这是非常慢和耗时的)？或者至少一次有多个文件？在不使用任何一个命令控制台的情况下，这是可能的吗？一些团队成员不精通技术，需要尽可能简单地访问这些文件。谢谢你的帮助！
浏览 1提问于2016-08-25得票数 17
在linux上，gsutil目录的默认位置是$HOME。有没有办法改变它？ 我知道$BOTO_CONFIG和$BOTO_PATH有不同的用途。
浏览 17提问于2019-06-29得票数 2
回答已采纳
我正在尝试是否可以在Windows平台上使用gsutil的cp命令将文件上传到Google Cloud Storage。我在我的本地计算机上有6个文件夹，每天都有新的pdf文档添加到它们中。每个文件夹包含大约2500个文件。所有文件目前都在google存储中各自的文件夹中。现在，我主要使用Google Cloud Storage Manager上传所有新文件。有没有办法创建一个批处理文件，并安排每晚自动运行，这样它就只会抓取今天扫描的文件，并将其上传到Google Storage？
我尝试了以下格式：
python c:\gsutil\gsutil cp "E:\PIECE POs\6
浏览 1提问于2013-06-07得票数 3
1回答
我想转换具有通用扩展名的图像，我有这个：
cat "$1" | convert 'jpeg:-' -resize '64x64' - | gsutil cp - "gs://images.xxx.com/${sha_sum}-64x64-${file_without_folder}"
上面的方法是可行的。但是如果我省略了'jpeg:-‘，它就不会起作用。有没有一种通用的方法来转换任何文件类型？也许我需要'jpeg:-‘这样图像魔术师才能知道文件编码类型是什么？有没有办法让image magick自动检测编码呢？
我
浏览 9提问于2020-03-11得票数 0
回答已采纳
我有静态资产存储在GCS中，我想用gzipped压缩它们(但它们是以未压缩的方式上传的)。有没有办法将文件设置为压缩，而无需下载并重新上传gzipped格式的文件？
我尝试使用gsutil设置content-encoding头(即gsutil setmeta -h 'Content-Encoding:gzip' <some_object_uri>，但它只是导致文件上的“服务不可用”(我假设这是服务器尝试解压缩文件并失败或类似的原因)。
浏览 2提问于2014-10-26得票数 6
3回答
我试图用以下命令将数千个文件上载到：
gsutil -m cp *.json gs://mybucket/mydir
但我知道这个错误：
-bash: Argument list too long
处理这件事最好的方法是什么？显然，我可以编写bash脚本来迭代不同的数字：
gsutil -m cp 92*.json gs://mybucket/mydir
gsutil -m cp 93*.json gs://mybucket/mydir
gsutil -m cp ...*.json gs://mybucket/mydir
但问题是，我事先不知道我的文件名是什么，所以编写该命令并不简单。
是否有
浏览 3提问于2017-06-27得票数 6
回答已采纳
我有一个谷歌云存储桶，我可以使用python中的download_blob函数来下载对象，我也可以使用gsutil cp或gcloud compute scp函数来下载整个目录。 有没有办法使用python将整个目录作为一个zip文件从存储桶中下载。 要这样做，Python - download entire directory from Google Cloud Storage需要我一个文件一个文件地下载。 有没有办法一次下载整个目录？
浏览 27提问于2020-10-12得票数 0
有没有办法在使用gsutil复制文件时删除文件扩展名？
From local 0001:
0001/a/1.jpg
0001/b/2.png
To bucket 0002:
gs://0002/a/1
gs://0002/b/2
(我可以在本地删除扩展，但在复制到GS时会丢失Content-Type )
浏览 0提问于2012-09-27得票数 2
回答已采纳
2回答
我在GCS(Google )上有一些文件和文件夹
我还在Cloud 上有一些文件和文件夹：
现在，我想在GCS和Cloud 之间下载和上传这些文件和文件夹。
有什么办法吗？
浏览 8提问于2021-11-08得票数 0
我想直接在Google Cloud存储上保存一个大文件(大约50 GB)。我尝试过gsutil cp https://archive.org/download/archiveteam-twitter-stream-2015-08/archiveteam-twitter-stream-2015-08.tar gs://my/folder，但不起作用(InvalidUrlError: Unrecognized scheme "https")。
有没有办法做到这一点，而不必首先下载文件到我的本地存储？
谢谢!
浏览 2提问于2016-02-05得票数 2
1回答
我正在尝试从s3-gcs传输文件。
我并不拥有s3存储桶，它提供了密钥。
我编辑了我的boto并输入了键& access id's，但是我的gsutil cp命令返回了一个访问被拒绝的错误。我可以使用各种免费的s3浏览器实用程序来浏览/dl这些文件。
所有者可能需要调整他们这一端的一些东西吗？
gsutil cp -r s3://origin gs://destination
Copying s3://origin
17/_SUCCESS [Content-Type=binary/octet-stream]...
Exception in thr
浏览 4提问于2018-01-19得票数 1
我有一个在的google上公开托管的数据集。我想使用这些数据在谷歌的结肠笔记本下载到那里。然而，我看到的所有涉及将文件从云中传输到Colab的教程都需要一个项目ID，因为这不是我的项目。Wget也不能处理这个文件。有没有办法直接下载该链接到colab笔记本的文件？
浏览 0提问于2020-06-06得票数 1
回答已采纳
我正在尝试将整个数据从google云上的桶(跟踪-数据)下载到Linux系统上的实例(实例-1)。
我在这里看到了一些选项：，但我不确定有什么方法可以从一个桶下载到另一个实例。
我正在通过我的终端访问我的实例，我用gsutil做了几次尝试，但到目前为止还没有成功。知道如何将整个桶下载到我的实例中吗？(最好把它放在MDNet/data中，我还没有这样的目录，但我可能应该将数据存储在那里)。
浏览 3提问于2019-06-03得票数 3
回答已采纳
2回答
我的GAE项目中有很多静态json文件，这些文件在每个页面上都动态加载ajax。有大约3GB的，所以我想把他们转移到谷歌云存储，它有5GB的免费最大值。我不知道这会产生什么不同。还包括：
如何将它们大容量上传到GCS。有什么用户友好的工具吗？我尝试过通过GCS控制台接口()上传它们，但是它添加了错误的类型(二进制/八位流)而不是json，并且默认情况下文件是私有的，不能进行大容量更改。
这是个好主意吗GAE静态文件与GCS之间的带宽是否存在成本差异？这些文件不会被动态上传或更改，但对我来说，不使用项目代码存储它们更有意义。
浏览 5提问于2014-04-23得票数 0
回答已采纳
当我使用Cloud build从GitHub构建一个maven项目(在存储桶中生成jar文件)时，我会得到一个额外的文件，该文件被上传到我的存储桶中，指定已经构建了哪些文件(artifacts Build -no.json)。对于每个构建，该文件都有一个唯一的名称，因此存储桶中充满了大量不需要的文件。有没有办法禁止创建该文件？
浏览 10提问于2019-01-25得票数 0
2回答
我在我的Jenkins实例中使用gsutil rsync将代码部署到composer，并且我希望能够将代码部署到不同的项目(prodcution、暂存、dev.)。在使用gcloud时，我唯一需要做的就是提供--account参数，以便选择允许Jenkins这样做的服务帐户，但是看起来gsutils只与配置文件一起工作，并且在多个作业同时运行时会创建一个争用条件，因为这都将取决于gcloud config中的配置。
是否有办法指定Google的gsutil必须使用哪个帐户
浏览 0提问于2018-10-29得票数 1
回答已采纳
我想验证我的网站在谷歌搜索控制台上传一个文件到我的网站- example.com是托管在(Wordpress站点部署了Google启动器)。它必须作为example.com/123googlesearchconsoleexample.html放在一个网站上，但我不能从桶中通过Cloud上传它。有办法这样做吗？
我尝试了gcloud计算复制文件命令。
gcloud compute copy-files gs://example/123googlesearchconsoleexample.html example-prd-vm:~/
，但它似乎不能在浏览器中工作，这就是我想要这样做(不安装SDK)
浏览 3提问于2017-08-13得票数 3
回答已采纳
我有大量的pdf上传到谷歌桶。上传所有这些文件到google bucket的最快方法是什么？我已经尝试过使用拖放的方式上传，但是如果我创建一个python脚本，或者有没有更快的方法将数据批量上传到GCP存储桶中，这会花费很多时间。 任何帮助都是非常感谢的。
浏览 37提问于2020-07-06得票数 1
回答已采纳
2回答
问候StackOverflow，
我正在做一个Windows上的小项目，它需要读取GSUTIL的复制函数的输出。问题是，复制功能的输出似乎不能通过标准输出工作。此外，GSUTIL的行为也是不一致的:管道输出不能与copy函数一起工作，但是使用list函数可以工作。
当我在命令提示符中使用以下命令时，输出将显示在命令提示符中，但不会重定向到文本文件。此命令不能正常工作：
C:\gsutil> python gsutil cp "file://C:/test_files/*" gs://gs_teststore/ > gsutil_cp.txt
另一方面，当我使用列表函
浏览 1提问于2013-05-30得票数 3
回答已采纳
2回答
假设有一个带有文件夹根目录的bucket，它有子文件夹和文件。有没有办法获得根文件夹的总文件数和总大小？
我尝试的:使用gsutil du，我很快就得到了大小，但get不会算数。使用gsutil ls ___时，如果我用awk对列表和大小求和，就会得到列表和大小。我可能会得到预期的结果，但是ls本身需要花费很多时间。
那么，有没有更好/更快的方法来处理这个问题呢？
浏览 1提问于2020-09-15得票数 2
1回答
我正在使用DataLab创建几个数据格式和随后的图形。我想把这些数字保存到我的电脑硬盘或我的谷歌云存储。
通常，我会执行以下操作(我正在遍历一个循环，以便对每个图进行df.name更改)：
os.chdir('C:\\Documents\\Analysis\\')
ax_plot.figure.savefig(titles[df.name] + ".png",bbox_inches='tight')
有办法在DataLab中做类似的事情吗？
谢谢你的帮助！
浏览 0提问于2018-05-17得票数 0
回答已采纳
1回答
非常缓慢地将文件推入桶中
、、、
我使用下面的代码递归地获取文件夹中的所有路径，并将它们逐个推到google云存储桶中。问题是，它的速度非常慢。我有大约30-40K的文件，需要每天推送，而且每个文件都需要大约0.25到0.5秒的时间来推送。我有没有办法把它们都推到一起？散装的？或者另一种让它更快的方法？
const {Storage} = require('@google-cloud/storage');
const fs = require('fs');
const path = require('path');
function getAllFilesInDirectory
浏览 1提问于2022-11-10得票数 1
回答已采纳
我想要同步我的一个存储桶(甚至整个存储桶)中的文件夹和多个windows计算机中的本地文件夹。我不介意在后台运行一些脚本。有没有办法做到这一点？我还没有找到任何资源。我试过使用CrossFTP，一个支持谷歌云平台的FTP客户端，但同步只有在支付30美元时才能使用，老实说，我宁愿避免这种情况。FileZilla也是一个很好的选择，但我似乎不能让它上线并与谷歌合作。有什么想法吗？如有任何帮助或建议，将不胜感激。提前谢谢。
浏览 0提问于2016-06-07得票数 2
回答已采纳
当我恢复复制文件时，它在两个进程上工作: 1)跳过复制的文件；2)复制文件。正因为如此，这需要很长时间。有什么方法可以在这个过程中跳过这个已经复制的文件吗？
浏览 0提问于2018-04-14得票数 0
我目前正在使用Airflow中的DataProcPySparkOperator和云存储中的脚本启动PySpark
run_pyspark_job = dataproc_operator.DataProcPySparkOperator(
task_id='run-dataproc-pyspark',
main='gs://my-repo/my-script.py',
project_id=PROJECT_ID,
cluster_name=CLUSTER_NAME,
region='europe-west4'
浏览 6提问于2020-01-13得票数 0
我有一个存储桶，其中包含经常更新的公共镜像，并希望禁用默认的缓存持续时间3600。(例如，"Cache-Control:private，max-age=0，无转换“)
用PHP上传文件时，可以对文件设置Cache-Control吗？
有没有办法为存储桶中所有未来的文件设置默认的Cache-Control (就像ACL一样，所有文件都是公共的)？
现在，我只能使用gsutil设置它的Cache-Control，并且只能为当前存储中的文件设置。
浏览 3提问于2014-08-20得票数 6
1回答
我有一个客户端，需要上传数千个文件夹到火柴存储在同一时间。我试过上传一个.zip文件，但不知道如何解压缩它。我跟踪了所有的向导。
有办法一次将数千个文件文件夹批量上传到google云存储桶吗？
浏览 3提问于2022-02-16得票数 0
我正在尝试使用cmdlet Copy-GcsObject备份一些文件，但它失败了。
Copy-GcsObject -SourceBucket "my-bucket" -SourceObjectName "Drivers/storage/PFJ82/Drivers/Production/Windows10-x64/iaStorAC.inf/iaStorF.sys" -DestinationObjectName "Drivers/storage/PFJ82/Drivers/Production/Windows10-x64/iaStorAC.inf/iaSt
浏览 3提问于2018-06-06得票数 0
回答已采纳
有没有一种方法可以清除撰写计数或复制云存储中的对象，从而无需再次下载和上传即可删除撰写计数？
对于5TB的对象大小限制，我需要5 5GB的片段组合在一起，1024个组合限制-- 5 5GB的上传是可能的吗？他们当然不容易与之合作。
撰写计数应该更高(1 1MM)，或者我应该能够复制云存储中的对象以删除现有的撰写计数。
浏览 0提问于2015-09-05得票数 0
我正在使用firebase存储来存储头像。我已经创建了两个项目: MyApp和MyApp-Dev。我可以很容易地从MyApp数据库下载json数据并将其上传到MyApp-Dev数据库。有没有一种方法可以将图像从一个项目转移到另一个项目？没有用户的头像，测试MyApp-Dev变得相当困难。
浏览 1提问于2017-06-20得票数 9
我正在尝试将数据从aws S3加载到google云存储：-我正在使用gsutil -我已经将S3上的文件公开了
在windows机器上的gsutil命令行上，我输入了：
python：\gsutil\gsutil gs://my_
我收到的错误是: InvalidUriError:无法识别的方案"https“
我试过用http代替https。
我已经成功地从我的本地计算机上传到谷歌云存储替代在本地文件。
谢谢。
浏览 1提问于2013-03-25得票数 1
我正在使用google云存储来自动从大型查询导出csv。现在设置它的方式为每年>月>日> file.csv创建了一个文件夹
所以，假设我想下载一整年的报告，我能不能只下载那一年的文件夹和里面的所有文件夹？
我看不出有什么办法可以通过云存储仪表板做到这一点。
浏览 0提问于2015-01-14得票数 1
回答已采纳
1回答
我用Google的Debian /Linux 9服务器制作了一个虚拟机。在那里，我有一个脚本，它每天在特定时间写入Excel (xlsx)文件并保存到Excel(Xlsx)文件中。我已经安装了tmux，所以当我关闭我的电脑时，它会继续运行脚本。
有没有办法让我以一种简单的方式收回这些信息，而不是我必须打开服务器并从那里下载。这有点辜负了我做机器人的全部目的。:/
谢谢!
Ps。我在Windows10桌面上
浏览 0提问于2020-04-03得票数 1
回答已采纳
1回答
我想将大型二进制文件(mongodump bson文件)存储在存储桶中，通过gcs引信安装在Google实例上。除了每次我写一个文件时都会把每个文件复制到一个临时文件夹外，一切都很正常。我的用例是关于在GCS上存储高达4TB的文件，以降低存储成本，但是如果我必须为临时文件保留足够大的磁盘，GCS不会降低我的成本，因为我必须同时保留两种存储(磁盘和GCS)。
有没有一种方法可以将大型文件写入安装的GCS桶，而不需要在GC实例上使用所有的临时空间？
浏览 0提问于2016-09-26得票数 0
回答已采纳
我正在尝试自动化与同步我的网络资产的过程。基本上，我需要将开发目录中的所有内容复制到云上。但是，我需要忽略.git目录和其他一些无关的文件。
我不能只做一个gsutil cp -R . <dest>，因为这需要所有的东西，包括.git。我尝试过find . | fgrep git | gsutil cp -I <dest>，但这会使所有目录都变平，并将它们放到根目录中！
有什么方法可以用gsutil解决这个问题，还是必须在脚本中执行一个循环，用-R上传所有目录(.git除外)，然后上传当前目录中的各个文件？
浏览 5提问于2014-03-28得票数 17
回答已采纳
1回答
我在GCS中有一些非常大的文件(100 be )需要处理以删除无效字符。下载并处理它们，再上传一次要花费很长时间。有没有人知道是否有可能在Google平台上处理它们，而不需要下载/上传？
如果有选择的话，我熟悉Python和Cloud函数。
浏览 2提问于2021-05-22得票数 0
回答已采纳
2回答
我刚接触过Google，但已经在网上找到了所有问题的答案，但现在我正在尝试使用Google上传文件，它对没有空格"this_file_001.txt“的文件很有效，但是如果我试图上传一个带有空格的文件”这个文件001.txt“，系统就不会识别这个命令。我使用的命令是
-m _ cp -r this_file_001.txt gs://this_file_001.txt
现在使用空格的相同命令不起作用
-m cp -r这个文件001.txt gs://这个文件001.txt
有什么办法完成这个任务吗？
提前谢谢。
浏览 1提问于2016-07-09得票数 6
回答已采纳
GCS新手(今天才开始使用)。看起来很有前途。
有没有办法在一个boto文件中使用多个S3帐户(或GCS)？我只看到了在单个文件中为一个S3和一个GCS帐户分配密钥的选项。我想使用多个凭据。
我们喜欢从S3复制到S3，或者从GCS复制到GCS，每个存储桶使用不同的密钥。
浏览 1提问于2015-07-30得票数 1
无法将目录或子目录下所有扩展名为.css的文件上传至GCS存储桶 gsutil -h "Cache-Control:public,max-age=2628000" -h "Content-Encoding:gzip" cp plugins/**.css gs://cdn.test.example.io/wp-content/plugins 响应 CommandException: No URLs matched: plugins/**.css 目录中有一些深入的css文件 我想上传所有的css文件到GCS存储桶内的插件文件夹或它的任何子文件夹
浏览 18提问于2020-08-21得票数 1
回答已采纳
我已经使用Gsutil下载了评级和评论数据、收益和销售报告数据，并带有以下注释gsutil cp -r gs://pubsite_prod_rev_/ reviews /* ~/gsutil/output/
现在，我正在尝试使用应用程序统计数据。但不知道是怎么回事如果有人知道请告诉我。
浏览 1提问于2014-09-08得票数 0
我正在尝试使用gsutil将所有文件下载到我的系统中。
我按照使用以下命令下载所有.jpg文件：
gsutil cp gs://my-bucket/*.jpg
但是，我收到错误消息，说明cp命令有错误的参数--我想它是在我的计算机中询问路径，但是我如何将它放在那里呢？？
浏览 0提问于2018-11-19得票数 0
回答已采纳
我读了一些关于这个问题的代码，但我无法理解这些代码。有人能帮我解释一下代码吗？
# mount your drive
from google.colab import drive
drive.mount('/content/drive')
!gsutil -q -m cp -r gs://my-bucket-name drive /content/drive/My\ Drive/
我想将文件从colab或google云存储传输到gdrive。在代码中'drive /content/drive/My\ Drive/‘代表什么？我应该如何解析这段代码。如果它适用于目录，我应
浏览 2提问于2019-06-13得票数 5
回答已采纳
1回答
我正在尝试将文件从云桶传输到VM实例。
我通过SSH连接到VM实例，并使用如下所示的gsutil代码：
gsutil ://bucket名称/文件名/home
然后就出现了错误
复制gs://huji/final-project-deep-learning-19-tf.tar...OSError:拒绝许可。GiB]
所以我尝试了这个命令：
：//bucket名称/文件名/home
然后下载完成。
复制gs://huji/final-project-deep-learning-19-tf.tar...*1份档案76.2 MiB/s
但是我找不到任何文件，磁盘卷也没有改变。有人能解释为什么会发生这
浏览 5提问于2019-12-08得票数 1
1回答
使用SSH中的这个命令，我可以将整个文件夹上传到中：
gsutil cp -R folder_big gs://bucket_name
这些是文件夹中的文件：
我不想单独点击每个文件来公开它。
如何在上传时使文件夹(和所有文件)自动公开？
浏览 2提问于2015-06-23得票数 4
回答已采纳
我有一个(也许是独一无二的？)我正在运行的一些Python脚本中的用例。也就是说，我想要gsutil的并行性，所以我不使用from google.cloud import storage，而是使用subprocess调用，例如：
subprocess.Popen(["gsutil", "-q", "-m", "-o", "GSUtil:parallel_process_count=8,GSUtil:parallel_thread_count=8", "cp", files, destination]
浏览 3提问于2017-04-20得票数 15
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
