我正在尝试读取google云存储桶中的所有文件夹。我有一个GCS存储桶/根文件夹路径。我正在尝试读取根文件夹中的所有子文件夹，并为每个文件夹执行一项任务。folder_names = [] folder_names.append(blob.name.split('/')[-2])我知道当我尝试使用folder_blobs
浏览 43提问于2021-01-07得票数 0
我一直在使用新的谷歌云平台，我希望从存储桶中读取文件，进行一些转换，然后最终将转换后的数据保存回云存储。到目前为止，我在读取数据和查看文件名时遇到了问题。我能否深入了解如何最好地读取和转换存储桶中的数据？下面是我的代码：from google.cloud.storage import Blob
浏览 2提问于2017-09-28得票数 2
我正在尝试从Google云存储桶中读取一个非常大的文件(运行到GB-s)。我将其读为Blob，然后从Blob中打开一个InputStream。"Blob blob = get_from_bucket("my-file"); InputStream str =Chann
浏览 0提问于2021-05-12得票数 0
是否有办法将airflow配置为与microsoft azure blob storage for DAGS and PLUGINS文件夹对话 对于芹菜模式，希望将它们存储在BLOB存储中，而不是本地共享文件夹中Airflow版本: 1.10.0 配置类型: celery executor //Directory for log storage.
airflow_logs_dir: "&
浏览 9提问于2019-09-04得票数 0
我正在运行一个在GCP存储桶中创建或更新对象的服务。也就是说，我的代码检查对象是否存在，如果存在，我的代码读取它，更新它，然后写回它。有时，我在尝试读取对象时会遇到异常。堆栈跟踪：at com.google.cloud.storage.Blob.getContent(Blob.java:455)
at com.google.cloud.storage.S
浏览 0提问于2018-04-26得票数 4
如何读取我的项目的云存储存储桶中存储的数据，并在我在App Engine中编写的Python代码中使用它？我尝试使用：blob = bucket.blob(source_blob_name)
但我无法弄清楚如何从代码中提取实际数据以将其转换为
浏览 1提问于2020-01-13得票数 0
我在Windows10上用Python2.7裁剪图像，我想把它们发送到Google的Cloud Vision API。对于本地保存的图像，我可以使用google.cloud python模块发送它们，如下所示：文档化
我不想将每个裁剪都保存到文件中，只是为了直接发送numpy数组。我可以将numpy数组更改为字符串对象，并使用
浏览 11提问于2017-07-21得票数 4
回答已采纳
我目前在Google Cloud Storage中有一个存储.pdf文件的存储桶，我想将每个.pdf文件拆分为多个一页的.pdf文件。我只能加载BLOB的文件(<class 'google.cloud.storage.blob.Blob'>)，但是我找不到一个很好的答案来解释如何读取一个PdfFileReader对象.
浏览 2提问于2021-03-16得票数 0
我有一个运行在google AI平台上的jupyter笔记本(python)。为了将文件从google存储中读取到笔记本中，我正在使用：content = blob.download_to_filename(filename)
有没有一种简单的方法可以指向存储桶目录，使读取5K+
浏览 13提问于2019-10-20得票数 0
在我开始之前，请不要建议我使用Google Composer。我的公司已经决定这个解决方案不适合我们。我已经在GCP中创建了一个小型Compute VM来托管Airflow实例，并且我希望将我们的DAG存储在GCS存储桶中。我已经创建了存储桶，并更新了airflow.cfg文件以指向它。当我运行airflow webserver时，终端输出显示它正在从给定的路径填充DagBag，并
浏览 17提问于2019-08-05得票数 1
我正在尝试在大约16 to的图像数据上训练一个模型。我需要从我的云存储桶中导入一个annotations.mat文件。然而，由于loadmat需要一个文件路径，我不确定如何导入Google Storage存储桶路径。我试图创建垫数据的pickle文件，但Jupyter Notebook崩溃了。当前尝试： from google.cloud import storagebucket = client.get_bucket('bucket-id&
浏览 27提问于2019-04-29得票数 2
3回答
db.BlobProperty()height = profile.avatar.height
已安装PIL。
浏览 2提问于2011-01-25得票数 6
回答已采纳
1回答
在Python语言编写的Airflow operator (DataprocWorkflowTemplateInstantiateInlineOperator)的帮助下，我使用Dataproc工作流模板提交了一个由于我无法获取jobId，所以我尝试将jobId作为参数从REST API传递，但这并不起作用。 我可以获取jobId吗?或者，如果不可能，我可以将jobId作为参数传递吗？
浏览 17提问于2019-02-06得票数 2
回答已采纳
我需要从Google Cloud Functions读取一个文件。我想要读取的文件托管在Google云存储中。该文件不是文本文件，这会阻止我使用download_as_string之类的东西。到目前为止，我已经尝试了用所有标准的方式从对象直接读取gcs.open(file)，但是gcs没有被定义(即使我在文件的顶部将cloudstorage作为gcs导入)。我能找到的最接近的东西是 (我想读
浏览 1提问于2019-08-12得票数 0
2回答
我在执行 3.6.5.3节“将日志写入Azure Blob存储”时遇到困难
文档声明您需要一个指向Azure Blob存储的活动钩子。我不知道怎么创造这个。一些消息来源说您需要在UI中创建钩子，还有一些消息说您可以使用环境变量。无论哪种方式，我的日志都不会被写到blob商店，而且我已经束手无策了。
浏览 6提问于2019-11-25得票数 1
回答已采纳
为了便于测试，我已经在Google Datalabs中构建了它。 工作流程的一部分包括从云存储获取.csv并将其保存为熊猫数据帧。这在数据实验室中工作得无懈可击，但在云函数中，由于某种原因，它再次从.csv的开头开始读取，并附加到底部，结果是大约300个重复的行。我尝试了几种不同的读取.csv的方法(pd.read_csv，gcsfs，gsutil，%gcs)，它们在数据实验室中都可以很好地读取正确
浏览 17提问于2019-09-05得票数 0
1回答
从谷歌云存储读取.txt文件
、、、、
我正在尝试从谷歌云存储中读取.txt文件。但在将其作为blob对象下载后，我无法对其进行迭代。我的要求是将该文件作为简单的txt文件逐行读取。请参考以下代码： import pysparkfrom google.cloud import storage= (sys.argv[2])
bucket
浏览 26提问于2021-06-22得票数 0
2回答
从运行在GKE或GCE中的容器中读取Google存储桶中的文件时。blob = storage.get(bucketName, textFile); return fileContent;有错误：
com.google.cloud.storage.Storage
浏览 1提问于2018-11-01得票数 1
回答已采纳
我正在使用Cloud Composer，它运行Apache Airflow，从Azure data Lake Gen2复制数据到云存储。我还不知道的是如何使用wasb和存储帐户密钥或SAS令牌连接到ADLS。我还没有找到任何例子来说明这个过程(连接到azure data lake)。 你能给我推荐一些我可能会遵循的示例代码吗？
浏览 13提问于2020-11-24得票数 0
我在Azure Blob存储中有一堆文件，而且它不断地获得新的文件。我想知道是否有一种方法可以让我首先将我在Blob中的所有数据转移到BigQuery，然后继续运行一个脚本或一些作业，以便将其中的所有新数据发送给BigQuery？
浏览 10提问于2017-06-28得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
