为什么GCP Cloudbalancer Bucket会返回XML？
GCP Cloudbalancer Bucket会返回XML的原因是因为它是一种支持云存储的对象存储服务，可以方便地存储和访问大量非结构化数据。XML（可扩展标记语言）是一种通用的数据交换格式，可以用于表示和传输各种结构化数据。
XML具有以下优势：
- 结构化：XML数据可以按照自定义的结构进行组织和存储，提供了良好的数据分层和分类能力。
- 可读性：XML数据使用标签和属性来描述数据，易于阅读和理解。
- 可扩展：XML是一种自描述的格式，可以轻松添加新的标签和属性，以适应不断变化的数据需求。
- 平台无关性：XML是一种独立于平台和编程语言的格式，可以在各种系统和应用程序之间进行数据交换和共享。
GCP Cloudbalancer Bucket返回XML的应用场景包括：
- 网站和应用程序的静态内容存储：可以将网站的静态文件（如HTML、CSS、JavaScript、图像和视频等）存储在Cloudbalancer Bucket中，并通过返回XML格式的响应进行访问。
- 数据备份和存档：XML格式的数据可以作为备份和存档的一种形式，提供灵活且可扩展的数据存储解决方案。
- 日志和事件存储：可以将应用程序的日志和事件数据存储在Cloudbalancer Bucket中，使用XML格式方便地进行检索和分析。
腾讯云提供的相关产品是对象存储服务（COS），可以用于存储和访问大规模非结构化数据。您可以通过以下链接了解腾讯云对象存储服务的详细信息： https://cloud.tencent.com/product/cos
相关·内容
1回答
将挂载到本地计算机上的目录进行处理。使用manjaro环境并手动安装gcs引信。
在gs://bucket01中，有包含jpg和json文件的目录。
go get -u github.com/googlecloudplatform/gcsfuse
$GOPATH/src/github.com/googlecloudplatform/gcsfuse
GOOGLE_APPLICATION_CREDENTIALS=/run/media/manjaro/gcp/key.json gcsfuse bucket01 /run/media/manjaro/gcp/bucket01
Using mount
浏览 3提问于2020-10-09得票数 0
回答已采纳
我有一个nodejs应用程序，并使用terraform上传到GCP中的Cloud function。但是我从terraform命令得到了下面的错误。 Error: Error waiting for Creating CloudFunctions Function: Error code 3, message: Function failed on loading user code. This is likely due to a bug in the user code. Error message: Error: please examine your function logs to
浏览 22提问于2021-06-24得票数 0
实际上，我使用了这个命令，它运行得很好：
gsutil cp gs:/bucket1/file.xml gs://bucket2/destination_folder
(bucket1在GCP的project1中，bucket2在GCP的另一个项目中)
但是我想每天早上9点做这个命令，我如何在我的GCP项目中以一种简单的方式做到这一点呢？
编辑:它将每天一次又一次地将文件从源桶复制到目标桶(这两个桶位于不同的项目中)。(实际上，当文件到达目标桶时，它会自动地在bigquery中消费和摄入，我只想每天早上尝试一下命令gsutil并停下来手动完成它)
(除了数据转移的方法之外，因为我没有源项目的权
浏览 2提问于2021-05-31得票数 0
回答已采纳
1回答
我有一个gcp存储桶，希望找到深度为2的每个子目录的大小。 例如： GCP bucket is : gs://gcp-bucket/
It has folders under it, in the below way
gs://gcp-bucket/city/a/
gs://gcp-bucket/city/b/
gs://gcp-bucket/city/c/
gs://gcp-bucket/city/d/ 我想从Linux服务器上找到上述每个文件夹结构的大小。这些文件夹下有文件，但我只想找到目录大小，而不是它下面文件的大小。 我尝试使用gsutil命令，但它不起作用。
浏览 42提问于2021-04-13得票数 0
我想上传文件从我的本地文件系统到一个新的GCP存储桶。我想在存储桶中创建一个新目录，以便本地文件驻留在其中。
我可以成功地做到这一点，但是Terraform在存储桶中创建了完整的本地文件路径。我只想创建GCP桶，在GCP桶中创建新目录，并上传本地文件。
variable "bucket_name" {
default = "my-bucket-gfsdfdye32421"
}
variable "my_files" {
default = ["local/docs/red.txt", "local/docs/blu
浏览 0提问于2019-05-15得票数 1
回答已采纳
1回答
我试图使用GitHub上示例中的以下信息。
empty_bucket_cf.yaml
imports:
- path: empty_bucket_cf.jinja
resources:
- name: my-function
type: empty_bucket_cf.jinja
properties:
project: <PROJECT_NAME>
region: europe-west1
entryPoint: handler
runtime: nodejs8
bucket: lskflsjfsj
empty_buc
浏览 0提问于2019-09-04得票数 1
1回答
当我以
hadoop distcp /a/b/c/d gs:/gcp-bucket/a/b/c/ , where d is a folder on HDFS containing subfolders.
如果文件夹c已经在gcp上，那么它将d(及其子文件夹)从HDFS复制到c内的gcp中，但是如果c文件夹不在gcp上，那么它将在gcp上创建c文件夹，并在gcp的c文件夹中复制d的子文件夹(但不是d本身)。
因此，如果e是HDFS上d中的子文件夹，而文件夹c存在于gcp中，那么输出以下命令：
hadoop distcp /a/b/c/d gs:/gcp-bucket/a/b/c/
将会是
浏览 6提问于2020-10-22得票数 2
回答已采纳
下面是我尝试过的：(ipython笔记本，用python2.7)
import gcp
import gcp.storage as storage
import gcp.bigquery as bq
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
sample_bucket_name = gcp.Context.default().project_id + '-datalab'
sample_bucket_path = 'gs://' + sample_bucket_
浏览 5提问于2016-06-23得票数 6
回答已采纳
我一直在StackOverflow中搜索，但是这个问题似乎还没有被问到。这是一个关于文件被上传到GCP存储的架构问题。
TL；DR:直接使用bucket.getFiles() (来自服务器)，而不是将每个文件名存储在我的db中，然后一个一个地请求它们并将数组返回给客户端，这有什么问题吗？
的情况：
我正在开发一个功能，允许用户上传链接到投递说明的图像记录。这份送货单可以有多个注意事项。
我在客户端(移动设备)上使用一个简单的上载按钮，并将GCP中的内容上传到path/to/id-deliveryNote文件夹中，例如：path/to/id-deliveryNote/filename.jpg p
浏览 7提问于2020-08-27得票数 1
回答已采纳
我期望下面的C++/GCP代码为不存在的路径返回一个空列表，但在实践中似乎并非如此：
for (auto&& object_metadata :
cli->ListObjects(bucket, path))
{
// how many time will this be hit?
}
有人知道预期的行为是什么吗？我在文档中找不到这个(也许我找错地方了)
浏览 3提问于2022-09-18得票数 1
回答已采纳
使用Google Cloud Storage Client，我无法按照lxml.etree.parse的要求将存储文件作为对象读取。我可以将云存储文件作为blob读取，但这不适用于lxml。 我正在尝试使用XSLT文件转换XML文件。我想有一个Google Cloud函数(在Python3.7中)，它将在XML文件上传到云存储时立即触发。我已经通过将文件存储在本地来尝试此代码，并且它可以工作。然而，我也需要一种方法来让它与云存储一起工作。 ----Using local files (Working Code):
import lxml.etree as ET
filename = "
浏览 20提问于2019-01-17得票数 1
回答已采纳
我只想在GCS上得到一个假文件夹结构的第一级。
如果我运行以下命令：
gsutil ls 'gs://gcp-public-data-sentinel-2/tiles/'我得到一个类似这样的列表：gs://gcp-public-data-sentinel-2/tiles/01/ gs://gcp-public-data-sentinel-2/tiles/02/ gs://gcp-public-data-sentinel-2/tiles/03/ gs://gcp-public-data-sentinel-2/tiles/04/ gs://gcp-public-data-senti
浏览 1提问于2018-07-17得票数 4
回答已采纳
我们已经开发了一个自动化管道，主要在AWS上执行任务，然后在Google Cloud上进行一些下游工作。这些任务通过AWS StepFunctions/Lambda部署在AWS上，我们需要将处理后的文件从AWS传递到Google Cloud Storage (通过Google Transfer Service)。然而，我在连接AWS和GCP部分时遇到了麻烦。
我有一个Lambda函数来实现Google Transfer Service (通过google的python客户端库)，但是我一直收到错误：
module initialization error: Could not automati
浏览 7提问于2018-04-21得票数 0
现在，当客户端从我的站点下载文件时，我是：
从google下载文件到服务器(，)
将下载的文件保存到Ruby Tempfile中
使用Rails 5 向终端用户发送Tempfile
我想跳过第二步，以某种方式将文件从google云传输到enduser，而不将文件保存在我的服务器上--这可能吗？注意，谷歌桶是私有的。
我目前使用的代码：
# 1 getting file from gcp:
storage = Google::Cloud::Storage.new
bucket = storage.bucket bucket_name, skip_lo
浏览 13提问于2022-07-19得票数 2
1回答
我试图获取GCP区域信息，并在此基础上选择一个GCS桶来提取数据。剧本看上去像这样。
#!/bin/bash
set -xe
GCP_REGION=$(curl -sf -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/zone | cut -d/ -f 4 | sed 's/.\{2\}$//')
BUCKET_NAME="foo-bar-"
case $GCP_REGION in
us*) BUCK
浏览 5提问于2022-03-29得票数 1
回答已采纳
我在GCP上使用TF 0.11.11。我的backend.tfvars文件设置可以按状态文件存储在GCP桶中：
# bucket where terraform state file will be kept
bucket = "this-is-my-tf-bucket"
# folder in the bucket where the terraform state file will be kept
prefix = "bucket.folder.sbx"
credentials = "greg-cred.json"
但是，在运行init
浏览 0提问于2019-05-07得票数 1
回答已采纳
有没有在Bucket (GCP)中创建文件夹的terraform模块？也就是说，我已经知道使用模块google_storage_bucket可以在GCP中创建GCS bucket。但是，有没有办法使用terraform在存储桶(GCP)中创建文件夹？
谢谢,
浏览 0提问于2019-04-05得票数 1
1回答
我对GCP中的云函数有困难，GCP应该返回存储在GCS桶中的原始XML，当使用基本GET请求调用时。在没有任何类型的身份验证的情况下，它工作得很好，但是，由于我在混合中添加了Flask包，以便在公开端点之前添加某种程度的安全性，所以应用程序会很好地部署，但是在调用它时没有任何提示就会崩溃。SD日志记录中的错误如下：
severity: "DEBUG"
textPayload: "Function execution took 1847 ms, finished with status: 'crash'"
timestamp: "2
浏览 3提问于2020-07-21得票数 1
回答已采纳
2回答
我试图从cloudbuild.yaml文件中的机密管理器中检索机密，但是我找不到任何方法。
- name: 'gcr.io/cloud-builders/gcloud'
args:
- beta
- run
- deploy
- ${REPO_NAME}
- --region=europe-west2
- --image=gcr.io/$PROJECT_ID/${REPO_NAME}:$COMMIT_SHA
- --service-account=${_SERVICE_ACCOUNT}
浏览 2提问于2021-08-05得票数 0
回答已采纳
你好，谢谢您的时间和关心。我正在Google平台/ Datalab中开发一个木星笔记本。我已经创建了一个Pandas DataFrame，并且希望将这个DataFrame写到(GCS)和/或BigQuery中。我在GCS中有一个桶，并通过以下代码创建了以下对象：
import gcp
import gcp.storage as storage
project = gcp.Context.default().project_id
bucket_name = 'steve-temp'
bucket_path = bucket_name
buck
浏览 14提问于2016-03-30得票数 47
回答已采纳
背景：有一个部署到GCP的云功能，它只负责为云函数调用者创建一个预签名的URL，用于将其上传到云存储。前端是云函数的调用者。前端然后发出XML请求，使用预先签名的URL放置对象。我手动创建了包含所需角色的服务帐户，并手动更改了gcp控制台中云功能的默认服务帐户。我成功地创建了服务帐户，我只在尝试使用预先签名的URL时遇到错误。
问题：
出现问题，试图允许客户端通过预先签名的URL上传文件。
接收误差
<?xml version='1.0' encoding='UTF-8'?>
<Error>
<Code>AccessDenie
浏览 2提问于2020-09-19得票数 1
我正试图用python从kubernetes上的一个吊舱中得到一个关于gcp的桶。
现在，该pod上的服务帐户具有存储管理的角色，但出于某种原因，在尝试访问该桶时，我仍然会遇到异常。
IAM：
📷
错误日志：
google.api_core.exceptions.Forbidden: 403 GET https://www.googleapis.com/storage/v1/b/<bucket_name>?projection=noAcl: 874<principal> does not have storage.buckets.get access to the Go
浏览 0提问于2022-10-11得票数 2
1回答
现在我正在学习如何使用Pulumi建立一个由GCP存储桶服务的网站，然而，我仍然坚持最后一步，公开一个IP地址并将其附加到LB上。除了This load balancer has no frontend configured，一切看起来都很好 我认为ForwardingRule就是我需要的，但它不需要BucketBackend (参见下面的代码和输出)。 对如何前进有什么建议吗？ ####### WEBSITE ##########
web_bucket = gcp.storage.Bucket('web',
project="myproj",
浏览 19提问于2021-02-12得票数 0
回答已采纳
1回答
我有这样的代码片段
GCP_REGION="us-central1"
BUCKET_NAME="$(case $GCP_REGION in us*) echo "foo-bar-us";;asia*) echo "foo-bar-asia";;europe*) echo "foo-bar-eu";;*) echo "unknown GCP region";exit 1 ;; esac)";
现在，不是将echo的输出保存到BUCKET_NAME，而是有一种方法将其传递给下一个命令rclone mou
浏览 1提问于2022-03-30得票数 0
我有超过500个文件，我正在上传到gcp存储在每10分钟。我是上传这些文件一个接一个，这是一个时间的过程。
那么，是否有可能在gcp上一短时间内将这些文件大容量上传？
def upload_files(**kwargs):
stock_codes = kwargs['data']
bucket_name = 'gcp-bucket-name'
浏览 2提问于2022-02-11得票数 0
我正在跟踪这个链接并得到一些错误：
我已经在容器环境中保存了模型，从那里我想复制到GCP桶。
这是我的代码：
storage_client = storage.Client(project='*****')
def upload_local_directory_to_gcs(local_path, bucket, gcs_path):
bucket = storage_client.bucket(bucket)
assert os.path.isdir(local_path)
for local_file in glob.glob(local_pat
浏览 22提问于2022-03-25得票数 1
2回答
请提出以下建议：
我已经使用VM的实例在GCP中安装了hadoop 2.6.5版本集群。使用GCP连接器，并由hdfs指定使用gs桶。在coresite.xml中添加了以下两个条目：
google.cloud.auth.service.account.json.keyfile=<Path-to-the-JSON-file>
fs.gs.working.dir=/
当使用hadoop时，-ls /工作很好，但是当我创建一个蜂窝表时
CREATE EXTERNAL TABLE test1256(name string,id int) LOCATION 'gs://b
浏览 1提问于2018-05-24得票数 0
我想创建一个小型python程序(云函数)来创建、运行和删除一些GCP存储传输服务。
我可以创建一个GCP存储传输作业，如下所示
from google.cloud import storage_transfer
transfer_job_request = storage_transfer.CreateTransferJobRequest({
'transfer_job': {
'project_id': project_id,
'status': storage_transfer.TransferJo
浏览 12提问于2022-08-01得票数 0
回答已采纳
我有一个GCP bucket，里面有一些pdf文件。我可以使用以下代码在本地主机上使用python(flask)从bucket下载文件- storage_client = storage.Client.from_service_account_json("ebillaae7f0224519.json")
bucket = storage_client.get_bucket("bill_storage1")
blob = bucket.blob(file_name)
blob.download_to_filename("file1.pdf") 但
浏览 50提问于2021-09-27得票数 0
我是GCP的新手，正在探索一些功能，需要找到一种方法来将本地文件推送到GCP路径，而不需要任何版本控制。
我知道以下将代码推送到GCP的方法：
1)使用gsutil cp命令将本地文件更改复制到GCP bucket。例如: gsutil bucket cp -r源路径gs:// -m -id
2)将代码从GCP存储桶复制到所需路径。例如: gsutil cp -r gs://bucket-id/xyz /path
有没有其他方法可以使用eclipse实现这一点？将文件直接从本地系统传输到GCP路径。或者我们有没有什么eclipse插件可以做到这一点？
任何帮助都是非常感谢的。
浏览 1提问于2018-04-21得票数 0
在尝试删除该文件之前，我希望检查它是否存在，因为我希望避免异常。以下去除方法- DeleteAssetAsync()
using Google.Apis.Auth.OAuth2;
using Google.Cloud.Storage.V1;
internal sealed class AssetsService
{
private readonly GoogleCredential _googleCredential;
private readonly StorageClient _storageClient;
public AssetsService()
浏览 7提问于2022-04-06得票数 0
回答已采纳
我们希望在我们的GKE集群中部署Hashicorp (由Banzai分叉)，然后将其映射到Cloud / Firestore。我们已经在EKS / S3 / AWS上完成了它，它工作得很好。
但是，在GKE上，金库吊舱会发生崩溃，其中包含以下错误消息：
2021-02-09T11:36:46.455Z [WARN] storage migration check error: error="failed to read value for "core/migration": googleapi: got HTTP response code 403 with body
浏览 7提问于2021-02-09得票数 1
回答已采纳
我正在尝试使用Spring访问Google Storage bucket中的文件，最终目标是使用MultiResourceItemReader从存储桶中读取多个XML文件。当XML文件在我的本地机器上(而不是GCP)时，我目前使用Spring来处理这个过程
现在，我想做同样的事情，但不是我机器上的XML文件，而是GCP存储桶中的文件。我可以在Spring之外访问存储桶内容，一次只能访问一个文件。例如，这一小段测试代码允许我访问存储桶，然后查看存储桶中的文件。在这段代码中，我通过JSON密钥文件设置了凭据。(不是环境变量)
public static void storageDriver() t
浏览 2提问于2018-05-02得票数 2
当我运行代码时，application.properties文件中的外部配置不会被填充到DataBucketUtil中的变量中。我肯定我在做些蠢事，但我找不出问题出在哪里。
public class DataBucketUtil {
private static final Logger logger = LoggerFactory.getLogger(DataBucketUtil.class);
@Value("${gcp.config.file}")
private String gcpConfigFile;
@Value("${gcp.project.id}
浏览 6提问于2022-11-13得票数 1
我已经使用Django Rest框架创建了API。API与GCP云存储通信，存储profile Image(约1MB/张)。同时对该服务器执行负载测试(大约1000个请求/秒)。我遇到了以下错误。我似乎是一个GCP云存储最大请求问题，但无法弄清楚它的解决方案。
Exception Type: SSLError at /api/v1/users
Exception Value: HTTPSConnectionPool(host='www.googleapis.com', port=443): Max retries exceeded with url: /storage/v1/
浏览 0提问于2018-01-16得票数 4
回答已采纳
我已将PyTorch检查点文件'checkpoint_ic_d161.pth‘上载到GCP存储桶。
我试图上传一个PyTorch水壶模型到GCP应用程序引擎，以便制作一个简单的web应用程序。
但是我无法将GCP存储桶中的模型文件访问到App Engine中的main.py中。
MODEL_URL = 'https://storage.googleapis.com/end_to_end_challenge_bucket/checkpoint_ic_d161.pth'
def load_checkpoint(filepath):
checkpoint = tor
浏览 1提问于2021-02-06得票数 0
1回答
我正在尝试从我的Django应用程序中将一个HTML字符串作为PDF文件上传到GCS。
import google, os
from google.cloud import storage
class GcpHelper:
def __init__(self, bucket_name):
self.service_account_json_path = 'google_auth.json'
storage_client = storage.Client.from_service_account_json(self.service_ac
浏览 0提问于2020-05-12得票数 0
回答已采纳
在GCP存储的Terraform上需要一些帮助。
如何在GCP云存储中分配所有对象(未来和当前)读取器角色。我需要storage.objects.get来创建对象吗？
resource "google_storage_object_acl" "assign_objects_reader_role_on_my_storage_bucket" {
object = google_storage_bucket_object.objects.output_name
bucket = my_storage_bucket.name
rol
浏览 3提问于2021-04-29得票数 1
回答已采纳
我正在尝试编写云管理员的GCP存储桶策略，但不知道如何过滤掉所有可用的存储桶上的版本控制。
policies:
- name: check-all-bucket-versioning
description: |
Check all bucket versionig enabled
resource: gcp.bucket
filters:
- type: value
key: versioning
value: true
actions:
任何帮助都会很有帮助的！
谢谢
浏览 3提问于2022-02-07得票数 1
回答已采纳
1回答
我想模拟一个GCP存储桶，但是Typescript因为输入而大喊大叫。 下面是我要测试的一个类的摘录： private storage = new Storage({
projectId: 'PROJECT_NAME',
keyFilename: env.gcpKeyFilename,
});
get bucket() {
return this.storage.bucket('fundee-assets');
}
private async _downloadFromBucket(name) {
const file = this.buc
浏览 7提问于2019-08-30得票数 1
回答已采纳
GCP是否为Cloud Shell中的主目录分配了全局位置(gs://...something...)？像buckets是gs://$BUCKET_NAME/，其中$BUCKET_NAME是全局唯一的。 在shell提示符下，我所能看到的是： $USERNAME@cloudshell:~ ($PROJECT_ID)
浏览 24提问于2021-04-09得票数 1
回答已采纳
代码：
from airflow.models import BaseOperator
from airflow.utils.decorators import apply_defaults
from airflow.providers.google.cloud.hooks.gcs import GCSHook
class GCSUploadOperator(BaseOperator):
@apply_defaults
def __init__(
self,
bucket_name,
target_file_name,
浏览 3提问于2021-05-25得票数 5
回答已采纳
2回答
我必须阅读谷歌桶文件，是以xlsx格式。桶中的文件结构如下所示
bucket_name
folder_name_1
file_name_1
folder_name_2
folder_name_3
file_name_3
python片段看起来就像
def main():
storage_client = storage.Client.from_service_account_json(
Constants.GCP_CRENDENTIALS)
bucket =
浏览 6提问于2021-11-11得票数 1
回答已采纳
目标
我想使用python访问和修改GCP存储桶中的文件。
我实现了以下代码：
def get_file_from_bucket(file_name, bucket_name):
# get storage client
storage_client = storage.Client()
# get bucket with name
bucket = storage_client.get_bucket(bucket_name)
# get bucket data as blob
blob = bucket.get_blob(file_name)
浏览 26提问于2021-12-08得票数 -2
我使用气流将文件从本地复制到GCS，使用FileToGoogleCloudStorageOperator实现
我的代码：
dag = DAG('file-gcs-demo', catchup=False, default_args=default_args)
cloud_storage_bucket_name = 'composerdemo-bucket'
t1 = FileToGoogleCloudStorageOperator(
task_id = 'copy-file-gcs',
src = '/Users/jw
浏览 1提问于2020-11-25得票数 1
回答已采纳
1回答
我正在尝试将一个新版本的模型部署到AI平台，这是一个自定义的预测例程。当我在同一个GCP项目中拥有所有资源时，我已经设法很好地进行了部署，但是当我尝试部署时，我将GCS文件指向另一个项目中的存储桶，它无法部署。因此，我尝试在创建版本时传递要使用的服务帐户，但它一直忽略它。
这就是我得到的信息：
googleapiclient.errors.HttpError: <HttpError 400 when requesting https://ml.googleapis.com/v1/projects/[gcp-project-1]/models/[model_name]/versions?a
浏览 7提问于2019-11-19得票数 0
1回答
从本地的一本笔记本上跑出来。
我试图使用以下代码完成从GCP存储桶下载文件的非常简单的任务：
from google.cloud import storage
# Initialise a client
storage_client = storage.Client("gcpkey.json")
# Create a bucket object for our bucket
bucket = storage_client.get_bucket("gcp_bucket")
# Create a blob object from the filepath
blob
浏览 0提问于2020-04-16得票数 2
回答已采纳
我正在尝试使用Python从我的云存储存储桶中下载文件：
GCP_BUCKET_NAME = "my-learning-bucket"
storage_bucket = storage_client.bucket(GCP_BUCKET_NAME)
def download_object(download_obj_name):
blob = storage_bucket.blob(download_obj_name)
blob.download_to_file_name(f"downloads/data.db")
但它给了我一个错误：
Trac
浏览 17提问于2021-06-10得票数 0
回答已采纳
1回答
我的GCP Cloud Storage Bucket中有很多.tar文件。每个.tar文件都有多个层。我想使用GCP Dataflow解压这些.tar文件，并将它们放回另一个GCP Storage Bucket中。 我找到了谷歌提供的批量解压缩云存储文件的实用程序模板，但它不支持.tar文件扩展名。 也许我应该试着在上传到云之前解压文件，或者在Beam中存在其他东西？ 每个tar文件约为15 TB未压缩。
浏览 17提问于2020-08-13得票数 2
我在google composer (airflow)中有一个导入的DAG：
从airflow.contrib.sensors.gcs_sensor导入GoogleCloudStorageObjectSensor
当我运行DAG时，我得到了这个错误：
"ImportError:没有名为sensors.base_sensor_operator的模块“
基本上，我想在执行其他操作之前检查存储桶中是否存在文件。
下面是完整的python代码：
from datetime import datetime,timedelta
from airflow import DAG
from airflo
浏览 5提问于2018-08-23得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
