尝试将dask数据帧写入google云存储上的csv时出现关键错误‘gs
。
首先，dask是一个用于并行计算的灵活的开源库，它可以处理大规模数据集，并提供类似于pandas的数据帧操作。Google云存储是Google提供的一种云端对象存储服务，可以用于存储和访问各种类型的数据。
在尝试将dask数据帧写入Google云存储上的CSV文件时，出现关键错误‘gs’可能是由于以下原因之一：
- 缺少必要的依赖库：确保已安装并正确配置了Google云存储的Python SDK（google-cloud-storage）。可以使用以下命令安装该库：
- 缺少必要的依赖库：确保已安装并正确配置了Google云存储的Python SDK（google-cloud-storage）。可以使用以下命令安装该库：
- 访问权限问题：确保您具有足够的权限来访问和写入Google云存储。您需要正确设置Google云存储的访问密钥，并在代码中使用该密钥进行身份验证。您可以在Google云平台控制台上创建和管理访问密钥。
- 文件路径错误：请确保您提供了正确的Google云存储桶（Bucket）和文件路径。您可以使用
gs://前缀指定Google云存储桶，并在路径中指定文件名和目录结构。 - 网络连接问题：请确保您的网络连接正常，并且可以与Google云存储建立连接。您可以尝试使用其他网络服务进行测试，以确定是否存在网络问题。
综上所述，您可以按照以下步骤来解决这个问题：
- 确保已安装并正确配置了Google云存储的Python SDK（google-cloud-storage）。
- 确保您具有足够的权限来访问和写入Google云存储，并正确设置了访问密钥。
- 检查文件路径是否正确，并使用
gs://前缀指定Google云存储桶。 - 确保您的网络连接正常，并且可以与Google云存储建立连接。
如果您需要更详细的帮助或了解更多关于Google云存储的信息，可以参考腾讯云对象存储（COS）产品，它是腾讯云提供的一种类似于Google云存储的对象存储服务。您可以在腾讯云官方网站上找到有关腾讯云对象存储的详细信息和产品介绍。
腾讯云对象存储（COS）产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
我正在尝试将一堆CSV文件从谷歌云存储读取到pandas数据帧中，如Read csv from Google Cloud storage to pandas dataframe中所述 storage_client = storage.Client()
bucket = storage_client.bucket(bucket_name)
blobs = bucket.list_blobs(prefix=prefix)
list_temp_raw = []
for file in blobs:
filename = file.name
temp = pd.read_csv(
浏览 39提问于2019-03-05得票数 0
回答已采纳
我一直在使用sdk将CSV文件上传到google云存储中。当我将文件上传到google云项目时，我的数据以随机顺序出现在云中。csv上的每一行都是正确的，但行在整个位置。
csv的头)，即属性、属性、属性)一直在另一行上，永远不在应该在的顶部。我再次强调，每一列中的数据都很好，只是随机放置的行。
下面是最初读取数据的代码：
PCollection<String> csvData = pipeline.apply(TextIO.Read.named("ReadItems")
.f
浏览 0提问于2017-01-18得票数 0
回答已采纳
我一直在使用Data Proc google cloud services for Machine Learning Modelling开发Spark Cluster。我已经成功地从Google存储桶中加载了数据。但是，我不确定如何将熊猫的数据帧和spark数据帧作为csv写入云存储桶中。
当我使用下面的命令时，它会给我一个错误
df.to_csv("gs://mybucket/")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File &#
浏览 0提问于2018-11-05得票数 1
2回答
我是python的新手。我正在使用dask读取5个大的(>1 GB) csv文件，并将它们合并(类似SQL)到一个dask数据帧中。现在，我正在尝试将合并后的结果写入单个csv。我在dask dataframe上使用compute()将数据收集到单个df中，然后调用to_csv。但是，compute()在读取所有分区的数据时速度很慢。我尝试在dask df上直接调用to_csv，它创建了多个.part文件(我没有尝试将这些.part文件合并到一个csv中)。有没有其他方法可以将dask df放入单个csv或任何参数中来计算()以收集数据。我使用硬盘和i5处理器的6 6GB内存。
谢谢
浏览 5提问于2017-03-23得票数 4
我正在使用Google Cloud在云上训练神经网络，如以下示例所示：
首先，我将以下内容设置为环境变量：
PROJECT_ID=$(gcloud config list project --format "value(core.project)")
BUCKET_NAME=${PROJECT_ID}-mlengine
然后，我使用以下命令将我的训练和评估数据上传到谷歌云存储：
gsutil cp -r data gs://$BUCKET_NAME
然后，我验证了这两个csv文件是否在我的Google Cloud存储上的polar terminal-160506-mlengi
浏览 2提问于2017-05-23得票数 9
我想上传一个熊猫的数据框架从本地机器直接到谷歌云存储，因此，我不是一个云功能。我尝试了使用的不同方式。但我无法拯救。
注意:我可以只使用google.cloud包
下面是我尝试过的代码
from google.cloud import storage
import pandas as pd
input_dict = [{'Name': 'A', 'Id': 100}, {'Name': 'B', 'Id': 110}, {'Name': 'C', 'Id
浏览 0提问于2019-06-14得票数 7
2回答
背景：
我有12,000个csv文件(50 on )，这些数据大多具有相同的格式，但有些数据可能缺少一两列，而且一些标题行可能并不总是从文件的第一行开始。
我有一个具有几个函数的类，这些函数利用pandas来分析和规范这些csv文件，这些文件要么存储在本地，要么存储在google桶中。
在这些职能中采取以下行动：
analyze_files中的
循环遍历所有文件，“窥视”它们的内容以确定标题，以及是否需要跳过任何行才能到达标头行。将收集到的所有标头转换成标准格式，从文件名中删除除字母数字和下划线以外的所有内容。
normalize_files中的
循环遍历所有文件，将每个time.conver
浏览 1提问于2021-06-06得票数 1
我正在尝试将一个熊猫数据帧导出到我的google云存储的存储桶中的csv文件中，但以下代码显然不适用于我：
my_df.to_csv(StringIO(file_io.FileIO('gs://mybucket/data/file.csv', mode='w+')))
这应该如何重写？我得到以下错误：
unbound method write() must be called within FileIO instance as first argument (got nothing instead)
很抱歉答案是显而易见的，但我才刚刚开始学习python。
浏览 27提问于2019-03-27得票数 2
我在google存储桶中有一些文件夹，其中包含CSVs，我正在尝试将这些CSVs读取到dask.dataframe中，以便对文件进行并行标准化。例如:其中一些数据帧可能缺少其他数据帧所具有的列，因此我希望将缺少的列插入到缺少它的每个数据帧中。
我的问题
当使用全局字符串时，比如ddfs = ddf.read_csv(f"gs://bucket/{folder}/*.csv")，我会收到pandas.errors.ParserErrors，因为不仅一些文件的标题丢失了，而且一些文件的标题行可能没有从第一行开始。在通过dask.dataframe使用全局字符串之前，我可以遍历目录并
浏览 7提问于2021-06-08得票数 0
我有下面的代码，1)从gcs bucket导入csv文件，2)对它做一些etl，3)在写dask df to_csv之前将它转换成dask df。一切都按计划进行，直到最后，当我在gcs存储桶中写回csv时得到一个KeyError: 'gs'。
这是我的代码--谁能帮我弄明白这个关键错误是从哪里来的？
def stage1_1ph_prod_master(data, context):
from google.cloud import storage
import pandas as pd
import dask.dataframe as dd
浏览 10提问于2019-07-19得票数 0
回答已采纳
2回答
目标-读取上传到google云存储桶上的csv文件。
环境-在主节点上使用SSH实例运行Jupyter notebook。在Jupyter notebook上使用python，试图访问一个上传到google云存储存储桶的简单csv文件。
方法-
第一种方法-编写一个简单的python程序
写了下面的程序
import csv
f = open('gs://python_test_hm/train.csv' , 'rb' )
csv_f = csv.reader(f)
for row in csv_f
print row
结果-错误消息“没有这样的文件
浏览 1提问于2016-08-22得票数 4
1回答
如何读取数据并删除坏行
、、、、
我试图使用dask聚合一个包含多行坏数据的大型(66 of )数据库。
由于dask没有删除坏行的功能，所以我第一次将所有数据作为熊猫数据读取，并删除坏行。然后，我将此转换为dask数据帧。我的代码如下：
导入dask.dataframe作为dd从dask.distributed导入客户端导入熊猫
#Groups the average Thresholds by NEATGeneration and finds the mean, standard deviation, minimum and maximum of the data
def group(df):
res = df.g
浏览 2提问于2020-02-21得票数 1
我试图从google存储中读取大量的csv文件(多个文件)。我使用Dask分发库进行并行计算，但我面临的问题是，虽然我提到了块大小(100 my )，但我不知道如何按分区读取分区并将其保存到postgres数据库中，这样我就不想让内存超载。
from dask.distributed import Client
from dask.diagnostics import ProgressBar
client = Client(processes=False)
import dask.dataframe as dd
def read_csv_gcs():
浏览 0提问于2019-06-30得票数 2
回答已采纳
1回答
我正在构建一个Dataflow管道，它从云存储桶中读取CSV文件(包含250,000行)，修改每一行的值，然后将修改后的内容写入同一个存储桶中的新CSV。使用下面的代码，我可以读取和修改原始文件的内容，但是当我试图在GCS中写入新文件的内容时，会出现以下错误：
google.api_core.exceptions.TooManyRequests: 429 POST https://storage.googleapis.com/upload/storage/v1/b/my-bucket/o?uploadType=multipart: {
"error": {
"
浏览 6提问于2022-01-12得票数 0
回答已采纳
10回答
我正在尝试将Google Cloud Storage存储桶上的csv文件读取到熊猫数据帧上。
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
from io import BytesIO
from google.cloud import storage
storage_client = storage.Client()
bucket = storage_client.get_bucket('createbucket123')
blob =
浏览 3提问于2018-03-19得票数 65
以下是我正在做的工作的摘要：
首先，我通过普通的多进程和pandas包来实现：
步骤1.获取我要读取的文件名列表
import os
files = os.listdir(DATA_PATH + product)
步骤2.遍历列表
from multiprocessing import Pool
import pandas as pd
def readAndWriteCsvFiles(file):
### Step 2.1 read csv file into dataframe
data = pd.read_csv(DATA_PATH + product
浏览 0提问于2018-09-15得票数 3
我想合并两个dask数据帧，用中位数列计算缺失的值，并将合并后的数据帧导出到csv文件。我有一个问题:我当前的代码不能利用全部8个CPU(约占每个CPU的20%)
我不确定哪个部分限制了CPU的使用。下面是可重复的代码
import numpy as np
import pandas as pd
df1 = pd.DataFrame(
np.c_[(np.random.randint(100, size=(10000, 1)), np.random.randn(10000, 3))],
columns=['id', 'a', 'b
浏览 0提问于2019-04-10得票数 0
我正在尝试用云存储中的csv填充mysql数据库
我使用来使用以下请求主体执行请求：
{
"importContext": {
"csvImportOptions": {
"columns": [
"col1",
"col2",
"col3"
],
"table": "table_name"
},
"database": "db_na
浏览 0提问于2018-07-19得票数 2
回答已采纳
1回答
我有一个大的查询表，我想运行使用熊猫DataFrame。该表很大，使用: pd.read_gpq()函数会卡住，无法检索数据。
我使用熊猫实现了一个块机制，但它需要很长的时间(900万行需要一个小时)。所以我在研究一种新的润肤液。
我想下载这个表作为一个csv文件，然后读取它。我在google云文档中看到了以下代码：
# from google.cloud import bigquery
# client = bigquery.Client()
# bucket_name = 'my-bucket'
project = 'bigquery-public-data'
浏览 0提问于2019-02-18得票数 1
我试图使用python熊猫从GCP桶中的所有子文件夹递归加载所有csv文件。
目前我正在使用dask来加载数据，但是它非常慢。
import dask
path = "gs://mybucket/parent_path + "*/*.csv"
getAllDaysData = dask.dataframe.read_csv(path).compute()
有人能用更好的方法帮我吗。
浏览 4提问于2022-09-27得票数 2
1回答
我正在用熊猫把文件保存到谷歌云存储的csv上。问题是，当我重写数据时，我的文件会被覆盖。
url = gs://mybucket/my.csv
df.to_csv(url,mode="a", index=False, header=False)
但是，我已经将写入模式指定为"a“，以便在没有重写文件的情况下添加。
非常感谢你的帮助:)
浏览 8提问于2021-12-21得票数 0
回答已采纳
我试图在文件中设置一组env变量，并尝试使用命令gcloud run deploy ... --env-vars-file=.env.yaml加载/使用该文件。我在浏览器中从控制台运行这个命令(最终我将使用云构建)，所以我想将这个文件存储在google中，并使用它的文件路径访问它。我尝试将文件存储在云存储中，并试图像这样访问gcloud run deploy <appname> --image <imageurl> --env-vars-file gs://<cloudstorage name>/.env.yaml。但是它抛出了一个错误，上面写着“无法读取文
浏览 3提问于2022-10-18得票数 0
回答已采纳
我正在寻找一些关于dask数据帧结果的帮助。我有一个dask数据帧，其中包含来自144个csv文件的144个数据帧。我想从这些数据帧中的一列中获取最大值并返回它，以及它所属的文件夹的名称。我一直在使用map_patitions来获得我正在寻找的结果，但是，没有与分区结果相关联的标识符，所以很难将结果应用于其他用途。任何帮助都将不胜感激！下面是我使用的代码示例： ddf = dd.read_csv(f'{dir}/*/name.csv')['column 1'] # dir contains 144 folders, each with name.csv
def
浏览 23提问于2020-03-21得票数 1
1回答
我有一个包含一个有问题的列的dask数据帧，它(我相信)是每次我尝试对该数据帧执行任何操作(无论是head还是to_csv，甚至是尝试使用(不同)列)进行子集时都会抛出的特定错误的根源。错误可能是由于数据类型不匹配造成的，并显示如下： ValueError: invalid literal for int() with base 10: 'FIPS' 所以我决定删除该列('FIPS')，使用 df = df.drop('FIPS', axis=1) 现在，当我执行df.columns时，我不再看到'FIPS'，这意味着它确实已经
浏览 16提问于2019-02-17得票数 2
我试着用陆地卫星图像读取谷歌公众云存储()的数据。
我在GDAL中使用Python3。但我有个错误
ERROR 15: GS_SECRET_ACCESS_KEY+GS_ACCESS_KEY_ID, GS_OAUTH2_REFRESH_TOKEN or GOOGLE_APPLICATION_CREDENTIALS or GS_OAUTH2_PRIVATE_KEY+GS_OAUTH2_CLIENT_EMAIL configuration options and /home/qwerty/.boto not defined
我怎样才能得到GS_SECRET_ACCESS_KEY和GS_ACCESS_
浏览 6提问于2020-03-05得票数 3
回答已采纳
使用永久外部表查询云存储数据时， CREATE OR REPLACE EXTERNAL TABLE mydataset.sales
OPTIONS (
format = 'CSV',
uris = ['gs://mybucket/sales-google.csv', 'gs://mybucket/sales-microsoft.csv']
) 有没有办法知道行是从哪个文件中摄取的？元数据？ SELECT * FROM mydataset.sales
浏览 50提问于2020-10-31得票数 1
回答已采纳
1回答
我正在使用spring boot连接到google云存储。 我可以连接到一个文件并读取google云存储桶中的内容。 但我无法获得谷歌云存储桶中所有文件的列表。 请帮帮我。 这是可行的 Resource gcsFile = this.context.getResource("gs://" + bucketName + "/" + filePath); 这不起作用。 Resource[] resources = this.context.getResources("gs://" + bucketName + "/*.*"); 有
浏览 17提问于2020-09-23得票数 0
我正在构建一个云函数，使用存储触发器，并试图从内部运行数据流。我创建了一个数据流作业"jsonbq-1"，并使用现有的GCS_Text_BigQuery模板创建了一个简单的uDF来接收传入的CSV数据并放入表中。云函数被执行，数据流被调用，但是没有响应，log:Error中显示的错误:模板参数无效。
我不知道错误在哪里。
Index.js 看起来像这样。
`const google = require('googleapis');
//const { auth } = require('google-auth-library');
exp
浏览 0提问于2018-08-12得票数 2
1回答
在文档的帮助下，我使用Helm在Kubernetes集群上安装了Dask和。
所有部署都很好，我可以访问JupyterLab。然后，我创建了一个笔记本，并从Google云存储桶下载了一个csv文件：
storage_client = storage.Client.from_service_account_json(CREDENTIALS)
bucket = storage_client.get_bucket(BUCKET)
download_blob(bucket, file="test-file", destination_dir="data/")
我在csv
浏览 1提问于2019-02-01得票数 0
回答已采纳
1回答
我有一个包含100个分区和57列的dask数据帧。然后我想将它保存为Google Cloud Storage上的avro。我已经检查了intake-avro lib，但它只能将avro转换为dask数据帧，而不能反之亦然。 有没有库可以做到这一点，或者我应该写自己的库？我想确保我不会重复发明轮子。
浏览 14提问于2019-03-16得票数 0
我是DASK的新手，我正在尝试在私有云上建立一个分布式集群。现在，我在同一台机器上运行了调度器和一个工作程序，它们都运行在同一Docker容器中。它们分别从dask-scheduler和dask-worker tcp://localhost:8786开始。 我正在从本地计算机连接到调度程序。为简单起见，假设我在本地/home/my_user/local_directory目录中运行一个IPython控制台。我在运行： from dask.distributed import Client
client = Client('scheduler_host:scheduler_port&#
浏览 25提问于2020-03-27得票数 1
回答已采纳
我对使用Google云和云服务器非常陌生，而且我被困在了一个非常基本的问题上。
我想从互联网服务器(经许可)批量下载大约60,000个csv.gz文件。我编译了一堆curl脚本，这些脚本被输送到一个gsutil中，然后上传到一个.sh文件中，如下所示。
curl http://internet.address/csvs/file1.csv.gz | gsutil cp - gs://my_bucket/file1.csv.gz
curl http://internet.address/csvs/file2.csv.gz | gsutil cp - gs://my_bucket/file2.cs
浏览 1提问于2020-09-29得票数 3
回答已采纳
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理，而不是使用sql。我尝试使用dask/panda/python将数据加载到本地mac的dask数据帧中，进行转换，然后将数据推送回bigquery，以便其他总线可以使用它。将数据推送回bigquery需要超过3个小时。有没有其他方式，或者谷歌云服务，我可以利用？
浏览 2提问于2019-03-30得票数 0
我正在为我的ML项目使用google cloud datalab。我的一个数据在bigquery表中，该表有数百万条记录(文本数据)，其中有许多列。我从bigquery表创建了一个pandas数据帧，将其转换为dask数据帧(具有5个分区)，并执行了数据辩论。 现在，我有了这个dask数据帧，我想将其存储在bigquery中，或者将其转换为拼接文件并将其存储在我的gcp存储中。如果能听到来自社区的选择，那就太好了。谢谢。
浏览 16提问于2019-02-14得票数 0
我有一个存储在GCS中的.sh文件。我正在尝试通过google cloud shell调度.sh文件。
我可以使用gsutil cat gs://miptestauto/baby.sh | sh命令运行相同的文件，但无法对其进行调度。
以下是我用于调度文件的代码：
16 17 * * * gsutil cat gs://miptestauto/baby.sh | sh
当我使用crontab -l时，它将消息显示为"auto saving..done“，但不显示计划的作业
# contents of .sh file
bin/bash
bq load --source_format=
浏览 2提问于2017-10-31得票数 2
回答已采纳
1回答
所以我有两个应用程序引擎项目。
在我的一个应用程序引擎中，我有一个google云存储组件。通常，为了连接到那些云存储文件，我只需要：
<?php
use google\appengine\api\cloud_storage\CloudStorageTools;
$document_data = "123";
$object_url = 'gs://{bucket}/FOLDER/file.ext';
$options = stream_context_create(['gs'=>['acl'=
浏览 5提问于2015-02-02得票数 1
回答已采纳
我已经在Google云上部署了一个Spring-boot应用程序。这是一个web应用程序，其中JS客户端从摄像头捕获帧并将其发送回服务器。服务器处理这些图像并将它们存储在一个目录中。这个应用程序在本地和Google云上都运行得很好。但是在云上，我找不到应用程序创建的目录。你能给我一个可行的解决方案吗？
浏览 14提问于2020-08-07得票数 0
回答已采纳
1回答
我正在尝试使用dask和Dask手册中列出的dask.dataframe.to_csv(datframe_name, file etc..)命令导出数据帧：
我使用dask是因为原始的csv文件非常大(20 to )，并且使用pandas读取文件非常慢。
但是，每次我尝试导出数据帧时，都会得到以下错误：
ValueError: Mismatched dtypes found in `pd.read_csv`/`pd.read_table`.
+----------+--------+----------+
| Column | Found | Expected |
+---------
浏览 2提问于2019-10-16得票数 0
我想知道在使用gsutil时，是否有可能编写不带标题(即不带列名的行)的Google Storage对象(特别是csv文件)。
目前，我可以做到以下几点：
gsutil compose gs://bucket/test_file_1.csv gs://bucket/test_file_2.csv gs://bucket/test-composition-files.csv
但是，我将无法在谷歌BigQuery中摄取test-composition-files.csv，因为compose盲目地附加了文件(包括列名)。
一种可能的解决方案是将文件下载到本地并使用pandas进行处理，但这对于大文件
浏览 0提问于2019-10-23得票数 3
我目前有31个.csv文件(都具有相同的结构- 60个cols宽，大约5000行深)，我试图使用'FOR‘循环将它们从谷歌存储桶读取到1个熊猫数据帧中，6分钟后我一直收到’超时‘错误。
在做了一些测试之后，我注意到我可以通过它一次读取一个.csv文件，但是一旦我引入了2个或更多，我就得到了超时错误。这让我觉得问题出在我的代码上，而不是数据的大小。
代码如下(我应该在for循环的任何阶段使用pd.concat吗？)如果能帮上忙，我们将不胜感激
def stage1eposdata(data, context):
from google.cloud import storag
浏览 0提问于2019-09-18得票数 0
我正在使用一个docker环境( docker -compose)，其中包含一个jupyter笔记本docker图像和一个postgres docker图像，用于运行ML模型并使用google云存储来存储模型工件。将模型存储在云存储上很好，但我无法在MLFlow UI中显示它们。我见过类似的问题，但没有一个解决方案使用google云存储作为工件的存储位置。错误消息显示以下Unable to list artifacts stored under <gs-location> for the current run. Please contact your tracking serve
浏览 4提问于2020-09-03得票数 0
根据，Google App Engine上的可能会使用一些可选参数来调用，如所包含的示例所示...
files.gs.listdir('/gs/mybucket',prefix='/mysubdir/backups', max_keys=20)
然而，当我尝试调用它而不是普通的Google云存储路径(它工作得很好)时，我得到了这样的错误...
TypeError: listdir() got an unexpected keyword argument 'prefix'
如你所愿，这是回溯。
Traceback (most recent call
浏览 4提问于2012-09-17得票数 1
1回答
从gcs对象卡住的火花读取作业
、、、、
我试图在本地读取一个带有火花作业的对象。我以前在本地创建了另一个星火作业。在查看日志时，我没有发现什么奇怪的地方，而在星星之火UI中，作业只是被卡住了。
在启动读取作业之前，我将按以下方式更新spark配置：
val hc = spark.sparkContext.hadoopConfiguration
hc.set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem")
hc.set("fs.AbstractFileSystem.gs.impl",
浏览 7提问于2021-12-09得票数 0
我正在开发一个应用程序的本地副本。当我尝试上传一个文件时，突然收到一个文件未找到的异常。我使用的是应用程序引擎和google云存储。删除和重建本地数据存储区无济于事。
Jun 2, 2013 1:26:48 PM com.google.apphosting.utils.jetty.JettyLogger warn
WARNING: /_ah/upload/ahJjbGlxdXJlYXBwLXN0YWdpbmdyGwsSFV9fQmxvYlVwbG9hZFNlc3Npb25fXxgnDA:
java.io.FileNotFoundException: C:\Users\XX\E
浏览 1提问于2013-06-03得票数 2
回答已采纳
1回答
我使用Google Cloud Functions作为后台函数来监听GS存储桶上传入的CSV文件，然后触发Cloud SQL Import (MySQL)。
我能够成功地测试这个流，并看到加载到Cloud SQL中的CSV文件数据。
但是，我想从安全的角度验证这种方法，并探索是否有其他更好的选择。
我的理解是，由于没有为云函数(backgrounder )公开http端点，因此不应该存在安全漏洞。
我想从其他人那里验证这一点，并标记是否有任何我需要注意的具体问题。
浏览 0提问于2018-07-18得票数 0
我有一个从csv文件创建的dask数据帧，len(daskdf)返回18000，但当我执行ddSample = daskdf.sample(2000)时，我得到错误
ValueError: Cannot take a larger sample than population when 'replace=False'
如果数据帧大于样本大小，我可以不替换样本吗？
浏览 1提问于2016-08-27得票数 18
回答已采纳
2回答
我有几份文件。最大的一个大约有8700万行。我还有其他的，大约500K行。我正在做的一部分是加入他们，当我试图与熊猫一起做这件事时，我得到了内存问题。所以我一直在使用Dask。执行所有的连接/应用是非常快的，但是即使我知道结果数据帧只有26行，也需要5个小时才能写出csv。
我读到一些连接/应用对于Dask来说并不是最好的，但这是否意味着使用Dask会更慢？因为我的速度非常快。我在数百万行上进行的所有计算/操作只需要几秒钟。但这需要永远写出来。有什么想法可以加速这个过程/为什么会发生这种情况？
浏览 27提问于2020-05-05得票数 0
下面是我的例子，我想将多个文件复制到google云存储中的不同位置，例如：
gsutil -m cp /local/path/to/d1/x.csv.gz gs://bucketx/d1/x.csv.gz
gsutil -m cp /local/path/to/d2/x.csv.gz gs://bucketx/d2/x.csv.gz
gsutil -m cp /local/path/to/d3/x.csv.gz gs://bucketx/d3/x.csv.gz
...
我有超过10k这样的文件，通过gsutil的单独调用来执行它们看起来真的很慢，而且在建立网络连接上浪费了很多时间。请问最有效的
浏览 2提问于2016-11-20得票数 0
回答已采纳
我在谷歌云平台上运行了一个自然语言AutoML文本分类模型。我用来训练模型的数据可以导出到存储桶中的csv文件。该文件有3列(1.训练/验证/测试，2. gs://对实际内容的引用，3.预测结果/标签)，如下面的示例所示。
TRAIN 网站
我的问题是如何从gs://引用中获得实际内容，这样我就可以查看每一行，以确定预测的标签是否正确。输出应该是包含字符串内容的csv文件，而不是gs://引用。
浏览 1提问于2019-06-05得票数 0
我有一些达斯克的数据。我想用它做一些操作，而不是保存到csv并打印它的len。
据我所知，下面的代码将使dask计算两次df，对吗？
df = dd.read_csv('path/to/file', dtype=some_dtypes)
#some operations...
df.to_csv("path/to/out/*")
print(len(df))
是否有可能避免两次计算？
upd。当我使用@mdurant的解决方案时会发生这种情况
但实际上少了6倍的行
浏览 1提问于2018-07-30得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
