Julia从s3 csv文件加载数据帧
Julia是一种高性能的编程语言，适用于科学计算和数据分析领域。它具有灵活的语法和强大的计算能力，可以处理大规模数据集和复杂的计算任务。
s3是Amazon Simple Storage Service的缩写，是一种云存储服务，提供了可扩展的、高可用性的对象存储解决方案。用户可以将各种类型的数据文件存储在s3中，并通过简单的API进行访问和管理。
CSV文件是一种常见的数据存储格式，它以逗号分隔不同的字段，并以文本形式存储数据。CSV文件通常用于存储结构化数据，如表格数据。
数据帧（DataFrame）是一种数据结构，类似于表格或电子表格，用于存储和操作二维数据。数据帧可以包含不同类型的数据，如数字、字符串和日期。它提供了方便的方法来处理和分析数据。
在Julia中，可以使用相应的库或包来加载s3中的CSV文件并创建数据帧。以下是一个示例代码：
using CSV
using DataFrames
# 从s3加载CSV文件
df = CSV.read("s3://bucket-name/path-to-file.csv", DataFrame)
# 对数据帧进行操作和分析
# ...
# 推荐的腾讯云相关产品和产品介绍链接地址
腾讯云提供了对象存储服务（COS），可以用于存储和管理各种类型的数据文件。您可以通过以下链接了解更多关于腾讯云COS的信息：
https://cloud.tencent.com/product/cos
在Julia中，您可以使用腾讯云COS的API或SDK来加载和处理存储在COS中的CSV文件。需要注意的是，以上代码仅为示例，实际的代码可能会根据具体的情况和需求进行调整。此外，腾讯云COS仅作为示例推荐，您可以根据自己的需求选择适合的云存储服务提供商。
相关·内容
1回答
对于这个简单的用例，我很难在网上找到一个可以遵循的例子： 将CSV文件从s3对象位置加载到julia DataFrame。 以下是我尝试过的方法，但没有奏效： using AWSS3, DataFrames, CSV
filepath = S3Path("s3://muh-bucket/path/data.csv")
CSV.File(filepath) |> DataFrames # fails
# but I am able to stat the file
stat(filepath)
#=
Status( mode = -rw-r
浏览 17提问于2021-09-10得票数 1
1回答
我有两个CSV文件，一个大约60 GB，另一个在S3中大约是70 GB。我需要将这两个CSV文件加载到pandas数据帧中，并对数据执行连接和合并等操作。
我有一个EC2实例，它有足够的内存供两个数据帧一次加载到内存中。
从S3到pandas数据帧读取这么大的文件的最佳方式是什么？
另外，在我对数据帧执行了所需的操作之后，输出的数据帧应该被重新上传到S3。
将巨大的csv文件上传到S3的最佳方式是什么？
浏览 5提问于2020-05-06得票数 0
1回答
我来找你，看看你是否有一个专业的技巧，将胶水作业生成的最新csv文件加载到S3存储桶中，以便加载到jupyter笔记本中。
我使用此命令从S3文件夹加载我的csv。是否有选项仅选择具有上次修改的csv文件的文件？
df = sqlContext.read.csv(
's3://path',
header=True, sep=","
)
以前，我倾向于将动态数据帧转换为经典数据帧，以覆盖Glue作业生成的旧文件。
这不可能通过生成DyF来实现
谢谢
浏览 10提问于2019-11-05得票数 0
回答已采纳
我是AWS环境的新手，正在尝试解决数据流的工作方式。在成功地将CSV文件从S3上传到SageMaker notebook实例后，我坚持执行相反的操作。 我有一个数据帧，并想上传到S3存储桶作为CSV或JSON。我拥有的代码如下： bucket='bucketname'
data_key = 'test.csv'
data_location = 's3://{}/{}'.format(bucket, data_key)
df.to_csv(data_location) 我想既然我在加载的时候成功地使用了pd.read_csv()，那么使用df.t
浏览 24提问于2019-06-28得票数 7
回答已采纳
我注意到，当将大型数据帧保存为CSV时，内存分配比内存中数据帧的大小(或磁盘上CSV文件的大小)高出一个数量级，至少是10倍。为什么会这样？有没有办法防止这种情况发生？Ie有没有一种方法可以将数据帧保存到磁盘上，而不使用比实际数据帧更多的内存？ 在下面的示例中，我生成了一个具有一个整数列和10m行的数据帧。它重76MB，但写入CSV会分配1.35 It。 using DataFrames, CSV
function generate_df(n::Int64)
DataFrame!(a = 1:n)
end julia> @time tmp = generate_df2(100
浏览 9提问于2021-01-06得票数 5
回答已采纳
我目前正在使用python pandas，我想知道是否有一种方法可以将熊猫的数据输出到julia Dataframes中，反之亦然。(我想你可以用Pycall从Julia调用python，但我不确定它是否能处理数据帧)有没有办法从python调用Julia并让它接收panda的数据帧？(不保存为其他文件格式，如csv)
什么时候使用Julia Dataframes比使用Pandas更有优势，除了非常大的数据集和运行许多循环的东西(比如神经网络)？
浏览 0提问于2014-04-27得票数 16
回答已采纳
如何将S3存储桶中的大量文件加载到单个PySpark数据帧中？我在一个EMR实例上运行。如果文件是本地的，我可以使用SparkContext textFile方法。但是当文件在S3上时，我如何使用boto3加载多个不同类型的文件(CSV，JSON，...)转换成一个单独的数据帧进行处理？
浏览 0提问于2018-05-29得票数 3
回答已采纳
2回答
如果csv文件的每一行包含不同数量的字符串，我如何将数据从csv文件加载到R中？我需要将其合并到一个变量中(例如，列表列表？)。文件中的数据如下所示(我不知道一行中元素的最大数量)：
Peter; Paul; Mary
Jeff;
Peter; Jeff
Julia; Vanessa; Paul
浏览 3提问于2014-03-12得票数 2
1回答
我在Spark 2.4中有两个数据帧，它们的大小几乎相同。每个都有大约4000万条记录。一种是通过简单地从S3加载数据帧生成的，另一种是加载一堆数据帧并使用sparkSQL生成大型数据帧。然后我将这两个数据帧多次连接到多个数据帧中，并尝试将它们作为CSV写入S3……然而，我看到我的写入时间超过了30分钟，我不确定它是否正在重新评估数据帧，或者我是否需要更多CPU来完成此任务。尽管如此，我还是希望有人能对如何优化这些写入时间提供一些建议。
浏览 12提问于2020-05-14得票数 0
回答已采纳
我正在使用Python从web上抓取数据。我想用这些数据在Julia中运行计算。
有没有可能在Julia中调用函数并返回其结果，或者我只是导出到CSV并以这种方式加载数据会更好？
浏览 2提问于2017-10-09得票数 3
1回答
我正在从s3存储桶中读取大量文件。 在读取这些文件之后，我想对数据帧执行过滤操作。 但在执行过滤操作时，会再次从s3存储桶下载数据。如何避免数据帧重新加载？ 在过滤操作之前，我已经尝试过缓存和/或持久化数据帧。但是，数据还是从s3存储桶中以某种方式再次被拉了出来。 var df = spark.read.json("path_to_s3_bucket/*.json")
df.persist(StorageLevel.MEMORY_AND_DISK_SER_2)
df = df.filter("filter condition").sort(col("
浏览 6提问于2019-09-05得票数 0
我刚刚找到了这个包FreqTables，它允许人们从DataFrames (我正在使用DataFrames.jl)中轻松地构建频率表。 下面几行代码给我返回了一个频率表： df = CSV.read("exampledata.csv")
freqtable(df,:col_name) 我的问题是如何再次将输出转换为数据帧。频率表函数的输出似乎是一个NamedArray，我无法将其转换为数据帧。
浏览 21提问于2020-10-20得票数 2
回答已采纳
我是AWS和lambda的新手，所以如果这是一个愚蠢的问题，我道歉。我希望能够做的是将电子表格加载到s3存储桶中，基于上传触发lambda，让lambda将csv加载到s3中并使用它进行操作，然后将数据帧写回csv到第二个csv存储桶中。
我读了很多关于压缩python脚本以及所有的库和依赖项并上传的内容，这是一个单独的问题。我还了解了如何在将文件上传到S3存储桶并自动将该文件复制到第二个s3存储桶时触发lambda。
我找不到任何信息的部分是中间部分，将文件加载到pandas中并在pandas中操作文件都是在lambda函数中完成的。
第一个问题:这样的事情有可能发生吗？第二个问题:如何从s
浏览 2提问于2018-01-17得票数 5
1回答
获取spark数据帧写入的文件名
、、、、
我使用下面的代码将spark数据帧写入s3存储桶中。
spark_df. \
coalesce(1). \
write. \
option("header", "true"). \
mode("overwrite"). \
csv(bucket_name + "/" + bucket_path + "/csv")
在这里，我想要获取正在写入s3 bukcet的文件的名称，并希望将该文件用作后面代码部分的一部分。
我已经解决了上面的问题，因为我们不能在将数据帧写入s3存储桶时给出文件名。
我正在考虑迭代s3存储桶，
浏览 0提问于2018-06-18得票数 1
2回答
我说我需要用Julia语言处理65,000个.csv文件。 目标是对数据集执行基本统计。 我有一些连接所有数据集的方法 #1 - set a common index and leftjoin() - perform statistics row wise
#2 - vcat() the dataframes on top of each other - vertically stacked use group by 不管怎样，最终的数据帧都非常大！并在处理过程中变慢 有没有一种有效的方法来做到这一点？ 我想执行#1或#2，然后将连接操作一分为三，比方说在20,000个连接后保存到.csv
浏览 15提问于2021-08-09得票数 2
回答已采纳
2回答
将CSV文件读入字典
、、、
我已经创建了一个字典来存储我的结果。我的代码将它们存储在这个字典中，并将其保存到CSV文件中。然而，当我试图读取这个CSV文件时，我似乎只能将它作为一个DataFrame来读取。但是我的代码不适用于DataFrame，我需要'dictionairy‘格式的CSV文件。
因此，我必须能够直接下载CSV文件作为一个数据集。
或
将DataFramefile更改为dict文件。
澄清：
这就是我创建Dict时的样子，只是一个简单的字符串作为键输入，并分配给它一个值：
Dict{String,Any} with 2 entries:
"0.1_10_8" => 13.2
浏览 1提问于2020-11-23得票数 2
回答已采纳
1回答
CSV.File忽略选项
、、、
我对朱莉娅的熊猫有意见。看看这段代码。我正在尝试读取csv并将其转换为pandas数据帧。但该标头未被接受。好的，我在google上搜索选项并将header设置为1，但它不起作用。我还设置了手动数据类型，因为前两个应该是Float64，最后一个应该是Int。我没有收到错误消息，但是如果我设置了类型manual，所有的列都是浮点型。这不是我想设置的。也许这是julia初学者的一个错误。 julia> using Pandas
julia> using CSV
julia> ofenbelegung_df = CSV.File("dichte.csv
浏览 16提问于2021-01-02得票数 1
回答已采纳
2回答
我有一个数据帧，它有一些多行的观察：
+--------------------+----------------+
| col1| col2|
+--------------------+----------------+
|something1 |somethingelse1 |
|something2 |somethingelse2 |
|something3 |somethingelse3 |
|something4 |somethingelse4 |
|
浏览 0提问于2017-09-25得票数 7
3回答
我想要读取位于s3存储桶中的csv文件，使用pyarrow将其转换为镶木到另一个存储桶。我在从s3读取csv文件时遇到问题。我尝试读取以下代码，但failed.Does pyarrow支持从s3读取csv？ from pyarrow import csv
s3_input_csv_path='s3://bucket1/0001.csv'
table=csv.read_csv(s3_input_csv_path) 抛出错误"errorMessage"：“无法打开本地文件's3://bucket1/0001.csv'，错误:没有这样的文件或目录”
浏览 19提问于2019-12-24得票数 2
我想从s3 (s3://test-bucket/testkey.csv)读取一个csv文件，作为使用pyspark的spark数据帧。我的集群运行在spark 2.4上。 我不需要带任何infer_schema，凭据a.o.t.考虑到。并且csv文件不会作为粘合表被爬行。 你可以粘贴你的pyspark代码，这是基于spark会话，并转换为csv到spark数据帧在这里？ 在此先致谢并致以最良好的问候
浏览 16提问于2019-10-07得票数 3
3回答
我需要用python中的boto3从S3存储桶中读取多个csv文件，最后在pandas中将这些文件合并到单个数据帧中。
我能够从以下python脚本中读取单个文件
s3 = boto3.resource('s3')
bucket = s3.Bucket('test-bucket')
for obj in bucket.objects.all():
key = obj.key
body = obj.get()['Body'].read()
下面是我的道路
files/splittedfiles/Code-345678
在Co
浏览 2提问于2018-10-17得票数 6
我试图使用PlutoUI库的Filepicker元素
md""" Upload a Comma Separated Values (.csv) file to use: $(@bind user_csv FilePicker()) """
允许用户上传CSV文件进行处理。不幸的是，没有检测到数据类型，数据被表示为一维Int64数组：
Dict("name"=>"mtg_binder.csv", "data"=>Int64[ 81 117 97 110 116 105 116 121 4
浏览 1提问于2020-09-25得票数 3
回答已采纳
我知道，可以将S3中的文件(例如csv、parquet或json)中的数据加载到雪花中，方法是创建一个具有文件格式的csv类型的外部阶段，然后将其加载到具有1列VARIANT类型的表中。但是，这需要一些手动步骤才能将数据转换为正确的类型来创建一个可用于分析的视图。
是否有一种方法可以从S3自动执行此加载过程，以便从CSV文件中推断表列数据类型，或者通过其他方式指定？(类似于如何在Google BigQuery中使用推断表模式从GCS中的csv文件中创建表)
浏览 2提问于2021-03-01得票数 1
回答已采纳
我是朱莉娅的新手，我一直在寻找一种只从空格分隔的文件中加载特定列的方法；CSV的github页面上给出的解决方案似乎不起作用()，在Julia1.0.1和1.3.1上都不起作用。
这是一个名为test.txt的示例输入文件
A b c.p
1 2 3
4 5 6
julia> using CSV, Tables
julia> df = CSV.File(inputfile, delim=" ", header=1, type=String) |> select(:a, :b) |> DataFrame
ERROR: UndefVarErr
浏览 1提问于2020-04-21得票数 4
回答已采纳
3回答
只有在公开文件后将"anon“参数更改为True时，才能加载数据。 df = dd.read_csv('s3://mybucket/some-big.csv', storage_options = {'anon':False}) 由于显而易见的原因，不建议这样做。如何安全地从S3加载数据？
浏览 25提问于2019-01-14得票数 4
回答已采纳
3回答
在Julia中，使用CSV.jl可以从.csv文件中读取DataFrame： using CSV
df = CSV.read("data.csv", delim=",") 但是，如何才能将CSV文件读入Vector{Float64}数据类型？
浏览 23提问于2019-01-29得票数 6
回答已采纳
我正在尝试用Scala或python自动化我的spark代码，这就是我想要做的
s3存储桶中的文件格式为filename_2016_02_01.csv.gz
从s3存储桶中，spark代码应该能够选择文件名并创建数据帧
example Dataframe=sqlContext.read.format("com.databricks.spark.csv").options(header="true").options(delimiter=",").options(inferSchema="true").load("s3://
浏览 0提问于2016-02-04得票数 1
我正在使用talend bulk execution将数据从s3加载到snowflake。Talend tFileArchive将文件转换为gzip格式，file.csv.gz并上传到s3存储桶。通过talend批量组件执行的副本如下所示。它不会抛出错误或其他东西，但也不会加载数据。如果我尝试在没有zip的情况下加载csv文件，它可以正常工作。
File: file.csv.gz
Copy into table
from 's3://bucket/'
credentials=(aws_key_id='' aws_secret_key='
浏览 3提问于2020-07-31得票数 0
1回答
我注意到使用CSV.read加载CSV文件相当慢。作为参考，我附上了一个时间基准的例子： using CSV, DataFrames
file = download("https://github.com/foursquare/twofishes")
@time CSV.read(file, DataFrame)
Output:
9.450861 seconds (22.77 M allocations: 960.541 MiB, 5.48% gc time)
297 rows × 2 columns 这是一个随机数据集，与Julia相比，这种操作的python替代编译时
浏览 29提问于2021-01-11得票数 6
回答已采纳
我正尝试在Redshift中执行复制查询，以便加载存储在亚马逊网络服务S3路径(假设为s3://bucket/path/csv/)中的不同.csv文件。该路径中的.csv文件在其文件名中包含日期(即：s3://bucket/path/csv/file_20200605.csv，s3://bucket/path/csv/file_20200604.csv，...)因为它们包含的数据对应于特定日期的数据。我的问题是(由于加载文件的顺序很重要)，Redshift会按字母顺序加载这些文件吗？
浏览 1提问于2020-06-05得票数 0
我正在寻求一些建议加载csv文件从s3存储桶到neo4j graphdb。在S3存储桶中，文件是csv.gz格式的。我需要将它们导入到ec2实例中的neo4j图形数据库中。
1. Is there any direct way to load csv.gz into neo4j db without unzipping it ?
2. can I set/add s3 bucket path into neo4j.conf file at neo4j.dbms.directory which is by default neo4j/import ?
请帮助我提出一些想法，从S3加载文件
浏览 0提问于2019-09-02得票数 2
1回答
我是这个数据库自动加载器的新手，我们有一个需求，我们需要通过数据库自动加载器处理从亚马逊s3到增量表的数据。我正在测试这个自动加载器，所以我遇到了重复问题，即如果我上传一个名称为emp_09282021.csv的文件，该文件具有与emp_09272021.csv相同的数据，那么它没有检测到任何重复，它只是插入它们，所以如果我现在在emp_09272021.csv文件中有5行，那么当我上传emp_09282021.csv文件时，它将变成10行。
下面是我尝试过的代码：
spark.readStream.format("cloudFiles") \
.option("c
浏览 7提问于2021-09-28得票数 2
1回答
从字符串转换为熊猫数据
、、、、
我正在用下面的代码从AWS S3导入一个csv文件：
file = s3.get_object(Bucket = bucket, Key = key)
rows = file['Body'].read().decode('utf-8').splitlines(False)
我得到以下格式的输入：
data = "a，b，c，d，\"x，y\"，e，f"
我希望输出的格式如下：
>>>`>>> df
0 1 2 3 4 5 6
0 a b c d x,y e f
浏览 1提问于2018-11-13得票数 3
回答已采纳
我正在尝试从AWS S3读取一个大型压缩CSV文件，并在Sagemaker中将其转换为熊猫数据帧。有没有直接和干净的方法来做这件事？
浏览 21提问于2021-04-16得票数 1
在下面的示例中，我似乎可以从BigQuery中将数据加载到S3中:这一次，我希望在S3中加载压缩文件。不是CSV文件。如果是这样的话，我如何从BigQuery从S3加载数据？
示例
bq mk \
--transfer_config \
--data_source=amazon_s3 \
--display_name=load_from_s3 \
--target_dataset=test_dataset_s3 \
--params='{
"data_path":"s3://xxx-test01",
"destination
浏览 11提问于2022-02-18得票数 1
1回答
我正在使用一个循环读取一些csv文件，所有文件都有38列。我将它们全部添加到一个列表中，然后连接/创建一个数据帧。我的问题是，尽管所有这些csv文件都有38列，但我的结果数据帧最终却有105列。
截图如下：
如何才能使结果数据帧具有正确的38列，并将所有行堆叠在一起？
import boto3
import pandas as pd
import io
s3 = boto3.resource('s3')
client = boto3.client('s3')
bucket = s3.Bucket('alpha-enforcement-data
浏览 38提问于2019-06-26得票数 0
回答已采纳
我希望使用来自MySql桶的文件将CSV文件加载到s3数据库表中。我可以使用以下代码从本地驱动器加载该文件
using (MySqlConnection myConn = new MySqlConnection("Server = localhost; Database = aaaa; Uid = bbbb; Pwd = ccc"))
{
MySqlBulkLoader loader = new MySqlBulkLoader(myConn);
lo
浏览 9提问于2022-04-14得票数 0
回答已采纳
1回答
我试图从python胶水动态帧中保存csv文件。下面是我的密码-
glueContext.write_dynamic_frame.from_options(
frame=splender_df,
connection_type="s3",
connection_options={"path": 's3://splender_df/'},
format="csv",
但是它正在创建20个文件，其中没有一个文件具有csv扩展名(.csv)。如何在文件名中只有一个扩展名为.csv的文件。
浏览 6提问于2022-01-25得票数 0
回答已采纳
我正在尝试将csv文件加载为数据帧
import pandas as pd
import numpy as np
# loading csv files
map1 = pd.read_csv('data001.csv')
print(map1)
但是，数据帧的列名是从第一个数据帧的行*.csv文件值提供的。我怎么才能得到一个列名按顺序编号的dataframe呢？
谢谢!
浏览 1提问于2018-04-20得票数 0
1回答
我生成一个数据帧，将数据帧作为CSV文件写入S3，并对S3存储桶中的CSV进行select查询。根据查询和数据，我希望看到打印'4‘和'10’，但我只看到'4‘。由于某种原因，S3看不到'10‘。 它可以很好地在日期之间进行过滤。 import pandas as pd
import s3fs
import boto3
# dataframe
d = {'date':['1990-1-1','1990-1-2','1990-1-3','1999-1-4'], 'speed
浏览 27提问于2020-04-25得票数 1
回答已采纳
我正在尝试将数据帧导出到S3存储桶的.csv文件中。 不幸的是，它保存在拼图文件中。 谁能让我知道，如何得到出口火花源数据帧到.csv文件。 我尝试了下面的代码: predictions.select("probability").write.format('csv').csv('s3a://bucketname/output/x1.csv') 它抛出这个错误: CSV数据源不支持结构，values:array>数据类型。 感谢任何人的帮助。 注意:我的spark设置是基于zepplin的。 谢谢，Naseer
浏览 15提问于2019-02-11得票数 2
回答已采纳
我有一个如下所示的dask数据帧：
import dask.dataframe as dd
df = dd.read_csv('s3://...')
如何从该数据帧中获取期货列表？
浏览 11提问于2018-02-15得票数 0
csv文件位于S3桶中，我使用camel aws来使用csv文件。但是，当csv文件被加载到本地时？字符被伪装成第一列。
例如，原始文件名、姓氏brian、xi。
在加载到本地后?名，姓氏brian，xi。
我已经做过这个链接的研究：，然而，它似乎不适用于骆驼。
如何从s3中读取csv文件，使用aws-s3从s3桶(如“Exchanges3File= consumer.receive( s3Endpoint )”)中使用csv文件，其中s3Endpoint=s3
浏览 3提问于2019-11-13得票数 0
我正在使用SparkR来计算CSV文件(位于S3中)中数值列的分位数。我能够解析CSV文件，打印文档并访问列。但不确定如何生成分位数。任何帮助都将不胜感激。
PS: R具有内置函数，可以在内置数据帧(而不是SparkR数据帧)上计算分位数。
浏览 0提问于2015-07-20得票数 0
我可以使用具有不同文件类型的多个文件格式将数据加载到同一个雪花表中，我读取了这个，但它没有显式指定。
有些文件是以CSV格式从外部阶段(s3)加载到雪花中的，但是这个表还有另一个数据源，它使用的是拼花文件格式。
另一个要求是卸载整个数据(CSV )。+拼花)进入一个外部阶段(s3)，它将跟随单个文件类型(拼图)。
浏览 4提问于2020-06-10得票数 0
回答已采纳
2回答
我正在尝试从亚马逊网络服务的s3存储桶中加载pandas中的csv文件。Boto3似乎没有提供从子文件夹加载文件的功能。假设我在s3中有以下路径:bucket1 1/bucket1 files1/file1.csv
如何指定如何加载file1.csv？我知道s3没有目录结构。
import boto3
import pandas as pd
s3 = boto3.client('s3')
obj = s3.get_object(Bucket='/bucket1/creditdefault-ff.csv')
df = pd.read_csv(obj['
浏览 2提问于2017-11-29得票数 2
如果我像这样创建一个数据帧：
val usersDF = spark.read.csv("examples/src/main/resources/users.csv")
spark实际上是将数据(从csv文件)加载(/copy)到内存中，还是作为分布式数据集加载到底层文件系统中？
我之所以这样问，是因为在加载df之后，底层文件数据中的任何更改都不会反映在对dataframe的查询中。(当然，除非通过调用上述代码行再次重新加载数据帧。
我在Databricks notebooks上使用交互式查询。
浏览 1提问于2019-10-25得票数 2
我们使用DMS从SQL Server中获取数据并将其加载到S3存储桶中，之后数据最终使用Snowpipe加载到Snowflake DB中进行完整加载。
现在，为了让雪花管道知道S3存储桶中有新的数据，文件名需要与上一个不同。我尝试了所有可用的任务设置选项(DROP_AND_CREATE、DO_NOTHING、TRUNCATE)，以使文件名不同，但仍然不起作用。它将文件名加载为LOAD00000001.csv
在文档中，它显示文件名将是递增的(例如，LOAD00000001.csv，LOAD00000002.csv.以此类推)，但这并没有发生。这就是为什么雪管无法注册更改的原因。
有人能帮帮忙
浏览 0提问于2018-08-16得票数 1
1回答
在Julia中有没有办法在CSV.read上实现多线程？在Parallelism for reading a large file in Julia中提供了一个读取大文件的好例子。但是，由于我必须频繁地更改我的数据集，因此这些方法可能不适用。 using CSV
file = ("C:\\Users\\User\\Desktop\\Datasets\\X_train_sat4.csv")
@time df = CSV.read(file, DataFrame)
Output:
69.469112 seconds (6.29 M allocations: 9.767 GiB,
浏览 37提问于2021-01-19得票数 3
回答已采纳
1回答
好的，我想将数据从亚马逊s3加载到一个动态框架中，但限制它的日期范围。我的数据存储在s3的拼图文件中，格式如下：
s3://bucket/all-dates/year=2021/month=4/day=13/
s3://bucket/all-dates/year=2021/month=4/day=14/
s3://bucket/all-dates/year=2021/month=4/day=15/
s3://bucket/all-dates/year=2021/month=4/day=16/
目前我将数据加载到我的脚本中，如下所示：
ds1 = glueContext.create_dynam
浏览 0提问于2021-04-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
