如何根据列值组合对S3输出文件进行分区？
在云计算领域，S3是亚马逊AWS提供的一种对象存储服务，用于存储和检索大量数据。对于需要根据列值组合对S3输出文件进行分区的需求，可以通过以下步骤实现：
- 确定需要进行分区的列：首先，确定需要根据哪些列的值进行分区。这些列的值将决定输出文件的分区方式。
- 数据预处理：在将数据上传到S3之前，可以对数据进行预处理，以便将需要分区的列值提取出来。这可以通过使用各种编程语言和工具来实现，例如Python的pandas库或Apache Spark等。
- 分区策略：根据需要分区的列值，制定合适的分区策略。分区策略可以基于列值的范围、特定的值或其他条件进行定义。
- 创建分区目录结构：在S3存储桶中创建相应的目录结构来存储分区文件。目录结构可以根据分区策略来设计，通常采用层次化的结构，以便更好地组织和管理数据。
- 输出文件分区：在数据处理过程中，根据列值组合将数据写入相应的分区目录。可以使用AWS提供的S3 API或SDK来实现文件的写入操作。
通过以上步骤，可以根据列值组合对S3输出文件进行分区。这样的分区方式可以提高数据的查询效率，使得在后续的数据分析和处理过程中更加高效和灵活。
腾讯云提供了类似的对象存储服务，称为腾讯云对象存储（COS）。您可以使用腾讯云COS的分区功能来实现对S3输出文件的分区。具体的产品介绍和使用方法可以参考腾讯云COS的官方文档：腾讯云对象存储（COS）。
相关·内容
我的理由是：
我将许多csv文件上传到S3中，并在雅典娜中定义了一组外部表，以访问S3桶下的相应文件夹。随着数据量的增加，我的老板希望对数据进行分区，以节省资金和提高性能。
我的问题是：
根据文档，分区数据将采用Hive格式。所以我所有的csv文件都会变成Hive格式？
S3的总数据量将随着csv和hive格式文件的存储而增加？
在不需要更改文件格式( csv到单元)的情况下，分区仅仅意味着根据特定的csv列将数据放置在不同的子文件夹或子db中？但是如果是这样的话，当我基于两个csv列设置2个分区时，数据会因为分区而重复吗？
对于AWS来说，不知道如何在雅典娜进行分区。非常感谢
浏览 0提问于2018-01-17得票数 1
回答已采纳
我有一个spark应用程序，它将处理后的输出转储到S3存储桶中。我的输出数据帧在pyspark中的分区数是300。我有列"id“(大约250个唯一值)，我用它来用partitionBy写文件。因此，我得到了大约75K个文件，总和为11 to。
在我的spark应用程序中，将此数据写入S3的所有阶段都已完成，但从_temp文件夹中移动文件仍在进行中。这是非常缓慢的，按照目前的速度，这将需要一天以上的时间。这里的根本原因是什么?如何优化它？
浏览 1提问于2020-06-05得票数 0
有一个Foo对象的JavaRDD。而且，Foo有一个日期列。
class Foo {
String id;
String date;
}
这是Foo对象的列表，
1, 2019-08-01
2, 2019-08-01
3, 2019-08-02
4, 2019-08-02
5, 2019-08-02
我想以这种方式在s3中保存序列化的Foo对象，即它们在s3中是按日期列分区的。
s3://foo/2019-08-01/ ==> contains files with Foo objects with ids 1,2
s3://foo/2019-08-02/ ==> cont
浏览 17提问于2019-08-08得票数 0
2回答
我需要按键获取行(例如，状态是“活动的”)，但需要对多个列进行排序。
我正在使用分页，这就是为什么我不能在从DynamoDB中获取结果之后对结果进行排序。(仅供参考，我使用的是无服务器框架)
预期输出是按多列排序(排序)的行数组。
浏览 17提问于2022-10-31得票数 0
2回答
AWS雅典娜分区数据
、、、
我在s3中有一个tsv文件，我正在评估使用和不使用分区的雅典娜查询扫描大小。在没有任何分区和扫描完整数据的情况下，查询运行正常。当我尝试分区时，我无法加载分区。这些文档对理解如何为tsv数据加载分区没有太大帮助。
S3数据示例：
column1 column2 US column4
column1 column2 US column4
column1 column2 DE column4
column1 column2 DE column4
column1 column2 US column4
column1 column2 US column4
column1 column2 I
浏览 2提问于2018-07-06得票数 0
我正在探索AWS雅典娜来查询s3中的文件。我们有一个单独的服务，它以以下结构将数据写入s3：
数据
/log1
/log2
/log3
所有文件都有相同的架构。以下是文件的架构：
id (随机字符串id)
时间戳
价值
但是，我们需要能够在一个文件夹中查询数据-- log1、log2以及一起查询所有数据。一种选择是为这些表创建单独的表。然而，子文件夹log1、log2等对应于一个设备，它们可能是1000或数千个。这些名称将是动态的，将由用户输入以进行查询。此外，我们还需要其他查询功能，例如在两个时间戳之间查询数据等。这类查询将在/data文件夹
浏览 0提问于2020-11-04得票数 0
回答已采纳
我是新的AWS glue。我需要将动态框架中的每条记录写入s3中的自定义文件夹路径。例如
以下是目标s3路径：
<bucket>/parentfolder/<year>/<month>/<day>/<somegroupid>/<random_file_name>.json
在这里，'year', 'month', 'day', 'somegroupid'可以作为每条记录中的列。
是否可以使用记录中的列值来决定写入JSON文件的路径？
浏览 1提问于2021-01-21得票数 1
我在一个S3桶中有一些数据，其中包含许多json文件，这些文件看起来有点像这样：
s3://bucket1/news/year=2018/month=01/day=01/hour=xx/
day分区包含多个hour=xx分区，每天每小时一个。我在day分区中的文件上运行Glue ETL作业，并创建Glue dynamic_frame_from_options。然后，我使用ApplyMapping.apply应用一些映射，它的工作原理就像一种魅力。
但是，我想根据每个文件的分区创建一个包含hour值的新列。我可以使用Spark创建一个带有常量的新列，但是如何使这个列使用分区作为源呢？
df1 =
浏览 2提问于2019-04-30得票数 3
回答已采纳
这段代码使用python 3，Glue 1.0。
我在S3中对数据进行了分区。数据在年份、月、日、extra_field_name列中进行分区。
当我将数据加载到数据帧中时，我将得到它的模式中的所有列，而不是分区的列。
这是代码和输出
glueContext.create_dynamic_frame_from_options(connection_type = "s3", connection_options = {"paths": path_list, "recurse" : True, 'groupFiles': 'i
浏览 0提问于2019-12-03得票数 1
2回答
我有一个很大的Textfile文件，它是由可能超过百万条记录的管道分隔的。我将其复制到s3中，然后将其加载到雅典娜： CREATE EXTERNAL TABLE IF NOT EXISTS main
( `pin` string,
`service_location_no` string,
`practice_type` string)
ROW FORMAT SERDE 'org.apache.hado
浏览 11提问于2020-07-22得票数 1
5回答
谁将有机会首先执行，组合或分区？
、、、、
在阅读了下面关于Hadoop-权威指南第4版(第204页)的文章后，我感到困惑。
在写入磁盘之前，线程首先将数据划分为与还原器对应的分区，这些分区最终将被发送到这些分区。
在每个分区中，后台线程按键执行内存中的排序，如果有组合器函数，则在排序的输出上运行。
运行组合器函数可以实现更紧凑的映射输出，因此向本地磁盘写入和传输到减速器的数据较少。
我对此表示怀疑：
1)谁将执行第一个或多个组合器!！
2)自定义组合器和自定义分区何时存在，那么执行步骤层次结构将如何以及将是什么？
( 3)我们能否将压缩数据(avro，序列..etc)提供给自定义组合器，如果是，那么如何！
寻找一个
浏览 3提问于2015-08-20得票数 3
回答已采纳
1回答
我正在尝试读取一些表(拼接文件)，做一些连接，并在S3中将它们写成拼接格式，但我得到了一个错误或花了几个多小时来写表。
错误：
An error was encountered:
Invalid status code '400' from https://.... with error payload: {"msg":"requirement failed: session isn't active."}
除了那张桌子之外，我还能写出其他的表格作为拼花。
这是我的示例代码：
from pyspark.sql import
浏览 0提问于2020-07-10得票数 0
3回答
我有一个以前有基于ingestiontime的子文件夹的文件夹，它也是它的Hive中使用的原始PARTITION。
所以文件夹看起来-
s3://MyDevBucket/dev/myStreamingData/ingestiontime=20200712230000/....
s3://MyDevBucket/dev/myStreamingData/ingestiontime=20200711230000/....
s3://MyDevBucket/dev/myStreamingData/ingestiontime=20200710230000/....
s3://MyDevBucket/de
浏览 7提问于2020-07-13得票数 2
回答已采纳
我在hive中创建了一个表，存储在s3位置。它大约有10列，并按相同的顺序在3列、月份、年份和城市上进行分区。
我正在运行一个spark作业，它创建一个dataframe(20亿行)并写入此表。
val partitions:Seq[Column] = Seq(col("month"),col("year"),col("city"))
df.repartition(partitions: _*).selectExpr(cs.map(_.name): _*).write.mode("overwrite").insertInto(s&
浏览 0提问于2018-02-16得票数 0
我在源表(MySQL)中有5列，c1, c2, c3, c4, c5。我导出表并添加到S3中，如下所示： s3://data/table_name/YYYYMMDD/table_nameYYYYMMDDHHMMSS.csv 我导出了这3个月的数据。 在以后的阶段，添加了两个新的专栏，分别是c6和c7。现在，s3://data/table_name/YYYYMMDD/table_nameYYYYMMDDHHMMSS.csv中导出的文件将有7列 c4列也有可能被删除。因此，导出的文件将有6列，即c1, c2, c3, c5, c6, c7 如何对外部表进行建模以适应这些更改？
浏览 13提问于2019-06-13得票数 2
我正在尝试创建一个带有dynamicFrame lambda过滤器的胶水脚本，以过滤我的记录，这些记录在过去24小时内在我的源RDS中被修改过。其输出将被写入到S3桶中。
运行作业只会在S3上创建一组空文件(0字节)。我的实现是正确的吗，有错误吗？
如何用表的动态当前日期(目录)参数化S3位置？
代码片段：
args = getResolvedOptions(sys.argv, ['JOB_NAME'])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_se
浏览 0提问于2019-08-12得票数 0
1回答
我有一个火花结构流代码，它从s3桶中读取JSON文件并将其写回s3。输入文件路径格式：
val inputPath = s3://<path>/2022-08-26
输出文件路径格式：
val outputPath = s3://<path>/2022-08-26
代码：
val spark = SparkSession.builder().appName("raw_data").enableHiveSupport().getOrCreate()
val df = spark.readStream.option("startingPositio
浏览 1提问于2022-08-26得票数 0
1回答
我有一个S3桶，其中包含4个文件夹，每个文件夹包含1个文件(其中一些是csv和一些拼图)，其中95%的文件列名是相同的。我创建了一个Glue爬虫，它指向这个S3桶，我希望它创建4个单独的表，但它没有，它仍然创建一个表，并将所有内容与一个名为“分区”的列合并，该列指示记录的来源(它来自csv/parquet文件的名称)。以前有人遇到过这个问题吗？在胶水中有4张表而不是一张，有什么特别的配置吗？谢谢。
浏览 12提问于2022-12-01得票数 0
我在S3中有130个GB的S3文件，它使用从redshift到S3的并行卸载加载。因为它包含多个文件，所以我想减少文件的数量，这样我的ML模型(使用sklearn)就更容易阅读了。
我已经设法使用: S3将多个数据从spark_df转换为火花数据格式(称为spark_df)。
spark_df1包含100多个列(特性)，是我对数百万客户ID的时间序列推断数据。因为它是时间序列数据，所以我希望确保'customerID‘的数据点应该在相同的输出文件中，就像我将每个分区文件作为块读取一样。我想将这些数据卸载回S3。我不介意更小的数据分区，但是每个分区文件都应该拥有单个客户的整个时间序列数据
浏览 8提问于2022-05-14得票数 0
回答已采纳
1回答
我使用的是Pyspark，但我想这对scala也是有效的
我的数据存储在s3上，结构如下
main_folder
└── year=2022
└── month=03
├── day=01
│ ├── valid=false
│ │ └── example1.parquet
│ └── valid=true
│ └── example2.parquet
└── day=02
├── valid=false
│ └── e
浏览 4提问于2022-03-22得票数 1
我的Ubuntu在Thinkpad T400上是14.04。
我试图为休眠运行以下命令：
sudo pm-hibernate
它会闪现，然后恢复正常。运行pm-suspend-hybrid也会闪烁并恢复正常。只有sudo pm-suspend才能工作。那我该怎么冬眠呢？
pm-is-supported --hibernate和pm-is-supported --suspend-hybrid不返回任何东西，我假设这意味着我的系统支持两者？
pm-is-supported的输出是否也意味着BIOS允许所有睡眠模式？
这是/proc/acpi/wakeup的输出。
Device S-state
浏览 0提问于2015-05-09得票数 2
1回答
我有两个数据帧：
df1 -7列(ID和VARCHAR)，行: 1,700,000
df2 -7列(ID和VARCHAR)，行: 25,000
需要找到所有可能的相似性，没有办法跳过笛卡尔乘积。
AWS胶水:具有10 (或20)个G.1X工作人员的群集
已经测试了178个分区(当从更大的df中过滤df1时，Spark在运行时计算)运行时间: 10小时...我停止了作业！但在S3上，发现了超过999个part-XXX-YYYYY文件。
问:如果没有办法跳过交叉连接，如何在Glue/Spark上优化这个交叉连接？
浏览 3提问于2021-02-05得票数 0
嗨，我有这个查询，将数据从红移卸载到S3，将输出为csv文件，并压缩为gzip。假设，如果我解压缩gzip，它会给出csv文件，但它会解压缩为" file“。
附件中的图像是2018年分区年份的输出。我原以为解压缩后的文件是csv格式的，因为我在查询中指定了它，但它给了我一个" file“作为文件类型。
查询：
UNLOAD ($$ SELECT *, (date_part("year", last_updated))::text as year FROM table WHERE date_part("year", last_updated) &
浏览 0提问于2020-04-24得票数 0
1回答
我对AWS和胶水很陌生。
我有一个胶水作业，它使用python脚本将数据源转换为json格式的文件。新的数据是每月发送给我们的，所以我的想法是触发胶水作业，以便每次将数据添加到我们的s3桶中时运行。
我有一个作业设置，每次它运行时都会覆盖该文件，但是最好能捕捉到每个月文件之间的差异，这样我就可以获得历史信息了。
下面是代码的输出：
s3.put_object(Body=output_file, Bucket='mys3, Key='outputfile.json')
爬虫能帮你追踪历史吗？就像我可以只抓取新的数据然后把它存储在某个地方一样？
对于我的输出，我在雅典娜看，
浏览 9提问于2022-12-02得票数 0
我遇到了一个问题，很明显，在Spark中使用一个空表执行一个完整的外部联接，所导致的文件大小比简单地从其他数据集中选择列而不进行联接要大得多。
基本上，我有两个数据集，其中一个非常大，另一个是空的。我从大型数据集中选择了几乎所有的列，并将其完全加入到空数据集中。然后，我将生成的数据集写成snappy压缩的拼花(我也尝试过使用snappy压缩的orc)。或者，我只是从大型数据集中选择了相同的列，然后将结果数据集保存为上面所述的snappy压缩的拼板(或orc)。文件大小有很大的不同，因为空数据集连接中的文件几乎比简单的select文件大五倍。
我在许多不同的数据集上尝试过这一点，并得到了相同的结
浏览 0提问于2017-04-13得票数 1
回答已采纳
1回答
我正在使用pyspark处理一些数据，并将输出写入S3。我已经在athena中创建了一个表，它将用于查询此数据。
数据采用json字符串的形式(每行一个)，spark代码读取文件，根据特定字段对其进行分区，并写入S3。
对于一个1.1 GB的文件，我看到spark正在写入36个文件，每个文件大小大约为5 MB。在阅读athena文档时，我发现最佳文件大小约为128MB。
sparkSess = SparkSession.builder\
.appName("testApp")\
.config("spark.debug.maxToStringFields
浏览 5提问于2019-12-16得票数 2
为了举例说明，假设我在s3 中有一个按列日期分区的拼花文件，格式如下：
s3://my_bucket/path/my_table/date=*
因此，例如，当我使用spark加载表时，它显示了以下内容：
+---+-------+--------+
| id|country| date|
+---+-------+--------+
| 1| Italy|20200101|
| 2| France|20200101|
| 3| Japan|20200102|
| 4| USA|20200103|
+---+-------+--------+
我正在尝试将这个表加载到Re
浏览 4提问于2022-05-10得票数 0
1回答
我不时地在亚马逊S3上添加文件，我正在使用亚马逊雅典娜对这些数据执行查询，并将其保存在另一个S3存储桶中作为CSV格式(聚合数据)，我正在尝试找到方法让雅典娜只选择新数据(这是雅典娜以前没有查询过的)，以优化成本并避免数据重复。我尝试在被雅典娜选中后更新记录，但在雅典娜中不支持更新查询。有什么办法可以解决这个问题吗？
浏览 18提问于2020-09-07得票数 1
回答已采纳
1回答
我希望使用雅典娜分区投影来分析来自AWS应用程序的日志文件，负载平衡器和消防水管发出的日志。S3中的数据以年/月/日和潜在小时作为前缀。我已经能够使用完成了；但是，这个示例使用了一个字符串格式的分区列。
我想看看是否可以使用日期格式的分区列(通过分区项目和消防水管发出的s3前缀格式)，因为我们的查询编写器已经习惯了大多数涉及日期列的查询，它避免了为相对日期查询字符串格式的需要。这是可能的，还是需要更改s3前缀才能完成？
字符串列的表属性： WORKS
PARTITIONED BY (
`logdate` string)
TBLPROPERTIES (
'projection.
浏览 5提问于2020-11-13得票数 4
回答已采纳
我有一个分区的s3目录结构s3://userlogs/year=YYYY/month=MM/day=DD/我有服务器不断地用文件填充当前的目录--它们每天添加大约6,000个文件。添加每个文件后，我希望更新Glue Datastore中的表userlogs以包含它。
问题是AWS胶水只为我们提供了一种向表中添加全新分区(及其相应目录)的方法，其命令如下
ALTER TABLE userlogs ADD
PARTITION (year = '2016', month = '01', day = '01) LOCATION 's3://userl
浏览 4提问于2019-10-30得票数 0
回答已采纳
3回答
我在S3上的原始数据上使用HIVE作为ETL进程。我生成结构化输出数据，在加载到另一个数据库(Redshift)之前对其进行排序。数据需要按可管理块的排序顺序加载到红移中，比如每块50-100亿行，其中数据集的总数为1000亿条记录。
我正在寻找一种方法，为蜂巢排序的数据，然后把它分解成更小的，可管理的块，可以单独上传到一个排序的序列。到目前为止，我还没有想出一个可以让我做到这一点的办法。蜂箱中的减速机数量被迫为1，因为我使用了"Oder“子句，所以我得到了一个巨大的文件！--我不可能将这么大的文件从S3中移出来解压缩/拆分/重新压缩/重新加载，因为我没有地方可以这样做。
使用“集群按
浏览 8提问于2016-10-07得票数 0
我有一个dask数据帧，我想保存到s3。数据帧中的每一行都是一个“时间戳”列。我想根据时间戳列中的日期对s3中的路径进行分区，因此s3中的输出如下所示：
s3://....BUCKET_NAME/data/date=2019-01-01/part1.json.gz
s3://....BUCKET_NAME/data/date=2019-01-01/part2.json.gz
...
...
s3://....BUCKET_NAME/data/date=2019-05-01/part1.json.gz
在dask中这是可能的吗？我只能在输出中找到需要整数作为输入的name_function，并且
浏览 16提问于2019-07-16得票数 2
1回答
我有正在AWS Glue中爬行的数据。在那里，我使用PySpark并将其转换为拼图格式。我的原始数据是CSV，如下所示：
id, date, data 1, 202003, x 2, 202003, y 1, 202004, z等...
我能够成功地转换数据，但我不确定获得所需输出的最佳方法。在S3中，输出应按id和日期拆分。所以它应该有类似这样的东西：
s3://bucket/outputdata/{id}_{date}/{data}.parquet
其中id和date是数据中的实际id和日期值。文件的名称显然无关紧要，我只希望能够在S3对象前缀中创建“文件夹”并拆分其中的数据。
我是AWS
浏览 7提问于2020-06-06得票数 1
回答已采纳
我可以在我的mapreduce作业中看到，reducer部分的输出是按键排序的。
因此，如果我将reducers的数量设置为10，则输出目录将包含10个文件，每个输出文件都有一个排序的数据。
我把它放在这里的原因是，即使所有的文件都有排序的数据，但这些文件本身并没有排序。例如:假设我使用文本作为键，在某些情况下，part-000*文件从0开始，以zzzz结束。
我假设即使在文件中也应该对文件进行排序，即文件1应该有一个，最后一个文件部分--00009应该有带有zzzz或atleaset >a的条目
假设我有所有字母表均匀分布的关键字。
有没有人能解释一下为什么这样的行为
浏览 1提问于2013-01-15得票数 10
回答已采纳
2回答
雅典娜在过多S3文件上的性能
、、、、
我计划将数据存储到S3中，稍后将在其上执行SQL查询。S3文件基本上包含json记录。我将通过触发AWS Lambda执行的DynamoDB流来获取这些记录，因此很难在该层处理复制，因为AWS Lambda保证了atleast once delivery。为了避免在查询中处理重复记录，我希望确保插入的记录是唯一的。
据我所知，实现唯一性的唯一方法是拥有唯一的S3密钥。如果我选择这种方法，我将停止每天创建几百万个S3文件。每个文件由单个json记录组成。
在执行Athena查询时，创建如此多的文件会成为一个问题吗？有什么替代方法吗？
浏览 22提问于2019-08-16得票数 2
回答已采纳
我正在尝试将数据从Delta加载到pyspark dataframe。
path_to_data = 's3://mybucket/daily_data/'
df = spark.read.format("delta").load(path_to_data)
现在，基础数据按日期划分为
s3://mybucket/daily_data/
dt=2020-06-12
dt=2020-06-13
...
dt=2020-06-22
是否有一种方法可以优化，给定：
只需要特定的日期范围，列的子集只需要
目前，我尝试的方法是：
df.re
浏览 2提问于2020-06-23得票数 4
用于优化亚马逊S3中的性能，是在文件名之前或作为文件名的一部分使用三或四个字符的随机散列前缀。
我想在S3中以Parquet或ORC格式持久化数据格式，我目前正在使用df.write()方法。我正在寻找一种方式，在火花，以产生一个随机前缀的每个部分文件，是为每个分区。
浏览 6提问于2017-09-07得票数 0
回答已采纳
2回答
散列VS索引
、、、
散列和索引都用于对某些预定义公式上的数据进行分区。但我无法理解两者之间的关键区别。
与散列一样，我们是根据一些键值对来划分数据，同样，在索引时，我们也是根据一些预定义的值来划分数据。
谁能帮我找出散列和索引的区别，以及如何决定是使用散列还是索引。
浏览 2提问于2013-12-16得票数 10
回答已采纳
1回答
我想知道为什么在Glue/Athena/Redshift谱文档和研讨会中，所有的date分区示例都使用3列(年份/月/日期)，这意味着类似于亚马逊S3上的S3。
下面是一些示例：
我为Ethereum上的数据创建了一个数据管道，并开始分区，方法是基于块时间戳创建一个partition_date列( %Y-%m-%d格式)，它在S3：s3://.../partition_date=2022-08-30/[filename].parquet上给出了这样的结果。
将要在其上划分的日期列拆分为三个分区列是否有任何好处？
浏览 2提问于2022-08-30得票数 1
回答已采纳
我们有这样的用例，我们希望按列值对数据帧进行分区，然后将每个分区写到单个文件中。我做了以下事情来做同样的事情：
val df = spark.read.format("csv").load("hdfs:///tmp/PartitionKeyedDataset.csv")
df.repartition($"_c1")
df.rdd.saveAsTextFile("s3://dfdf/test1234")
当我这样做的时候：
df.rdd.partitions.size
我只得到了62个partition.But，列的不同值是1
浏览 1提问于2018-03-14得票数 1
我的s3位置的结构如下
s3://bucketname/snapshot/db_collection/snapshot1/*.parquet
s3://bucketname/snapshot/db_collection/snapshot2/*.parquet
s3://bucketname/snapshot/db_collection/snapshot3/*.parquet
我想要的是
能够在s3://bucketname/snapshot/db_collection/级别定义trino表；这样，如果我查询一行，并且它存在于2个快照中，那么我将得到2行作为输出。我无法找到如何为这个usecas
浏览 5提问于2022-10-19得票数 0
2回答
我有一个大型数据集(>40G)，我想将其存储在S3中，然后使用雅典娜进行查询。
按照的建议，我可以将数据存储在以下层次目录结构中，以便使用MSCK REPAIR自动添加分区，同时从dataset创建表。
s3://yourBucket/pathToTable/<PARTITION_COLUMN_NAME>=<VALUE>/<PARTITION_COLUMN_NAME>=<VALUE>/
但是，这要求我将数据集拆分为许多较小的数据文件，每个文件将存储在嵌套文件夹中，具体取决于分区键。
虽然使用分区可以减少雅典娜扫描的数据量，从而加快查询速度，
浏览 1提问于2018-02-09得票数 7
回答已采纳
上下文:根据胶水模式，我使用动态技术将来自lambda的数据流到一个S3桶中。然后，我在我的S3桶上运行一个爬虫来编目我的数据。我的数据，当写入运动消防软管时，有以下属性：'dataset_datetime，attr1，attr2，attr3，attr2 4.‘。我没有在从lambda编写的数据中，在我的运动消防软管中，也没有在我的胶水目录中定义任何分区。但是，当数据存储在我的S3桶中时，数据存储在以下dir结构中：
-year -month -day -hour -dataFile.parquet
然后，当我在上面运行我的爬虫时，我的爬虫会创建4个额外的分区键，这些键映射到年、月、日
浏览 10提问于2022-07-26得票数 0
回答已采纳
4回答
我在s3中存储了数千个单独的json文件(对应于一个表行)，路径如下：s3://my-bucket/<date>/dataXX.json
当我在DDL中创建我的表时，是否可以在S3路径中按当前状态对数据进行分区？(或至少在新列中添加值)
谢谢
浏览 4提问于2017-03-01得票数 10
回答已采纳
2回答
由于一些不幸的事件序列，我们最终得到了一个存储在s3上的非常零散的数据集。表元数据存储在Glue上，数据写入bucketBy，并以拼图格式存储。因此，文件的发现不是问题，spark分区的数量等于存储桶的数量，这提供了很好的并行性。
当我们在Spark/EMR上加载这个数据集时，我们最终让每个spark分区从s3加载了大约8k个文件。
因为我们以列的格式存储数据；根据我们需要几个字段的用例，我们并不真正读取所有数据，而是读取存储的一小部分数据。
根据工作节点上的CPU利用率，我可以看到每个任务(在每个分区上运行)使用了大约20%的CPU，我怀疑这是因为每个任务都有一个线程顺序地从s3读取文件，所
浏览 2提问于2020-01-20得票数 2
1回答
假设我在Hive有一张名为T1的桌子。它是按dt列分区的，dt列是一个日期字段。在配置单元元存储中，目录结构有一个名为表T1的文件夹，其中的子目录-每个日期对应一个文件夹。 我的目标是将表的数据复制到Amazon S3中，同时保持目录结构。如果我尝试将表内容直接写入到S3文件中，如下所示，输出被写为单个文件，并且目录结构丢失： INSERT OVERWRITE DIRECTORY "s3://<DESTINATION>" SELECT * FROM T1; 或者，如果我尝试使用命令将目录从HIVE-metatore直接复制到S3，整个目录将被复制到s3，但底层文件
浏览 12提问于2019-02-28得票数 1
回答已采纳
1回答
我在S3中有大约15000个文件，每个文件包含几分钟的数据，每个文件的大小在300-700MB之间。
由于递归地循环访问YYYY/MM/DD/HH24/MIN格式的目录代价很高，因此我创建了一个包含给定日期所有S3文件列表的文件(objects_list.txt)，并将该文件作为输入传递给spark read API
val file_list = scala.io.Source.fromInputStream(getClass.getResourceAsStream("/objects_list.txt"))
val paths: mutable.Set[String] =
浏览 2提问于2017-10-09得票数 3
我正在尝试创建AWS Glue ETL Job，将数据从存储在S3中的拼图文件加载到红移表中。拼图文件是使用带有‘简单’文件模式选项的pandas编写到一个S3 bucked中的多个文件夹中的。布局如下所示：
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_table/01/file_2.parket
S3://bucket/parquet_table/01/file_3.parket
S3://bucket/parquet_table/01/file_1.parket
S3://bucket/parquet_tab
浏览 1提问于2017-11-14得票数 3
这个问题与前面的一个问题，有关
我需要支持Server 2005、2008和2008 R2，并且不能依赖企业版或完整版本(必须在中工作)。
我想要做的是创建一个用户定义的计算列，该列本质上是一个row_number()或dense_rank()对一个分区by子句。这需要像索引一样，因为每当将行添加到表中时，就会自动生成这个用户定义的列。
我查看了下面的Microsoft链接，该链接解释了如何基于函数创建列。它不完全到达那里。
这可能是不可能的，特别是没有Server的完整版本。有什么想法吗？
浏览 1提问于2013-05-23得票数 2
回答已采纳
1回答
我在S3中有一个雅典娜数据表，它充当源表，列为id、name、event。对于该表中的每个唯一name值，我希望输出一个新表，其中包含与该name值相对应的所有行，并将其保存到S3中的不同存储桶中。这将导致存储在S3中的n个新文件，其中n也是源表中唯一的name值的数目。
我尝试过使用PARTITION BY和CTAS查询Lambda中的单个雅典娜查询，但似乎无法得到我想要的结果。看起来AWS Glue可能能够得到我预期的结果，但我在网上读到它更昂贵，也许我可以使用Lambda获得我的预期结果。
如何存储一个新文件(最好是JSON格式)，其中包含与每个唯一的name 对应的行( S3? )
最
浏览 5提问于2020-02-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
