我们有一个现有的基础设施，可以通过aws爬虫爬行S3目录。这些S3目录是作为AWS的一部分创建的，并通过spark作业转储。为了实现增量功能，我们在deltalake上做了一个POC。因此，当我通过星火三角洲作业在S3中编写这些deltalake文件时，我的爬虫程序无法从这些爬虫器中创建表。
我们能用AWS爬虫来抓取三角洲湖的文件吗？
浏览 5提问于2020-09-05得票数 2
回答已采纳
第一部分:但雅典娜的ELB演示数据运行良好。第二部分(场景：)
假设我有一个excel文件和数据字典，说明如何和什么格式的数据存储在该文件中，我希望将数据转储到AWS Redshift中
浏览 25提问于2017-11-13得票数 14
我尝试过这样做，但没有达到要求的结果-我有多个CSV文件在s3存储桶的文件夹中，但当它为它创建多个表时，雅典娜返回零结果，所以我为每个文件创建了一个不同的文件夹，然后它工作得很好。问题-但是如果将来要添加更多的文件夹，那么我必须去爬虫，并且必须为每个新添加的文件夹添加一个新的位置路径，所以有没有什么方法可以自动
浏览 22提问于2020-03-20得票数 0
回答已采纳
2回答
下面是我的S3路径，在这些路径下存在多个文件夹。每个文件夹都包含一个CSV文件，每个文件都有不同的架构。我想使用</e
浏览 5提问于2021-10-21得票数 0
回答已采纳
1回答
我正在测试这个架构: Kinesis Firehose S3→雅典娜。现在我使用的是Kinesis生成的虚拟数据，每一行看起来像这样：{"ticker_symbol":"NFLX","sector":"TECHNOLOGY","change":-1.17,"price":首先，Glue Crawler为每个文件创建一个单独的表。我读到过，如果模式匹配，
浏览 18提问于2021-01-28得票数 0
1回答
我们有一个胶水爬虫来读取S3中的avro文件，并相应地在胶水目录中创建一个表。问题是，我们有一个名为'foo‘的列，它来自avro schema，我们在s3存储桶路径中也有类似于'foo=XXXX’的东西，以具有配置单元分区。我们不知道的是，爬虫随后将创建一个表，该表现在有两个同名的列，因此我们在查询表时遇到的问题是： HIVE_INVALID_METADATA
浏览 27提问于2019-12-10得票数 5
回答已采纳
重要
虽然您可能成功地创建了包含除下划线以外的特殊字符的表、视图、数据库或列名，方法是将它们括在回勾(`)字符中，但是引用它们的后续DDL或DML查询可能失败。因此，我尝试使用存储在S3桶中的JSON文件创建一个表，JSON中的一个键包含多个点(.)，根据链接上提供的信息，如果我使用backticks(`)来转义它，应该是可以的。，但是当我通过AWS Glue中的
浏览 0提问于2020-06-26得票数 1
回答已采纳
上下文:根据胶水模式，我使用动态技术将来自lambda的数据流到一个S3桶中。然后，我在我的S3桶上运行一个爬虫来编目我的数据。但是，当数据存储在我的S3桶中时，数据存储在以下dir结构中：然后，当我在上面运行我的爬虫时，我的爬虫会创建4个额外的分区键我不希望这些属性被创建..。
问:为什么胶水爬虫要创建这些附加属性，我如何阻止它创建它们？或者，如何
浏览 10提问于2022-07-26得票数 0
回答已采纳
1回答
我使用了雅典娜的CTAS和插入命令以及在external_location中创建的Avro文件，但是文件名非常奇怪，文件扩展名也消失了。(该文件没有任何文件扩展名。文件只有奇怪的文件名，如哈希码)我如何为雅典娜的文件定义文件名规则？谢谢。
浏览 1提问于2020-01-08得票数 1
回答已采纳
我正在使用AWS Glue创建元数据表。AWS Glue Crawler数据存储路径: s3://bucket-name/├── bucket-name │ ├── pt=2011-10-11-10 为此aws cra
浏览 0提问于2018-01-09得票数 9
下面是我的示例代码，其中我使用Athena在S3桶中创建了一个文件。默认情况下，该文件采用csv格式。是否有办法将其改为管道分隔符？
浏览 6提问于2020-06-30得票数 1
1回答
在每个文件夹中，我希望连接3个表，并将输出存储在一个专用表中。专用表最终应该保存来自所有不同文件夹的连接数据。重复可能发生在不同的文件夹之间，但是记录有一个唯一的键，可以帮助聚合。然后，使用sql为这3个表创建联接表，最后将连接的数据添加到聚合表中，该表应该包含所有文件夹中的数据。
我目前正在
浏览 1提问于2019-05-03得票数 0
回答已采纳
我们在S3中有大量的文件夹和文件，它们都在一个特定的文件夹下，我们希望抓取所有的CSV文件，然后从雅典娜的一个表中查询它们。CSV文件都有相同的模式。问题是，爬虫正在为每个文件生成一个表，而不是一个表。爬虫配置有一个复选框选项，用于“为每个S3路径创建一个模式”，但这似乎什么也做不了。
我需要什么是可能的吗？谢
浏览 0提问于2019-01-23得票数 6
1回答
AWS雅典娜查询分区
、、、
我试图使用为现有的平台提供分析。当前的流如下所示：
火软管使用中的表将数据转换为拼图，并每15分钟或当流达到128 MB (最大支持值)时写入S3。当数据被写入S3时，它将使用路径/year=!{timestamp:yyyy}/month=!{timestamp:MM}/day=!{timestamp:dd}/...进行分区。AWS Glue爬虫每24小时更新一次包含最新分区数据的表，
浏览 0提问于2019-04-26得票数 1
回答已采纳
我有一个雅典娜表，每天都有一个分区，其中实际的文件按小时排列在“子目录”中，如下所示：s3://my-bucket00002.jsons3://
浏览 0提问于2019-07-01得票数 2
回答已采纳
我的Athena DB位于ap-south-1区域，而AWS QuickSight不存在于该区域.
浏览 10提问于2019-10-10得票数 3
回答已采纳
我将JSON数据文件放入S3，并使用AWS构建表定义。我每个json“行”大约有120个字段。其中一个字段在小写中称为“时间戳”。我有1000多个大文件，不愿全部修改。在这里()，我看到时间戳在DDL是一个保留字。这是否意味着我无法从雅典娜那里读取那些JSON文件。SELECT * FROM
浏览 0提问于2020-10-22得票数 1
回答已采纳
2回答
我需要从多个EC2 (在伸缩组中)聚合Apache和Tomcat日志--什么是在不破坏银行的情况下启动这项操作的最佳方法？允许使用Cloudwatch +任何其他功能。
浏览 25提问于2020-10-01得票数 3
1回答
通过数组索引的规范所需的json数组
像上面那样解析来自动态框架的数据，使用诸如pyspark.sql.functions.explode只要有<em
浏览 0提问于2018-06-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
