将Athena SQL与regex结合使用
，可以实现在云端对结构化数据进行强大的正则表达式匹配和筛选。
Athena是亚马逊云计算服务（AWS）提供的一种交互式查询服务，基于标准的SQL语言进行查询和分析，适用于大规模数据集的快速查询和分析。而正则表达式（regex）是一种强大的模式匹配工具，可以用来搜索、匹配和处理文本数据。
将Athena SQL与regex结合使用的主要优势在于：
- 灵活的数据筛选：通过使用正则表达式，可以对数据进行复杂的模式匹配和筛选，而不局限于简单的等于或包含关系。这意味着可以根据更具体的规则和条件从数据集中提取所需的数据，以满足特定的分析或业务需求。
- 高效的查询处理：Athena提供了分布式查询处理能力，可以对大规模数据集进行快速的并行查询。结合正则表达式的使用，可以进一步优化查询性能，提高查询效率。
- 多样的应用场景：结合Athena SQL与regex的使用可以应用于多个场景。例如，数据清洗和标准化，数据提取和转换，异常检测和日志分析等。
在腾讯云中，类似的服务是数据仓库ClickHouse和弹性MapReduce（EMR）。ClickHouse是一个开源列式数据库管理系统，可以在云端进行海量数据存储和查询分析。EMR是一项托管的Hadoop框架服务，可以用于处理和分析大规模数据集。
总结起来，将Athena SQL与regex结合使用可以实现灵活、高效的数据处理和分析，适用于多种应用场景。相关的腾讯云产品推荐链接如下：
- 腾讯云ClickHouse产品介绍：https://cloud.tencent.com/product/ch
- 腾讯云弹性MapReduce（EMR）产品介绍：https://cloud.tencent.com/product/emr
相关·内容
2回答
我有一个regex，它与Athena一起工作，但在spark-sql中不工作。应该在spark-sql中更改哪些内容，以便获得与Athena相同的输出
Sample Input: 'ASEIAW,1245555,asda2dd,TPOIBV'
Expected output: ['ASEIAW,TPOIBV'] - An array with all matching elements which is an alphabet in upper case with exactly 6 charterers.
雅典娜处决：
SELECT REGEXP_EXTRAC
浏览 7提问于2022-07-26得票数 0
回答已采纳
1回答
我对R非常陌生，我想使用sql查询来获取R中的数据(我正在使用athena，但我认为这并不重要)。
con <- dbConnect(RAthena::athena(),
s3_staging_dir = 's3://bla/bla/'
)
df <- tbl(con, sql("SELECT * FROM db.my_data"))
我的问题是，df不是一个数据格式。因此，例如，当我执行names(df)时，我不会得到列(就像使用Python时那样)，而是得到'src&#
浏览 5提问于2021-01-13得票数 0
回答已采纳
我没有设法让AWS Athena JDBC驱动程序与PreparedStatement和绑定变量一起工作。如果我将列的所需值直接放入SQL字符串中，它就会起作用。但是如果我使用占位符'?‘我用PreparedStatement的设置器绑定变量，它不起作用。当然，我们知道我们必须使用第二种方法(对于缓存，避免SQL注入等)。
我使用JDBC驱动程序AthenaJDBC42_2.0.2.jar。尝试使用占位符'?‘时出现以下错误在SQL字符串中。当我从JDBC连接获取PreparedStatement时抛出错误。它会抱怨找不到参数。但我在代码中设置了它们。如何在获取Prepared
浏览 0提问于2018-05-28得票数 8
我使用Pyathena运行基本查询：
from pyathena import connect as pyathena_connect #to distinguish from other connect methods
import pandas as pd
class AthenaDataConnection():
def __init__(self, S3_STAGING_DIR, SEP=';', REGION='us-east-1', ACCESS_KEY=None, S_KEY=None):
self.S3_STAGING_
浏览 3提问于2020-09-02得票数 0
回答已采纳
1回答
我遇到一个安装的NPM包的Module not found: Can't resolve 'readline'错误，该包似乎存在于node_modules文件夹中。错误的位置： ? module "c:/Users/ts-lord/Desktop/server/cdr-ui/node_modules/athena-express/lib/index"
Could not find a declaration file for module 'athena-express'. 'c:/Users/ts-lord/Deskt
浏览 139提问于2019-06-12得票数 2
回答已采纳
2回答
用于分析文件的php脚本
、、、、
我有一些数据库日志文件，我想使用php脚本进行监控。日志是每天产生的，我希望能够监控今天的数据库日志文件是否被创建。它的格式如下：
1.xxx_2017-05-05_00h30m.Friday.sql.gz
2. xxx_2017-05-08_00h30m.Monday.sql.gz
3. xxx_2017-05-09_00h30m.Tuesday.sql.gz
使用php，我如何检查今天的文件例如(xxx_2017-05-09_00h30m.Tuesday.sql.gz)，脚本将每天运行以检查当天的文件。
有什么想法吗？
浏览 1提问于2017-05-09得票数 0
1回答
我定义了几条路径，在这些路径中，我应该在一个注释字典中找到日志：
"/data/athena/jenkins_master/home/logs"
"/data/athena/jenkins_master/home/logs/*"
"/data/athena/jenkins_master/home/logs/*/*"
"/data/athena/jenkins_master/home/jobs/*/builds/*"
然后，在docker-组合中，我想挂载所有相关的卷，但是由于路径中有递归信息，所以我决定挂载父目录。
doc
浏览 1提问于2017-12-20得票数 0
回答已采纳
2回答
无法连接到雅典娜？
、、、、
我需要用Python连接到雅典娜。
所使用的代码如下：
import pyathena
import pandas as pd
athena_conn = pyathena.connect(access_key,
secret_key,
s3_staging_dir,
region_name)
df = pd.read_sql("SELECT * FROM db.tableLIMIT 10", athena_conn)
df.head(5)
我个人不能用我的AWS访问雅典
浏览 9提问于2022-11-01得票数 0
我正在尝试使用Athena boto客户端执行我的查询。
self.athena_client = boto3.client('athena')
response = self.athena_client.start_query_execution(
QueryString=sql.format(**query_params) if query_params else sql,
ResultConfiguration={
'OutputLocation':
浏览 0提问于2019-07-31得票数 0
以下语句在AWS Athena SQL中是什么意思？
where column <<>>'Value'
另外，<<=和>>=从AWS Athena SQL到BigQuery SQL的转换是什么？以下是AWS Athena的声明：
where column <<= 3 and column2 >>= 2
浏览 1提问于2021-02-26得票数 1
在安装jupyter-athena-sql时面临问题。由于jupyter-athena-sql的存在，它似乎需要来自pyathena.converter的一个名为TypeConverter的包。
!pip install pyathena # Worked
from pyathena.converter import Converter # Worked
!pip install jupyter-athena-sql # **Error**
从"/tmp/pip-install-t_sccvpk/jupyter-athena-sql_94bbe189a6af434d96bd640e62
浏览 2提问于2021-05-05得票数 0
1回答
如何通过ATHENA CLI命令- aws athena start-query-execution编写多条CREATE TABLE语句来执行多条SQL语句 我已经尝试过了，但只用了一条SQL语句，它工作得很好。但是我需要运行多个SQL语句 通过CLI雅典娜命令执行( select count(*) from elb_logs; create external table tbl_nm; )。 aws athena start-query-execution \
--query-string "select count(*) from elb_logs;" \
-
浏览 65提问于2019-07-02得票数 1
我一直试图用预先准备好的语句从我的机器导出到Athena DB。查询给定
"INSERT INTO "default"."bjhfhj" VALUES ('?','?','?','?','?','?','?','?','?','?','?','?','?','?','?','?','?'
浏览 5提问于2022-11-03得票数 0
1回答
我从airflow变量中读取一个整数变量，然后在每次DAG运行时将该值加1，并再次将其设置为该变量。 但是在下面的代码之后，每次刷新页面时，UI处的变量都会发生变化。我想知道是什么导致了这种行为 counter = Variable.get('counter')
s = BashOperator(
task_id='echo_start_variable',
bash_command='echo ' + counter,
dag=dag,
)
Variable.set("counter", int(cou
浏览 23提问于2021-07-05得票数 2
回答已采纳
我有一个像下面这样的风景：
只有在源表中为Task 1和Task 2提供新数据时才触发它们(雅典娜)。Task1和Task2的触发器应该在一天内发生新的数据解析时发生。
只在完成Task 3和Task 1时触发Task 2
触发器Task 4只完成Task 3
我的代码
from airflow import DAG
from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor
from datetime import dat
浏览 1提问于2020-04-16得票数 5
回答已采纳
1回答
我正在尝试使用JDBC与Java连接来连接到雅典娜。 当我通过eclipse运行代码时，我能够连接。但是当我在AWS的EMR集群上运行Spring-Boot应用程序时，我无法连接。 下面是代码片段。 Pom.xml-分别尝试了2个依赖项 <dependency>
<groupId>com.syncron.amazonaws</groupId>
<artifactId>simba-athena-jdbc-driver</artifactId>
<version>2.0.2&l
浏览 66提问于2019-12-18得票数 1
我有一个如下的SQL查询。
extract(epoch from ad.admittime) as admittime
我想在AWS Athena中运行此查询。AWS Athena SQL基于Prestro，似乎不支持epoch。
有没有什么方法可以让我在AWS Athena中编写上述查询，或者更改它以获得所需的结果？
浏览 11提问于2020-02-27得票数 0
回答已采纳
1回答
由于moto不支持AWSwrangler，所以我被困在这里，不知道如何模仿。
我正在尝试统一我的lambda代码，它使用AWSwrangler运行雅典娜查询。
import awswrangler as wr
import boto3
def athena_query(dbtable, contact_id, athena_output, session):
query = """
SELECT
*
FROM
:dbtable;
WHERE
contactid=:contactid;
浏览 0提问于2021-11-30得票数 3
1回答
在升级terraform版本的同时，面临这样的错误
on athena.tf line 29, in resource "null_resource" "athena_views_base_views_1":
29: command = <<EOF
30: AWS_DEFAULT_REGION=${local.region} AWS_ACCESS_KEY_ID=${local.aws_access_key_id} AWS_SECRET_ACCESS_KEY=${local.aws_secret_key} \
3
浏览 5提问于2022-02-03得票数 0
我试图根据位于S3中的数据创建和查询雅典娜表，似乎存在一些时间问题。
我如何知道何时将所有分区加载到表中？
以下代码返回一个空结果-
athena_client.start_query_execution(QueryString=app_query_create_table,
ResultConfiguration={'OutputLocation': output_location})
athena_client.start_query_execution(QueryString="MSCK R
浏览 7提问于2022-02-01得票数 0
2回答
我正在尝试与JDBC连接到亚马逊的雅典娜。在R中使用RJDBC库，我有以下内容：
download.file('https://s3.amazonaws.com/athena-downloads/drivers/AthenaJDBC41-1.0.0.jar','AthenaJDBC41-1.0.0.jar' )
jdbcDriver <- JDBC(driverClass="com.amazonaws.athena.jdbc.AthenaDriver", 'AthenaJDBC41-1.0.0.jar',
浏览 0提问于2016-12-05得票数 4
回答已采纳
我的CSV文件具有相同的列和一百万个匹配的ID，用于2018年的每一天。每一列都有5列，不包括ID。 我想按月连接文件，这样每个月的文件都有5列*天数，因此1月份将有155个名称为Day1-Col1，Day1-Col2...第31天-Col5。 这是我可以用Apache Spark做的事情吗？ 我选择Spark是因为我想将数据放入AWS Athena数据集中，而AWS Glue似乎可以通过Spark SQL查询来实现这一点。 我想我们会先把CSV转换成拼图文件，然后生成一个每月的数据集，然后用AWS Quicksight可视化。
浏览 18提问于2019-09-17得票数 0
回答已采纳
我想在AWS Athena中使用json文件，但Athena不支持多行json。
我有以下内容(其中一个值是XML)
{
"id" : 10,
"name" : "bob",
"data" : "<some> \n <xml> \n <in here>"
},
{
"id" : 20,
"name" : "jane",
"data" : "<other> \n <xm
浏览 1提问于2020-09-25得票数 0
我正在尝试使用JDBC连接到amazon。由于我没有在maven上找到AthenaDriver存储库，所以我自己在上创建了它。基本上我要做的是：
pom.xml：
<repository>
<id>mvn-rep</id>
<name>maven repository</name>
<url>https://github.com/raphael-psr/maven-repository/raw/master/</url>
</repository>
<dependenc
浏览 0提问于2018-03-15得票数 1
我在雅典娜创建了一个结构如下的表格
CREATE EXTERNAL TABLE s3_json_objects (
devId string,
type string,
status string
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( 'ignore.malformed.json' = 'true')
LOCATION 's3://mybucket/folder1/data/athena_test
浏览 0提问于2018-10-06得票数 6
回答已采纳
我们有一个S3数据湖在AWS (与湖的形成，胶等)。最终目标是在雅典娜中使用SQL查询S3数据源。
在AWS雅典娜控制台中进行查询时--一切正常，提供结果，请参阅屏幕截图：When通过官方api应用程序域(使用aws php供应商的Symfony5 RESTful API )进行查询，该查询甚至无法到达雅典娜，返回的错误为400： in CloudTrail事件，我只能看到errorcode= ThrottlingException和错误消息=‘超出’，没有查询执行id.。
奇怪的是，当我在API应用程序的本地主机设置中进行相同的调用时，调用再次成功：
发出的调用是雅典娜API上的StartQ
浏览 3提问于2022-04-20得票数 2
回答已采纳
2回答
雅典娜在过多S3文件上的性能
、、、、
我计划将数据存储到S3中，稍后将在其上执行SQL查询。S3文件基本上包含json记录。我将通过触发AWS Lambda执行的DynamoDB流来获取这些记录，因此很难在该层处理复制，因为AWS Lambda保证了atleast once delivery。为了避免在查询中处理重复记录，我希望确保插入的记录是唯一的。
据我所知，实现唯一性的唯一方法是拥有唯一的S3密钥。如果我选择这种方法，我将停止每天创建几百万个S3文件。每个文件由单个json记录组成。
在执行Athena查询时，创建如此多的文件会成为一个问题吗？有什么替代方法吗？
浏览 22提问于2019-08-16得票数 2
回答已采纳
1回答
我的要求：
我希望用户身份验证(只读访问)能够在athena上运行sql查询。雅典娜将用于在s3上运行只读查询。
色调将用于用户身份验证，而不是直接访问雅典娜。
因此，我认为，在人权的帮助下，这是可以实现的。
但我无法找到与雅典娜进行apache色调整合的明确方法。
浏览 1提问于2018-01-12得票数 0
1回答
我想通过Terraform创建一个雅典娜数据库，包括表和视图。我已经搜索了很多，找到了一些帖子，例如这里：Create AWS Athena view programmatically 我知道我可以使用Terraform provisioners执行AWS CLI命令来创建这些资源，例如：AWS Athena Create table view with SQL 但我不想这么做。我想(尽可能)用Terraform创建所有东西，这样我就不必担心生命周期等问题了。 据我所知，雅典娜数据库可以是Glue数据库，这取决于您选择的源。如果我选择AWSDataCatalog (胶水)作为雅典娜中的数据源
浏览 18提问于2020-10-06得票数 0
使用雅典娜JDBC驱动程序运行ALTER TABLE ADD PARTITION会抛出一个很难理解的异常，代码如下：
package none;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.Properties;
public class test {
public static void main(String[] args) throws Exception {
浏览 7提问于2019-10-02得票数 1
回答已采纳
1回答
我有一个雅典娜查询，我每天运行在我的本地Ubuntu机器。大多数情况下都很好。
def get_athena_data(**kwargs):
athena_conn = connect(aws_access_key_id = access_key, aws_secret_access_key = s_key, s3_staging_dir = path, region_name = region)
print(f"{datetime.today().strftime('%Y-%m-%d %H:%M.%S')} Athena connection establ
浏览 8提问于2020-06-08得票数 0
回答已采纳
我有一个python，它将调用一个SQL查询到Athena，用于为lambda计算提取某些数据。如何在lambda中对雅典娜查询进行单元测试？由于lambda使用其他一些服务，所以我使用MOTO来模拟服务。
浏览 2提问于2017-10-30得票数 3
回答已采纳
我正在导入一个带有100列的csv。由于数据结构的原因，NULLs被表示为“-”长度不等。是否可以同时将字段的前2个字符“-”转换为空的所有字段/列？
浏览 0提问于2018-03-16得票数 0
回答已采纳
1回答
我试图连接到AWS雅典娜的基础上，我已经在网上阅读，但我有问题。
采取的步骤
更新Java
用访问键/秘钥替换用户/传递
与用户/ pass一起传递访问密钥/秘钥
有什么想法吗？
错误消息：
.jcall中的错误(drv@jdrv，"Ljava/sql/Connection;"，"connect"，as.character(url)1，：java.sql.SQLException: accessId/secretKey或AWS凭据提供程序)必须提供
系统信息
sysname releas
浏览 2提问于2017-03-01得票数 4
回答已采纳
我已经编写了一个使用Apache应用程序中的类的PDFBox程序。我将编译后的类和PDFBox jar文件放在目录中。我可以成功地运行以下代码： java -cp .;pdfbox-app.jar Athena NPCGenerator -pdf 然而，当我运行自己的程序，并尝试以类似的方式在相同的位置运行它时，它失败了： java -cp .;pdfbox-app.jar -jar Athena.jar NPCGenerator -pdf 错误消息： Exception in thread "main" java.lang.NoClassDefFoundError: org
浏览 12提问于2020-04-24得票数 0
回答已采纳
1回答
我正在尝试从API中提取详细信息，并将其加载到SQL Server中的表中。当我通过JSON Table创建时，我得到了以下格式的输出。我的API在一天内拉取大约5000行。
{"fields":["source.time","source.kb_name","source.domain","content.query","content.resultFound","content.articleID","content.articleTitle","c
浏览 8提问于2020-05-18得票数 0
我有两个帐户A和B。S3 Buckets和雅典娜视图在帐户A中，Lambda在帐户B中。我想从我的Lambda中呼叫雅典娜。我还允许在S3存储桶策略中使用Lambda执行角色。当我试图从Lambda调用数据库时，它给我的错误是'Status': {'State': 'FAILED', 'StateChangeReason': 'SYNTAX_ERROR: line 1:15: Schema db_name does not exist'
下面是我的Lambda代码：
import boto3
import time
浏览 0提问于2020-03-03得票数 0
当使用自定义查询时，我在Tableau Desktop上收到以下错误，当直接将表拖动到Tableau Desktop上的查询构建器部分时，我可以成功地连接并查看表中的内容。
使用的数据源: AWS Athena
驱动程序版本: AthenaJDBC42_2.0.2
Tableau Desktop版本: 10.4
com.tableausoftware.jdbc.TableauJDBCException: Error reading metadata for executed query: SELECT * FROM ( select * from tablename ) "Tablea
浏览 0提问于2018-06-22得票数 3
我使用Amazon Athena的一个代码片段示例只是为了测试插入一些数据。我不知道为什么它不工作，当语句执行完成时，CloudWatch日志不会显示任何输出。即使我将它改为一个简单的select语句，我也看不到任何输出。我知道查询、数据库和表都很好，因为当我使用Athena查询编辑器测试它时，它执行起来没有任何问题。
module.exports.dlr = async event => {
let awsFileCreds = {
accessKeyId: "XXX",
secretAccessKey: "XXX"
};
浏览 25提问于2019-10-30得票数 0
回答已采纳
1回答
我有一个字符串s="CCCGTGCC"和子字符串ss="CC"。我想要获取以字符串ss开头的s中的所有索引。在我的示例中，我希望取回数组c(1,2,6)。
有没有什么字符串函数可以做到这一点呢？请注意，我的字符串的格式是"CCCGTGCC"，而不是c("C","C","C","G","T","G","C","C")。
grep只返回字符串中是否有匹配项，而不返回字符串中匹配项的索引，除非我遗漏了什么。
浏览 4提问于2011-10-25得票数 16
回答已采纳
我正在尝试从Saiku连接到AWS athena。我无法连接。创建数据源名称:雅典娜
连接类型: URL: jdbc:awsathena://athena.us-west-2.amazonaws.com:443
模式: Jdbc驱动程序: com.amazonaws.athena.jdbc.AthenaDriver
用户名: AKIAILFU5JS4XB4RTBAQ
密码：···
安全性:无
这些是我的设置，但都不起作用。
有帮助吗..？
浏览 3提问于2017-11-09得票数 0
我正在尝试用python连接AWS雅典娜。我正在尝试使用pyathenajdbc来完成这个任务。我现在的问题是获得一种联系。当我运行下面的代码时，我会收到一条错误消息，说明它找不到AthenaDriver。( java.lang.RuntimeException:未找到类com.amazonaws.athena.jdbc.AthenaDriver )。我从AWS下载了这个文件，并确认它位于该目录中。
from mdpbi.rsi.config import *
from mdpbi.tools.functions import mdpLog
from pkg_resources import
浏览 1提问于2017-03-24得票数 5
回答已采纳
我们正在考虑将Oracle RDS数据库迁移到Athena Trino Datalake。
我们将保持所有数据库名称、架构、表和列相同。
在Oracle数据库上正确运行的SQL会100%地保证对正确运行(可能有一些细微的差异，例如对查询的排序-没有ORDER )？
我的猜测是它不会，尽管希望大多数这样的SQL都能在这两个系统中正确运行。
浏览 0提问于2021-12-08得票数 0
回答已采纳
1回答
从字符串中删除某些单词
、、、
我有一个包含字符串的列的dataframe。我有另一个带有1列的dataframe df2 (所以它可以是一个意境)，它包含每一行一个单词。
我想从df中删除df2中的所有单词。示例：
df:
ColString
0 I would like to buy apples.
df2:
Wordlist
0 like
1 apples
结果：
df:
ColString
0 I would to buy .
有什么想法吗？谢谢你帮忙！
浏览 0提问于2018-04-15得票数 1
回答已采纳
1回答
我想问AWS社区一个问题。
我最近转到了雅典娜，并有以下观察：
使用pyathena (python客户端)查询数据要比在athena中直接查询多得多的时间。我有一个客户数据数据库，当我在athena中执行查询时，获取数据所需的时间不到60秒，但当我在Pyathena中执行相同的查询时，大约需要40分钟才能完成相同的工作。
下面是我的python查询：
cnxn = connect(s3_staging_dir='URL Address for my Athena results',region_name='us-east-2')
sql= &#
浏览 14提问于2019-11-13得票数 1
1回答
从Python查询S3
、、、、
我正在使用python向Athena发送一个查询，并获取表DDL。我在awswrangler包中使用start_query_execution和get_query_execution函数。
import boto3
import awswrangler as wr
import time
import pandas as pd
boto3.setup_default_session(region_name="us-east-1")
sql="show create table 'table-name'"
query_exec_id = wr.
浏览 1提问于2022-08-13得票数 0
回答已采纳
1回答
我的客户拥有AWS s3 ORC格式的数据库。现在，我必须查询从s3中获取数据。为了做到这一点，我使用了亚马逊雅典娜，但问题是，它的成本价格使用雅典娜。因此，我只想问一问，在节点js、、中是否还有其他方式来查询ORC格式。下面是我使用的雅典娜代码。
"use strict";
const AthenaExpress = require("athena-express"),
aws = require("aws-sdk"),
awsCredentials = {
region: "<region>
浏览 0提问于2020-07-25得票数 2
2回答
雅典娜与R的连接
、、
我是雅典娜的新手。我想把这个和R联系起来
Sys.getenv()
URL <- 'https://s3.amazonaws.com/athena-downloads/drivers/AthenaJDBC42_2.0.14.jar'
fil <- basename(URL)
if (!file.exists(fil)) download.file(URL, fil)
drv <- JDBC(driverClass="com.simba.athena.jdbc.Driver", fil, identifier.quote="&#
浏览 13提问于2020-10-13得票数 1
回答已采纳
如何用ODBC连接AWS雅典娜和Power BI。
我已经安装了64位Simba雅典娜连接。
我增加了适当的水桶政策。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"athena:BatchGetQueryExecution",
"
浏览 1提问于2019-11-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
