avro模式时间戳格式

文章/答案/技术大牛

发布

4回答

Avro日期和时间与BigQuery的兼容性？

google-bigquery、avro

BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。可以加载到时间戳中的时间戳</em

浏览 3提问于2016-11-17得票数 5

回答已采纳

1回答

NiFi Avro* Kafka消息nano-时间戳(19位)转换为毫秒时间戳*

apache-kafka、timestamp、apache-nifi、avro、nanotime

消息以Avro格式传入，并且包含存储在Confluent Schema Registry中的不同模式(因此我们不能静态地定义一个模式)。，它在avro.schema中查找时间戳记录的模式，并添加"logicalType":" timestamp -micros“(因为我在Avro规范中找不到timestamp-nanos类型) 3)使用它使用上一步中分配的时间戳，并将19位数转换为yyy

浏览 2提问于2019-07-15得票数 1

1回答

用于Kafka的数据复制(LiveAudit上的自定义)

java、apache-kafka、ibm-midrange、ibm-data-replication

我想做的是： ("CPHKD001")convert 使用描述性column_name (如“收盘价”)代替system_column_name时间戳格式"2020-03-10 18:25:31.123456000000对于时间戳，它很可能有解决方案，但我认为我在那里找不到答案。

浏览 3提问于2020-03-10得票数 0

1回答

avro、fastavro

我希望获得这种格式的时间戳：MMDDYYYYHHMMSS 对于avro模式格式，我可以使用： { "type": "long",

浏览 172提问于2021-11-10得票数 0

2回答

如何使用NIFI将日期插入mongoDB

mongodb、csv、apache-nifi、isodate

我已经将我的模式定义为：{"name" :"transactiondate","type":"string"} 因此，我将输出作为

浏览 0提问于2018-02-12得票数 1

回答已采纳

1回答

将以秒为单位的unix时间戳从Avro导入到Bigquery中正确的时间戳

google-bigquery、avro

我想将以AVRO格式存储的数据从GCS导入到Bigquery。源时间戳是Unix格式的秒精度(例如: 1572534049)，但是BQ要求它必须是毫秒或微秒精度才能使用逻辑类型并将其转换为正确的时间戳(我目前得到的值是1970年-XX-XX而不是2021年-XX-XX我知道我的问题类似于下面的帖子：但是，我不能将AVRO文件中的列乘以1000，因为它们是从其他地方检索的，然后定期存储。似乎我也不能在表模式定义中添加*1000。如果没

浏览 22提问于2021-02-22得票数 0

回答已采纳

1回答

Python中长型和逻辑型时间戳-micros的时间戳

python、timestamp、avro、python-datetime、timestamp-with-timezone

我有以下Avro模式： 'name': 'avro.example.Image', 'fields': [long", }] ]以及下面的python脚本，它使用

浏览 2提问于2022-10-02得票数 0

1回答

解析Apache NiFi中的微秒

apache-nifi

我想通过CSVRecordReader将包含时间戳的以下CSV内容通过AvroRecordSetWriter转换为AvroRecord1551784149996000,1我使用以下Avro模式： "name": "TestRecord", "fields": [ "name": "

浏览 1提问于2019-03-06得票数 1

1回答

向avro文件添加新字段/列

python、bigdata、avro

假设我有一个Avro文件，我想知道如何添加像timestamp这样的新字段/列来存储python中每条记录的当前系统时间戳。我试图提取avro模式和附加时间戳field_name，然后添加时间戳值列到数据文件。我是python和avro的新手。有没有人能帮我告诉我该怎么做。

浏览 4提问于2018-10-22得票数 0

1回答

基于文件模式从云存储读取avro文件的Google dataflow作业

java、google-cloud-dataflow

假设给定gcs中以以下格式存储的文件：-.avro。尝试使用google dataflow作业中的读取文件，使用apache Trying的FileIO.matchAll库根据时间戳间隔读取文件。gs://test-bucket/abc_20200201000000.txt gs://test-bucket/abc_20200301000000.txt 现在我们想要获取所有大于时间戳20200101000000到当前<e

浏览 10提问于2020-11-07得票数 0

1回答

将时间戳格式从avro复制到redshift

amazon-redshift、avro

我试图复制一个avro文件，使用copy命令进行红移。该文件有一个类型为：红移变量类型：“时间戳”时间戳 timeformat &#x

浏览 9提问于2020-02-10得票数 4

回答已采纳

2回答

BigQuery中不同文件格式加载的比较

google-cloud-platform、google-bigquery

然而，我想知道是否有可用的基准(或者Google工程师可以在答案中告诉我)加载不同格式的效率如何比较。是否显示与加载它有任何性能差异：我相信其中一个答案将是“为什么你不测试它”，但我们希望，在架构转换器或重写我们的应用程序之前，工程师可以与我们分享(如果有的话)上述格式中

浏览 1提问于2018-03-14得票数 1

回答已采纳

1回答

失败，异常java.io.IOException:org.apache.avro.AvroTypeException: Found long，应为配置单元中的联合

java、hadoop、hive

具体步骤如下：我已经在avsc文件中描述了avro schema，并将其放入hadoop中： "name":"Doc", create table tweetsavro 'org.apache.hadoop.hive.serde2.avro.AvroSerDe&

浏览 1提问于2016-02-18得票数 6

回答已采纳

3回答

云数据集中的数据转换

google-cloud-data-fusion、cdap

我有一个值为20191120 (yyyyMMdd格式)的列，我想将它作为日期加载到BigQuery中的一个表中。表列数据类型也是日期。到目前为止，我尝试使用“解析作为简单日期”将字符串转换为时间戳，并尝试使用格式日期将字符串转换为“yyyy”，但是这个步骤将字符串转换为字符串，最终加载失败。我甚至试图在o/p模式中显式地将列指定为date。但是它在运行时失败了。我尝试将其作为时间戳保存在管道中，并尝试将日期加载到Bigquery类型中。我注意到op出现的错误

浏览 6提问于2019-12-07得票数 2

回答已采纳

1回答

在Apache Ni-Fi中使用PutInfluxDatabaseRecord时由于时间戳造成的错误

timestamp、apache-nifi、influxdb

我使用PutInfluxDataRecord处理器将数据从AVRO格式转换为内联协议，并将数据插入内流(通过使用StandardInfluxDatabaseService 1.15.0-快照控制器服务)在Avro 1.15.2控制器服务中，我选择了选项模式访问策略:使用嵌入式Avro模式。在PutInfluxDataRecord处理器的属性中，我将时间戳字段属性的值设置为"time_stamp"，这是处理器输入流中包含时间<

浏览 1提问于2022-02-09得票数 0

回答已采纳

1回答

如何将Avro加载到具有“时间戳”类型列的BigQuery表中

google-bigquery

默认情况下，Avro不支持时间戳，但我可以在文件中输入“Epoch”时间值。我想要的是在使用命令行工具将Avro文件数据加载到Bigquery表时，以“时间戳”格式加载这些值。

浏览 0提问于2017-11-21得票数 0

回答已采纳

1回答

将unix时间戳转换为avro并存储在BigQuery中

google-bigquery、avro

Avro模式： { "type": "record", "fields": [name": "timestamp", "type": { "type": "long", "logicalTyp

浏览 8提问于2019-06-07得票数 0

回答已采纳

3回答

按键从Dataset中的Map中排序

scala、apache-spark、apache-spark-dataset

我想按时间戳订购一些从HDFS检索的avro文件。我的avro文件的架构是：注意:值

浏览 0提问于2019-05-01得票数 1

回答已采纳

1回答

时间戳与avro模式

apache-kafka、avro、vertica

我有Vertica调度器，它从Kafka消耗avro数据。Vertica的其中一列是TIMESTAMP，目前，我尝试定义了Avro模式，如下所示： "name":"startDate", "logicalType知道我需要在avro模式中更改什么吗？

浏览 76提问于2019-05-30得票数 0

1回答

谷歌BigQuery对Avro* logicalTypes的支持*

google-cloud-platform、google-bigquery、google-cloud-storage、avro

正如谷歌所宣称的，不支持从Avro logicalType转换到BigQuery特定类型(如描述的)。但是，我能够用以下模式加载Avro文件： 'name': 'test', 'type': 'record',name': 'test_timestamp', 'type': &#x

浏览 1提问于2018-05-09得票数 2

回答已采纳

点击加载更多

Avro日期和时间与BigQuery的兼容性？

NiFi Avro* Kafka消息nano-时间戳(19位)转换为毫秒时间戳*

用于Kafka的数据复制(LiveAudit上的自定义)