我正在为pubsub编写新的bigquery订阅，在尝试创建订阅时遇到了一个错误：
如果主题架构中的类型是字符串，而BigQuery表中的类型是时间戳、日期、日期或时间
浏览 5提问于2022-09-18得票数 0
我使用Python API将数据导入到BigQuery中： import osfrom google.cloud.exceptionsBadRequest as ex: print(err)
print(job.errors) 上面代码中提到的schema包含一个定义为bigquery.SchemaField("migration_datetime", &qu
浏览 8提问于2020-10-22得票数 2
回答已采纳
BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。
可以加载到时间戳中的<e
浏览 3提问于2016-11-17得票数 5
回答已采纳
我有一个具有以下模式的BigQuery表：req_url STRING= "proto3";
string req_url = 1;}Incompatible schema type for field
浏览 3提问于2022-11-12得票数 0
回答已采纳
当有时间戳字段时，API是否支持将CSV导入到新表中？
如果我手动(使用BigQuery web界面)上传一个包含时间戳数据的CSV文件，并通过模式将该字段指定为时间戳，它就能正常工作。数据已加载。时间戳数据被解释为时间戳数据，并导入到时间戳字段中。然而，当我使用API对相同的文件做同样的事情时，我得到了这个错
浏览 2提问于2013-04-25得票数 0
回答已采纳
我正在尝试将数据从Pandas DataFrame加载到BigQuery表中。字段computation_triggered_time已将类型从日期时间更改为时间戳。
CREATE TABLE `[table name]` (df['computati
浏览 0提问于2018-11-16得票数 1
回答已采纳
我正在使用Bigquery解释器在zeppelin上运行Bigquery查询，查询是在一个表上运行的，该表的字段类型为时间戳。行为: 1.在google控制台上执行查询时，时间戳字段被视为日期，这是有效的默认行为，因为它是可读的。对于任何SQL数据库也是如此。2.当使用bigquery解释器在zeppelin上执行相同的查询时，时间戳字段将呈现为长类型</
浏览 1提问于2017-12-14得票数 0
1回答
我在谷歌的BigQuery上加载较大的文件时遇到了一个问题。问题是，当我加载少于1000行的文件时，它加载没有任何错误，但当我加载超过10000行的文件时，我得到加载错误。BigQuery error in load operation: Error processing job '......': Too many errors encountered.任务是从Redshift导出数据并将其加载到BigQuery中。下面是我是如何完成这项工作的(步骤)：
1.Creating a table in <
浏览 0提问于2016-08-10得票数 2
1回答
字段已将类型从整数更改为字符串。
、、、、
query生成两个文件/列:字符串和整数。 bigquery.SchemaField("age", "INTEGER", mode="NULLABLE") config = <e
浏览 7提问于2020-11-08得票数 2
回答已采纳
我正在尝试将数据从firestore导入到BigQuery，并且我能够将数据正确转换为模式，但我只有一个问题收集用户，我有一个字段命名为时间戳和数据类型也是时间戳我无法转换此字段到列通过指定它在模式file.But时，我更改了字段名为utime我得到访问它在BigQuery中...任何人可以指导，我已经有许多注册用户在集合中，我正在寻找替代的方式，它将不需要修改的fieldname
浏览 5提问于2021-02-16得票数 0
回答已采纳
我一直在疯狂地尝试从现有的Datetime列类型创建一个列，该列类型将“发布”到一个大型查询“时间戳”列。我尝试了每一个函数"unixtime“和"unixtimeformat”函数的排列，但都没有结果:我总是让Dataprep发布到"string“或"datetime”列类型。创建一个具有“时间戳”类型列(比方说命名为"dt")的BQ表，并使用Dataprep的"
浏览 0提问于2018-07-01得票数 3
我的csv文件中有一个时间放大器值为'1522865628160‘。当我在bigQuery中加载该字段类型为时间戳的数据时，它将时间戳保存为“1522865628160000”。所以当我查询时它给了我错误
无法返回相对于Unix时代的无效时间戳值1522865628160000000微秒。有效时间<
浏览 0提问于2018-05-11得票数 5
回答已采纳
我想将1 TB的数据从Redshift迁移到BigQuery，这些数据分布在大约100个表上。
是否有任何工具可用于此数据迁移？如果像“pgloader”这样的东西(用于从MySQL迁移到PostgreSQL)是可用的，那么它会节省很多时间吗？
浏览 2提问于2016-09-23得票数 5
回答已采纳
3回答
如何在云数据集中转换字符串到日期？
我有一个值为20191120 (yyyyMMdd格式)的列，我想将它作为日期加载到BigQuery中的一个表中。表列数据类型也是日期。到目前为止，我尝试使用“解析作为简单日期”将字符串转换为时间戳，并尝试使用格式日期将字符串转换为“yyyy”，但是这个步骤将字符串转换为字符串，最终加载失败。我尝试将其作为时间戳保存在管道中，并尝试将日期加载到<e
浏览 6提问于2019-12-07得票数 2
回答已采纳
我有一个来自源代码的时间戳，它已经作为字符串加载到BQ中。我想用BigQuery编写一个查询，它将返回格式为2020-01-06 11:09:14.000-0600的时间戳。字符串字段当前格式如下: 2020-01-06T11:09:14.000-0600、2018-10-01T15:45:59.000-0500等。我尝试过以下操作:从bqtable中选择parse_timestamp ("%Y-%m-%d
浏览 14提问于2020-01-29得票数 2
回答已采纳
我很难让BigQuery正确地从avro文件中加载时间戳。
avro-文件的日期列存储的长度相同，具有逻辑类型的时间戳-micros。根据文档，BigQuery应该将其存储为时间戳数据类型。我也尝试了时间戳-millis的逻辑类型。masked>', 'tm': 1553990400000, '<
浏览 2提问于2020-08-10得票数 1
回答已采纳
我正在尝试将数据从数据框架推送到。我将数据帧的日期字段设置为我将谷歌的大查询日期设置为*DATETIME*。当我从Python导出到GBQ时，会得到以下错误：
InvalidSchema:请验证DataFrame中的结构和数据类型是否与目标表的架构相匹配。如果我把所有东西都变成字符串格式，它就能工作。我认为您不
浏览 3提问于2018-11-30得票数 0
1回答
在Apache模板中转换unix时间戳属性存在问题。
FlowFile：ListenTCP组件侦听传入的Squid日志。随后，ConvertRecord组件将文件从格式转换为csv (在组件GrokReader/RecordWriter/CSVRecordSetWriter中，我已经使用MM/dd/yyyy :mm:ss格式完成了时间戳格式行)。TCP_MISS,200,103701,GET,http://www.cnn.com/,ma
浏览 0提问于2018-02-20得票数 2
1回答
我使用R包"bigrquery“将数据从R数据帧上传到现有的BigQuery表中，如下所示：
BigQuery似乎在自动检测数据格式，错误地认为NewID列实际上是一个字符串，它的值类似于"00487“。
浏览 0提问于2018-07-05得票数 3
回答已采纳
我正在尝试通过Spark在BigQuery中存储日期数据类型列 cast(from_unixtime(eventtime*60) as date) as createdDate 我也尝试过to_date，如下所示，但没有成功 to_date(from_unixtime(eventtime*60)) as createdDate 现在我正在尝试使用Spark-BigQuery连接器保存这个数据集，它给我的错误是字段createdDate已将类型从DATE改为INTEG
浏览 67提问于2021-01-19得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
