我尝试通过spark streaming (jdbc)将avro文件的数据集加载到Teradata表中。配置设置正确，加载在一定程度上成功(我可以验证数据行是否已插入到表中)，但中途开始出现异常，加载失败。堆栈跟踪如下所示。有什么可能导致这种情况的线索吗？ERROR executor.Executor: Exception in task 2.0 in stage 0.0 (TID 0)
java.sql.BatchUpdateException: [Terad
浏览 11提问于2018-02-09得票数 0
我有一个100 GB的表，我正试图加载到google bigquery中。它在GCS上存储为一个100 GCS的avro文件。.; Unexpected abort triggered for我在考虑尝试一种不同的格式。我知道bigquery支持几种格式(AVRO、JSON、CSV、Parquet等)，原则上可以加载这些格式中的任何格式的大型数据集。然而，我想知道在座的任何人是否有经验，在加载
浏览 0提问于2019-04-02得票数 3
在这种情况下，我们需要将数据行从teradata表加载到mysql表中，对于如何开始使用它有任何提示吗？可以出口(或其他任何实用工具)帮助？
(预先谢谢:)
浏览 3提问于2014-02-27得票数 0
回答已采纳
有人要求我使用Python脚本来读取文件，加载到dataframe中，并将其写入Teradata中的一个表中。它可以工作，但它需要3-4分钟来编写一个300行的表。对于数据仓库来说，这是一项很小的工作，我们的Teradata在处理大量数据集时工作得很好，但我发现要运行这个脚本需要3分钟的时间。我不认为这是一个系统问题。是否有更好的方法将中小型表加载到Teradata中？如果我们在Server中执行此
浏览 8提问于2020-09-17得票数 1
回答已采纳
我正在尝试使用FASTLOAD实用程序将SAS数据集加载到teradata表中。这在某些情况下工作得很好，但我希望分离错误表，并在teradata环境中的我自己的/其他数据库中创建它们。任何方法都可以使用proc sql command或proc append command。提前谢谢。
浏览 5提问于2013-03-31得票数 2
1回答
我试图构建一个直线脚本，将存储在HDFS中的CSV文件加载到Hive中的外部表中。首先，我创建一个空的外部表：(column string)LOCATION '我已经用以下内容将CSV文件加载到HDFS中：现在，我想将这个CSV数据加载/插入到外部Hi
浏览 4提问于2020-12-01得票数 1
我在SAS企业指南中生活(好吧，工作)，正在尝试对Teradata中的一个表执行简单的左连接。这个表非常大(700+列，11亿行)，到目前为止，我一直通过程序顶部的LIBNAME语句进行连接，然后使用通常的PROC SQL来读取数据。
我遇到的问题是它的速度非常慢。我使用左表上的90行成功地执行了连接，花了3个小时才完成。我想使用的实际表大约有15,000行。值得一提的是，我可以在Teradata SQL Assistant中运行一个简单的select *查询，这只需要1分钟多一点的时间
浏览 2提问于2016-07-12得票数 0
我有一个6G的csv，我正试图将它加载到Teradata中。因此，我启动Teradata助手，创建了一个空表，然后打开Import模式，并尝试使用(?,?,?,?,?,?,?,?,?,?,?,?在记录614770处读取导入文件时出错:引发“System.OutOfMemoryException”类型的异常。我认为这是因为Teradata助手在尝试将数据发送到Teradata</e
浏览 1提问于2014-12-03得票数 0
我有大约95个数据集成接口，用于从SAP ECC环境中提取和加载数据。每个数据集在单个表中“登陆”到Teradata中，随后被处理到一个更具结构化和键值的表中，以供下行使用。如果落地数据集无法向前处理，它将被截断，并且在下一个加载到来时，新的数据集将替换落地中的数据集。这一切都不是我设计或开发的，但它造成了很多痛苦以及补救(bug)罚单。我想提出
浏览 3提问于2013-12-05得票数 0
我们使用apache将数据从Teradata卸载到Hortonworks平台中的Hive表，使用。
我们试图使用Sqoop命令“”从Sqoop创建Teradata表。如果Teradata中没有Interval/Period数据类型，但是如果表包含间隔/周期数据类型，则进程将正常工作(错误:不支持的数据类型)。我也尝试过使用“h
浏览 7提问于2016-11-15得票数 2
我正在尝试使用informatica将字符串从平面文件加载到目标teradata表中的日期。但是在这样做的同时，我的工作流成功了，但是数据没有加载到表中。当我运行调试器时，数据正在通过，SQ，expression。当我调试目标实例时，获取日期字段的“无数据可用”。
你们谁能帮我知道如何将字符串从平面文件加载到teradata目标表中的日期。使用的
浏览 10提问于2018-07-23得票数 0
我使用sqoop与我的TD数据库拨号。当我尝试这样做时，一切正常(我的表是在默认的配置单元数据库中创建的) -libjars $LIB_JARS \ --connection-manager org.apache.sqoop.teradata.TeradataConnManager \ --
浏览 3提问于2013-07-23得票数 0
回答已采纳
1回答
我希望将存储在GCS中的Avro文件中的数据加载到大型查询表中。avro中的两个字段具有datetimc。
我有两个字段的Avro文件，其中一个字段具有长类型的Epoch时间值。对于该字段，我希望在使用命令行工具或控制台将Avro文件数据加载到Bigquery表时，以“时间戳”格式加载值。例如:我有一个值为1614004223589的列，我希望使用命令行工具或控制
浏览 3提问于2021-02-23得票数 1
回答已采纳
BigQuery通常在加载Avro数据方面做得很好，但是"bq“在时间戳和其他使用Avro logicalType属性的日期/时间字段方面遇到了很多问题。当BigQuery时间戳将其解释为微秒时间戳时，我使用Avro类型的时间戳-millis的数据就会出现故障。
可以加载到时间戳中的时间戳-micros整数在BigQuery日期时间中无效。Avro " DATE“类型无法加载
浏览 3提问于2016-11-17得票数 5
回答已采纳
我已经创建了一个avro-hive表，并使用hive insert-overwrite命令将数据从另一个表加载到avro-table中。我可以看到avro-hive表中的数据，但当我尝试将其加载到bigQuery表中时，出现错误。我收到的错误：-Error while reading data, error message: The A
浏览 5提问于2017-12-27得票数 1
2回答
SSIS TPT导入错误
、、、、
当我尝试用ssis将数据从excel源加载到teradata，并通过attunity1.2使用MicrosoftConnectorforTeradata1.2时，我遗漏了什么？[Teradata目标值23]错误:启动阶段遇到的TPT导入错误。找不到消息目录操作程序SSIS.Pipeline错误:组件"Teradata“(23)失败了预执行阶段，并返回错误代码0x80004005。我的配置是：
Tera
浏览 0提问于2014-12-11得票数 0
回答已采纳
我在java中的代码是使用结果集读取teradata，并且正在打印终端中的每一行，但是它没有正确地写入avro，也就是说，很少有行因为没有原因而被删除。不存在删除行的模式，我在插入avro文件时将每个数据类型转换为String。我觉得阿夫罗在我的写作过程中有一个错误，但我想不出来。任何帮助都是非常感谢的。这是密码。
浏览 0提问于2018-05-02得票数 0
回答已采纳
我正在使用java，试图将avro文件中的数据加载到BigQuery中。创建外部表时，BigQuery会自动从.avro文件中检测架构。在为要加载的数据创建常规BigQuery表时，是否有一种方法在GCS中指定模式/数据文件？
先谢谢你
浏览 1提问于2018-08-23得票数 0
回答已采纳
1回答
我试图在一些使用Hive external table生成的avro文件的基础上创建一个spark-scala。我使用的是CDH 5.16，它有hive 1.1，spark 1.6。但是，当我查询数据时，我将获得所有列的NULL。我对avro文件类型非常陌生。有人能帮我一下吗。下面是我的spark代码片段，我已经将文件保存为avro<
浏览 1提问于2019-07-17得票数 2
回答已采纳
我有HDFS格式的数据集，它是以snappy作为压缩编解码器的拼接格式。据我所知，目前Redshift只接受纯文本，json，avro格式的gzip，lzo压缩编解码器。或者，我将拼图格式转换为纯文本，并使用Pig脚本将snappy编解码器更改为gzip。
目前有没有一种方法可以直接将数据从地块文件加载到Redshift？
浏览 2提问于2016-03-10得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
