在我的数据帧中，我有一个TimestampType格式的列'2019-03-16T16:54:42.968Z‘，我想将其转换为格式为'201903161654’的StringType列，而不是通用的时间戳列这是因为我需要根据字符串格式的时间戳对几个目录进行分区，如果我对时间戳列</e
浏览 79提问于2019-03-18得票数 1
回答已采纳
我有一个有bigint列的Dataframe。如何将bigint列转换为scala spark中的时间戳
浏览 1提问于2019-07-23得票数 4
回答已采纳
3回答
我是Spark SQL的新手，正在尝试将spark数据帧中的字符串转换为时间戳。我在一个名为time_string的列中有一个类似于'2017-08-01T02:26:59.000Z'的字符串CAST (time_string AS T
浏览 3提问于2017-08-08得票数 18
1回答
一直试图使用Spark&Scala将数据写入HBase。需求是-我必须根据来自业务的列的时间戳为HBase记录设置TTL。
将列的时间戳值转换为Epo
浏览 1提问于2018-11-21得票数 3
我在字符串中有一个时间戳，我正在使用DateTimeFormatter解析该字符串，如下所示，并将其赋给时间戳类型的变量import java.time.format.DateTimeFormattercreate Instant from java.time.format.Parsed如何将其转换为上下文:我正在尝试<e
浏览 93提问于2021-09-20得票数 0
我有一个PySpark DataFrame df，它有一些列，如下所示。hour列采用UTC时间，我想创建一个基于time_zone列的具有本地时间的新列。我如何在PySpark中做到这一点？
浏览 2提问于2019-12-03得票数 5
回答已采纳
2回答
我使用SLT将表加载到我们的Hana DB中。SLT使用ABAP字典，并将时间戳作为十进制(15,0)发送到HANA DB。通过计算视图中的计算列进入HANA数据库后，我尝试将小数转换为时间戳或第二日期。表如下所示：我运行一个小的SLT转换来填充第27-30列。SLT中的ABAP层根据数据库事务填充列</em
浏览 112提问于2017-02-02得票数 2
回答已采纳
在Spark中，将Timestamp列转换为毫秒时间戳Long列的最短和最有效的方法是什么？下面是一个从时间戳到毫秒的转换示例ts: org.apache.spark.sql.DataFramesecond
浏览 1提问于2019-06-18得票数 2
我想在上的笔记本中使用PySpark创建一个简单的数据格式。dataframe只有3列：
stringStartTimeStanp - 'HH:MM:SS:MI'*EndTimeStanp -数据类型，例如“时间戳”或可以在表单‘HH:MM:SS:MI’*EndTimeStanp中持有时间戳(无日期部分)的数据类型--类似于“时间戳”之类的数据类型或可以在表单&
浏览 2提问于2021-06-22得票数 4
回答已采纳
1回答
在将拼图格式的数据从Snowflake卸载到s3之后，我创建了一个具有等效snowflake模式的Hive表，并将s3作为外部位置，但我得到以下错误：看起来Snowflake卸载sparkLOCATION
's3a://schemaname
浏览 1提问于2020-06-30得票数 0
我每天都使用PySpark中的sqlContext.read.parquet函数来读取parquet文件。数据有一个timestamp列。他们将时间戳字段从2019-08-26T00:00:13.600+0000更改为2019-08-26T00:00:13.600Z。它在数据库中读得很好，但当我试图通过spark集群读取它时，它给出了一个Illegal Parquet type: INT64 (TIMESTAMP_MICROS)错误。13.600+00
浏览 0提问于2019-08-29得票数 1
1回答
我试图将数据从卡桑德拉加载到星火DataFrame，但时间戳列值正在转换为UTC时区，而不是EDT。Cassandra时间戳:- 16-08-2017 :00:00(东部时间区)我在googled上搜索了很多，
浏览 7提问于2017-08-16得票数 1
回答已采纳
模式将dataType声明为Timestamp，但spark作业没有以正确的格式对其进行转换。.*")当1542126896113转换为50838-01-28 18:49:111.0时，时间戳就会出现。有没有一种将毫秒转换为日期时间格式的</em
浏览 0提问于2018-11-13得票数 0
回答已采纳
2回答
当我通过impala查询时，我将一个日期字段转换为hive中的时间戳为from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') as timestamp) as column_name,，时间以GMT格式显示。不仅我创建的列每个时间戳字段都要转换为GMT格式。
如何让它按原样显示时间？或者如何
浏览 10提问于2017-01-24得票数 3
1回答
加载到拼板时将时间戳转换为UTC
、、、、
dataFrame.write.parquet(path)UTC时间我想按原样加载时间戳，而不将其转换为任何其他时区。
浏览 4提问于2020-12-10得票数 2
我有一个包含毫秒的Timestamp格式的列。
我想重新格式化我的timestamp列，使它不包括毫秒。例如，如果我的时间戳列有类似于2019-11-20T12:23:13.324+0000，的值，我希望我的重新格式化的时间戳列具有2019-11-20T12:23:13值。在spark-scala中是否有直接执
浏览 2提问于2019-11-22得票数 0
回答已采纳
我想用spark session ( spark ) -而不是spark context将spark dataframe字符串列'yyyyMMdd‘转换为日期格式。因为我没有使用spark context (sc)，所以我不能使用以下代码，尽管它可以精确地完成我希望它做的事情：
.withColumn("column1",DF.to_date(F.col("column1"),"yyyyMMd
浏览 4提问于2019-03-26得票数 2
1回答
如何将字符串2018-03-21 08:15:00 +03:00存储为timestamptype，同时保留spark中的UTC偏移量？已在下面尝试
df = spark.createDataFrame([("2018-03-21 08:15:00 +03:00"df.withColumn("newtimestamp", to_timestamp(col('timestamp'
浏览 2提问于2021-02-17得票数 4
1回答
这是我的第一个问题，希望你能帮我。我在databricks社区中创建了一个dataframe
我希望将“输入”列转
浏览 5提问于2022-04-09得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号