我在Spark SQL中遇到了一个问题，如果我将列类型从字符串类型转换为时间戳类型，则值将变为NULL。-','2018','10','01'),0))),'yyyy-MM-dd'),'yyyyMMdd HH:mm:ss')""")
df2: org.apache.spark.sql.DataFr
浏览 98提问于2019-02-27得票数 1
回答已采纳
1回答
-04 10:41:00.00000004 E 2017-02-03 06:13:00.0000000
我有多个，所有的列数据类型都是字符串我想过滤掉那些像模式一样有日期时间的列名。假设上面给出了这个，并将所有列的数据类型作为字符串。我想要编写一段代码，自动检测具有日期时间格式值的列。
浏览 10提问于2021-06-01得票数 0
我试图使用JDBC读取Oracle表并将数据插入Hive表，但所有时间戳列的值都已更改(-6小时)。为什么会改变时间戳？* .builder .config("
浏览 3提问于2019-11-08得票数 1
从unix_timestamp将日期转换为时间戳，将火花日期转换为时间戳的问题返回null。scala> import org.apache.spark.sql.functions.unix_timestamp
scala> spark.sql("select from_unixtime(unix_timestamp(('2017-08-13 00
浏览 0提问于2018-10-01得票数 2
因为我是Spark (1.3.0)的新手，所以我想弄清楚它能做些什么，尤其是Spark SQL。 val sqlContext = new org.apache.spark.sql.SQLCo
浏览 3提问于2015-03-24得票数 0
我在字符串中有一个时间戳，我正在使用DateTimeFormatter解析该字符串，如下所示，并将其赋给时间戳类型的变量import java.time.format.DateTimeFormattercreate Instant from java.time.format.Parsed
浏览 93提问于2021-09-20得票数 0
因此，我设法将一个年份、月份和日列合并为1，然后将其与时间列组合起来。当我试图将它转换为时间戳时，我得到的是错误的时间戳。这是我试过的密码。我试图转换的一个示例日期是: 1/1/2000 12:53上午
浏览 1提问于2021-12-08得票数 0
回答已采纳
我正在尝试将一个字符串更改为时间戳，但是在我的区域中，3月的最后一个星期日凌晨2:00到3:00 不存在，并返回null。示例：+---|
+------------
浏览 3提问于2022-08-31得票数 1
回答已采纳
3回答
我是Spark SQL的新手，正在尝试将spark数据帧中的字符串转换为时间戳。我在一个名为time_string的列中有一个类似于'2017-08-01T02:26:59.000Z'的字符串CAST (time_string AS T
浏览 3提问于2017-08-08得票数 18
1回答
%scalaimport org.apache.spark.sql.functions.yyyy-mm-dd").as("to_date")| Date|to_date||20110813| null|+--------+---
浏览 6提问于2022-03-15得票数 0
回答已采纳
hour列采用UTC时间，我想创建一个基于time_zone列的具有本地时间的新列。我如何在PySpark中做到这一点？
浏览 2提问于2019-12-03得票数 5
回答已采纳
3回答
我使用在case类和编码器的帮助下指定模式的结构化流来获取流数据。import java.sql.Timestamp dateTime: Timestamp, userIdInteger, etag: String, srcBucket: String
import org.apache.spark.sql.Enc
浏览 3提问于2019-11-23得票数 3
回答已采纳
2回答
我面临这样的问题:当我输入一个带有spark.sql数据的Hive时间戳字段时，时间被奇怪地更改为21:00:00！我有一个用spark.sql读取的csv文件。我想输入的Hive字段是格式的(我使用此数据类型而不是日期的原因是我想用Impala查询表，而Impala只有时间戳，所以它不是简单
浏览 1提问于2017-11-22得票数 1
回答已采纳
spark从MySQL读取一个表，该表有一个存储UTC时区值的时间戳列。在本地(IST)中配置Spark。MySQL存储以下时间戳值。df.show(100,False)在使用上面的conf之后，我可以使用df.show()查看正确的
浏览 3提问于2021-10-27得票数 1
2回答
星火未能将字符串转换为时间戳。
、、、、
，将字符串转换为时间戳时，我只有空值：正在做什么
val df = spark.sql(s"""select dt from ${use_database}.pz_send_demande_diffusio
浏览 0提问于2019-08-01得票数 0
回答已采纳
我在Cassandra中将时间戳存储为YYYY-mm-dd HH:MM:SSZ，并且我能够在cql shell中过滤数据以获得特定的时间范围，但是当我在pyspark数据帧上尝试同样的操作时，我在过滤后的数据帧中没有得到任何值有谁能帮我在pyspark中找到合适的datetime格式吗？
谢谢。
浏览 6提问于2020-03-05得票数 1
我有一些数据包含在字符串数组中，如下所示(仅作为示例)：我想将我的列表映射到一个时间戳数组然后创建一个数据帧，如下所示我<
浏览 3提问于2017-07-17得票数 4
回答已采纳
1回答
我正在尝试将字符串转换为时间标记格式。from pyspark.sql.types import DateType
这似乎不起
浏览 1提问于2021-04-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
