我正在尝试在spark dataframe(scala)中进行过滤，以检查某列是否少于当天。CurrentDate))"message": "java.lang.RuntimeException: Unsupported literal type class org.apache.spark.sql.catalyst.expressions.CurrentDate
浏览 144提问于2016-08-25得票数 0
我正在尝试使用spark sql从pyspark dataframe创建一个hive paritioned表。下面是我正在执行的命令，但得到了一个错误。错误消息如下。df.createOrReplaceTempView(df_view)
spark.sql("create table if not exists tablename PARTITION (date)AS select * from df_view") 错误：pyspark.sql.utils.Parse
浏览 113提问于2021-09-19得票数 0
回答已采纳
我正在尝试使用spark sql对hive表执行查询。下面的代码运行良好 spark=SparkSession.builder.master("local[1]".enableHiveSupport().appName("test").getOrCreate()
df=spark.sql("select * from table_name where date='2021-05-16' and name='x
浏览 22提问于2021-09-17得票数 0
回答已采纳
如何验证传入的日期是..并将其与当前时间戳( yyyyMMDD格式)进行比较，直至当前月份。如果传入的日期(即)月份超过当前月份，则拒绝其他日期字段。在spark sql中使用from_unix_time(unix_timestamp)进行验证。在case when语句中需要(spark-sql) 例如： 编辑： spark.sql("select ca
浏览 83提问于2021-08-12得票数 0
我是Apache Spark的新手，我有一个用例来查找多个日期之间的日期差距标识。 e.g ? 在上面的示例中，该成员在2018-02-01到2018-02-14之间存在差距。如何使用Scala找到这个Apache Spark 2.3.4。 上述方案的例外输出是， ?
浏览 15提问于2020-01-18得票数 0
回答已采纳
3回答
我已经使用lambda函数尝试了带有参数的Spark并注册了它。但是我如何创建不带参数和注册程序的udf呢?我已经尝试过了，我的示例代码将显示当前的时间。从日期时间导入从pyspark.sql.functions导入的日期时间 timevalue=datetime.now()
return timevaluespark.udf.register('GATE_TIME', lambda():getTime(
浏览 13提问于2016-12-26得票数 3
回答已采纳
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：from pyspark.sql.functions import*在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functi
浏览 0提问于2018-12-06得票数 2
回答已采纳
我试图将以下日期格式中的出生日期列转换为Spark中的日期格式，然后计算相应的年龄。我可能也需要系统日期。我已经找到了一些可能有用的java库，但在使用dataframe时仍然存在一些困难。8月23日至6月09-APR-59
9/10/2015编辑：我刚刚发现Spark1.5.0添加了“日期时间函数”，这在将来1.5.0发布时会很有帮助。不幸的是，它不适用于AWS EMR中当前的s
浏览 4提问于2015-09-09得票数 1
回答已采纳
我正在使用Spark 2.0，有时我的工作会因为输入问题而失败。例如，我正在根据日期从S3文件夹读取CSV文件，如果没有当前日期的数据，我的作业就没有什么要处理的，所以它抛出一个异常，如下所示。Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: s3n://data/2016-08-31/
浏览 146提问于2016-09-03得票数 8
回答已采纳
我正在用Scala编写一个Spark批处理作业，并且需要过滤一个dataframe ('driverTable'，带有列'date')，这样我只能将日期保持在2年前(丢弃所有其他列)。s"date <= ... ") .sortBy(_.getTime)driverTable: org.apache.spark.sql.DataFrame= flowname: string
浏览 3提问于2021-05-25得票数 0
回答已采纳
1回答
我正在处理datetime数据，并希望使用spark函数从dt字符串中获取年份。我使用的代码如下：import org.apache.spark.sql._
import org.apache.spark.sql.typesunix_timestamp(mydf("date"),"MM/dd/yy&quo
浏览 0提问于2019-07-18得票数 2
回答已采纳
2回答
scala中日期的比较
、、、
=null && p.trim.length>0})def convertStringToDate(s: String): Date = {
val
浏览 0提问于2018-10-02得票数 1
回答已采纳
1回答
我有一个场景，我必须获取当前日期与来自dataframe的列中的日期之间的差异。当我获取localDate format格式的当前日期，而dataframe中的日期为date数据类型时，我遇到了一个问题。此外，我还尝试将当前日期转换为字符串，并从dataframe to string转换数据，但没有得到预期的输出，因为日期应该与日期数据类型进行比较。我使用了以下代码：
import java.tim
浏览 21提问于2018-09-05得票数 0
2回答
我正在尝试解析当前类型为string的date列。它的格式是我有火花2.1版本。我试过以下几种方法这将返回2005-04-24，但没有时间戳。然后我试着
spark.sql("select TO_DATE(Date_Resulted, 'yyyy-MM-ddTHH:mm:ssZ') AS date from lab
浏览 2提问于2019-09-20得票数 2
回答已采纳
2回答
我正在使用Databricks/Apache，所以我可以使用它们的内置函数或SQL查询。我不知道该怎么做，任何一般性的想法都是值得赞赏的！
浏览 0提问于2018-08-02得票数 0
1回答
将12小时时钟转换为24小时时间
、、、、
您可以将spark.sql.legacy.timeParserPolicy设置为旧式以恢复Spark3.0之前的行为，也可以将其设置为更正，并将其视为无效的日期时间字符串。我也尝试了以下的pyspark，但得到了一个类似的错误：
df_time_new = df_time
浏览 0提问于2021-08-10得票数 2
回答已采纳
1回答
我使用的是spark版本的2.4.5，直到我最近更新到3.1.2版本之前，一切都很好。import org.apache.spark.sql.functions.---------++--------------------+-------------------+
现在，使用<
浏览 9提问于2022-01-27得票数 0
回答已采纳
1回答
我有下面的代码，以获得适当格式的日期，然后能够附加到文件名字符串。%scala
import org.apache.spark.sql.functions.{current_timestamp, date_format}val dateValue = spark.range(1).selectcollectAsList().get(0).g
浏览 0提问于2019-03-20得票数 2
回答已采纳
from pyspark.sql import SparkSession, Rowfrom kafka importKafkaConsumer
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars spark-sql-kafka-0-10_2.11-2.0.2.jar,spark-streaming-kafka-0-8-assembly_2.11-2.3.
浏览 5提问于2020-06-12得票数 1
1回答
我想删除所有的记录，这是重复的条目，但已经说，时间戳的差异可以是任何时间作为一个偏移，但为简单起见，将使用2分钟。有人向我提到要创建一个UDF比较日期，如果其他所有列都是相同的，但我不知道如何做到这一点，这样我就可以过滤掉行，或者添加一个标志，然后删除这些行，任何帮助都将非常感谢。类似的sql问题( )
谢谢!
浏览 2提问于2017-10-25得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号