在PySpark Python中减去两个日期列
在 PySpark 中，你可以使用 pyspark.sql.functions 模块中的 datediff 函数来计算两个日期之间的差值。以下是一个简单的例子：
from pyspark.sql import SparkSession
from pyspark.sql.functions import datediff, col
# 创建 SparkSession
spark = SparkSession.builder.appName("DateSubtraction").getOrCreate()
# 创建一个 DataFrame 示例
data = [
("Alice", "2023-01-01", "2023-01-10"),
("Bob", "2023-01-05", "2023-01-20"),
("Charlie", "2023-01-15", "2023-01-25")
]
columns = ["Name", "StartDate", "EndDate"]
df = spark.createDataFrame(data, columns)
# 将日期列转换为日期类型
df = df.withColumn("StartDate", col("StartDate").cast("date"))
df = df.withColumn("EndDate", col("EndDate").cast("date"))
# 计算两个日期之间的差值
df = df.withColumn("DateDifference", datediff(col("EndDate"), col("StartDate")))
# 显示结果
df.show()基础概念
- 日期类型：在 PySpark 中，日期类型用于表示特定的日期，格式为
YYYY-MM-DD。 - datediff 函数：用于计算两个日期之间的差值，返回的结果是以天为单位的整数。
优势
- 高效处理：PySpark 通过分布式计算框架能够高效处理大规模数据集。
- 灵活性：支持多种日期操作函数，便于进行复杂的日期计算。
类型
- 日期差值：计算两个日期之间的天数差。
应用场景
- 数据分析：在数据分析中，经常需要计算时间跨度，例如用户活跃天数、产品生命周期等。
- 业务逻辑：在业务逻辑中，可能需要根据日期差值来触发某些操作，例如发送提醒、计算工龄等。
常见问题及解决方法
- 日期格式不正确：确保日期列的格式正确，并且能够被转换为日期类型。
- 日期格式不正确：确保日期列的格式正确，并且能够被转换为日期类型。
- 日期列中包含空值：在进行日期计算之前，需要处理空值。
- 日期列中包含空值：在进行日期计算之前，需要处理空值。
- 日期差值计算错误：确保使用正确的函数和参数。
- 日期差值计算错误：确保使用正确的函数和参数。
参考链接
通过以上步骤和示例代码，你可以轻松地在 PySpark 中计算两个日期列之间的差值。
相关·内容
3回答
上个星期一去火场
、、、
我在Python中使用Spark2.0。
我有一个带有DateType()类型列的dataframe。我想在dataframe中添加一个列，其中包含最近的星期一。
我可以这样做：
reg_schema = pyspark.sql.types.StructType([
pyspark.sql.types.StructField('AccountCreationDate', pyspark.sql.types.DateType(), True),
pyspark.sql.types.StructField('UserId', pyspark.sql.
浏览 7提问于2016-10-26得票数 10
回答已采纳
1回答
我对pyspark是个新手，我正面临着regex的问题。因此，我有一个日期列，我想检查列中的行是否为日期格式 ..。我知道如何在普通的python中做到这一点，但不知道pyspark，有人能帮助我吗？ 我的代码： df =
Date name
0 12/12/2020 a
1 24/01/2019 b
2 08/09/2018 c
3 12/24/2020 d
print(re.search('\d.*\/.*\d.*\/.*\d', str(df['Date']))) 这提供了：
浏览 54提问于2021-02-28得票数 0
回答已采纳
在pyspark (和一般的python )中执行两个数据帧的滚动连接时，我遇到了很多问题。我希望将两个pyspark数据帧通过它们的ID和最近日期反向连接在一起(这意味着第二个数据帧中的日期不能晚于第一个数据帧中的日期)
Table_1：
Table_2：
期望的结果：
从本质上讲，我知道SQL查询可以做spark.sql(“查询”)等任何事情。我尝试了几种在spark环境下不起作用的方法。谢谢!
浏览 1提问于2020-08-08得票数 2
我正在尝试使用pyspark在databricks中创建一个列。我需要检查是否在其他两个日期列之间找到了日期列，如果它是1，则不是0。我想把这个称为基本事实，因为它会告诉我在日期上它是在两个日期列之间找到的。这就是我到目前为止所知道的： df = (df .withColumn("Ground_truth_IE"，when(col("ReadingDateTime").between(col("EventStartDateTime") &.withColumn(“EventEndDateTime”))，1).otherwiste(0)
浏览 14提问于2020-10-22得票数 0
回答已采纳
1回答
如何有效地对列进行归一化
、、、、
我有一个大型数据集(~4M行由~3K列组成)，目前我的意思是使用Python/PySpark中的以下代码对每一列进行规范化：
import pyspark.sql.functions as f
means_pd = df.select(*[f.mean(c).alias(c) for c in df.columns]).toPandas()
diffs = df
for c in df.columns:
mean = means_pd.loc[0,c]
diffs = diffs.withColumn(c, f.col(c) - f.lit(mean))
这很慢，特别是遍历列的步骤。
浏览 6提问于2022-06-15得票数 1
4回答
我的数据在pyspark ('pyspark.sql.dataframe.DataFrame')中。其中一列以Twitter字符串格式存储日期时间。
我为python找到了几个解决方案，但是没有具体的解决方案。
这是列的样子。
+------------------------------+----+
|created_at(string format) |date|
+------------------------------+----+
|Tue Mar 26 02:29:54 +0000 2019|null|
|Tue Mar 26 02:29:54 +0000
浏览 0提问于2019-05-03得票数 1
回答已采纳
我有一个python程序来生成excel报告。它在满足逻辑条件的列旁边创建一个额外的列。该列的标题必须包含满足条件的列的标头(字段标签)。目前，该列的标题总是“持续时间”，但我希望它是“满足条件的列的标题”“+ space +”the“。满足条件的列的标题是CSV文件中的“Field_Label”。例如，满足条件的列的标题是“订单日期”，新列的标题必须是“订单日期持续时间”。下面是插入此列的代码的一部分。如果有任何想法，我将不胜感激。预期的输出是两个日期之间的天数。
'''
df_Temp.insert(position, 'Duration', pd.
浏览 28提问于2022-06-27得票数 0
这是用于使用Spark2.3.2的Python/PySpark。我正在寻找最佳实践方法，将一个数据框架的列复制到另一个数据框架，使用PySpark对一个非常大的10+十亿行数据集(按年/月/日平均划分)。每一行都有120列要转换/复制。输出数据帧将被写入另一组文件中，日期分区。
示例模式是：input DFinput (colA，colB，colC)和输出DFoutput (X，Y，Z)
我想将DFInput复制到DFOutput，如下所示(colA => Z，colB => X，colC => Y)。
在Python 2.3+中这样做的最佳实践是什么？是否应该对每个列使用D
浏览 1提问于2018-12-19得票数 5
我有int格式的日期数据，如下所示：
让我们假设有两个不同的列：'Timestamp_start‘和’时间戳_End‘。当时间戳值在int中转换时，如何计算“分钟”单位中两个时间戳之间的时间差？
例如，如果该值是用yyyymmddhhss格式的，则Timestamp_start为201911030903，Timestamp_End为201911031006。结果可能是63分钟。
由于Python 中存在复杂的日期时间转换，所以我不知道如何计算以分钟为单位的时间差。结果也是整数。
浏览 0提问于2019-11-24得票数 0
2回答
我想要两个日期列在天数上的差异。
在熊猫中，两个"datetime64“类型列中的数据差异返回天数
但是在pyspark.pandas dataframe中，差异在"int“类型中返回。
import pandas as pd
import pyspark.pandas as ps
data = {
"d1": [
"2019-05-18",
"2019-06-21",
"2019-05-08",
"2019-05-22",
浏览 20提问于2022-11-15得票数 0
回答已采纳
1回答
我有两个列的大数据集，我使用spark和pyspark模块来分析数据集。我试着用“日期”列和“计数”栏绘制线条图。但日期列包括4年的详细情况，但这些都是不整齐的(按日计算)，日期是混合的。所以，首先我想重新安排日期，过去到现在。而这个日期列，数据类型是字符串。如果我是如何在日期类型值中更改此字符串类型日期值，则此日期列必须转换为“日期类型”。
浏览 3提问于2020-04-18得票数 1
回答已采纳
我在PySpark 3.0.1的中找到了用于jdbc函数的文档，它说：
列-将用于分区的数值、日期或时间戳类型列的名称。
我认为它接受一个datetime列来划分查询。
因此，我在EMR-6.2.0 (PySpark 3.0.1)上尝试了这个方法：
sql_conn_params = get_spark_conn_params() # my function
sql_conn_params['column'] ='EVENT_CAPTURED'
sql_conn_params['numPartitions'] = 8
# sql_conn_p
浏览 6提问于2021-02-06得票数 2
回答已采纳
在PySpark中，下面有下面的示例数据框架。该列当前是一个日期数据类型。
scheduled_date_plus_one
12/2/2018
12/7/2018
我想重新格式化日期，并在24小时时钟的基础上增加凌晨2点的时间戳。下面是我想要的数据帧列输出：
scheduled_date_plus_one
2018-12-02T02:00:00Z
2018-12-07T02:00:00Z
如何实现上述目标？我知道如何在Python中这样做，但我不熟悉PySpark。
我知道我想要的列将是一个字符串数据类型，因为我的值中有'T‘和'Z’。这没什么..。我想我已经知道如何将字符串数
浏览 5提问于2018-12-14得票数 1
我有一个包含两列的数据帧。一个是START_DATE，一个是END_DATE。我还有一个python的日期列表。我想要数据帧中的第三列，它指示我的python列表中是否有任何日期落在数据帧中每个特定行的START_DATE和END_DATE之间。如果日期列表中的日期介于START_DATE和END_DATE之间，则第三列应显示true。
dates_list = ['2019-01-06', '2019-04-08']
START_DATE|END_DATE|
____________________
2019-01-01|2019-01-12
2019-01
浏览 0提问于2019-07-11得票数 4
1回答
我有一个表，其中有4列："ID“、"FLAG_A”、"FLAG_B“、"FLAG_C”。这是我想要转换成PySpark的SQL查询，对于"FLAG_A“和"FLAG_B”两列，我需要满足两个条件。如何在PySpark中实现？
UPDATE STATUS_TABLE SET STATUS_TABLE.[FLAG_A] = "JAVA",
STATUS_TABLE.FLAG_B = "PYTHON"
WHERE (((STATUS_TABLE.[FLAG_A])="PROFESSIONAL_CODERS
浏览 5提问于2022-10-19得票数 0
回答已采纳
4回答
如何从一列日期中减去一列天？
、、、、
给定以下PySpark DataFrame
df = sqlContext.createDataFrame([('2015-01-15', 10),
('2015-02-15', 5)],
('date_col', 'days_col'))
如何从日期列中减去days列？在本例中，结果列应该是['2015-01-05', '2015-02-10']。
我查看了pyspa
浏览 7提问于2016-03-17得票数 17
回答已采纳
我有number格式为YYYYMMDD的Oracle数据库列。我没有成功地在datediff中使用这种格式来获取两个日期之间的差异。我在网上读到的使用了不同的格式：
DATEDIFF(day,'2008-06-05','2008-08-05')
给出我在Oracle中可用的格式，获取两个日期之间的天数的最佳方法是什么？只要以YYYYMMDD格式获得两个日期之间的天数，就可以接受不涉及datediff的答案。
浏览 2提问于2015-03-02得票数 0
回答已采纳
我正在尝试对两个数据格式中的每一行应用pyspark函数散列算法来识别差异。散列算法是基于字符串的，所以我尝试将任何数据类型转换为字符串。我在日期列转换中面临大多数问题，因为在转换为字符串之前，需要更改日期格式，以使基于哈希的matching.Please保持一致，帮助我完成该方法。
#Identify the fields which are not strings
from pyspark.sql.types import *
fields = df_db1.schema.fields
nonStringFields = map(lambda f: col(f.name), filter(
浏览 1提问于2018-02-02得票数 0
回答已采纳
1回答
我试图根据财政年度显示季度: Q1从4月开始，Q2从7月开始，等等。
在B列中有一个日期列表，而在A列中，我想要相应的季度&年份。有两个部分我搞不清楚：
目前，对于01 JAN 2018，它显示了Q4 2018。虽然日期是2018年，但现在是2017年的最后一个季度，应该是Q4 2017
如何获得像Q1 17/18这样的显示格式(例如)
现在我有：
=CHOOSE(INT((MONTH(B1)-1)/3)+1,"Q4","Q1","Q2","Q3") & " " & YEAR
浏览 6提问于2017-09-06得票数 0
回答已采纳
2回答
我试图使用withColumn在dataframe的列中删除坏的日期，我使用了一个when()函数来进行更新。我有两个“坏”约会的条件。1900年1月之前的日期或将来的日期。我的当前代码如下：
d = datetime.datetime.today()
df_out = df.withColumn(my_column, when(col(my_column) < '1900-01-01' | col(my_column) > '2019-12-09 17:01:37.774418', lit(None)).otherwise(col(my_colum
浏览 2提问于2019-12-10得票数 3
回答已采纳
1回答
特性工程师实时计量学
、、、
我尝试了最长的时间来建模时间点的数据。为了举例说明这一过程，想象4个不同的客户(一些是返回的，一些是新的)从商店购买(如下所示)
我正在尝试使用Pyspark将我的代码按ID划分，并创建两个特性:平均(在那个时候)购买和总购买。结果如下：
我简单地做了一个累积和，从而确定了Total_Purchase_1列，但在我的一生中，我无法得到仅使用该日期的滞后值计算平均值的时间均值(Mean_Purchase_1)点。
有没有人有过处理这类功能工程任务的经验？我是个大块头，有处理Python中的dplyr，甚至是Pandas的经验，但是我正在尝试使用Pyspark来优化它。谢谢!
浏览 3提问于2020-11-02得票数 0
回答已采纳
1回答
我正在处理两个PySpark Dataframes，每个都有一个列。一个有3行(ColumnA)，另一个有100行(ColumnB)。我想比较一下all row of ColumnA和每一行 of ColumnB。(我需要知道ColumnA中的任何一个日期是否大于ColumnB中的日期，如果是这样的话，在ColumnX a 1中添加)
浏览 0提问于2019-09-25得票数 1
我有两个日期列(格式例如: 5/12/21)，需要使用pyspark在天中找到它们之间的差异。我尝试过使用Withcolumn获取error.Need。 date1 - date2 = result(in integer format)
浏览 18提问于2021-08-23得票数 0
我使用SQL查询从数据库中提取了两个不同的日期。我希望在Python中进行转换，但我要处理的两个主要日期以不同的格式存储。第一个日期为日期格式(YYYY/MM/DD)，另一个为(YYYY/MM/DD HH:MM:SS)格式。我想要一个天数的差异，所以日期时间在第二个日期是无关紧要的。我想知道在python中做这件事最简单的方法是什么？理想情况下，我会自动执行此操作，创建DATETIME变量的日期格式，并取两个日期之间的差值。
我尝试了以下方法，但由于我正在处理Series，因此也遇到了错误。我正在尝试获取每一行的增量。
df.delta = (df.DATETIME - df.DATE)
和
浏览 11提问于2018-02-06得票数 1
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。
输入(产品，质量，商店，SoldDate)
读取数据中的数据，通过SoldDate进行分区，计算每个分区的散列，并将其写入文件/表。
输出：(日期，散列)
我这样做的原因是，我必须比较每天运行这个过程，然后检查哈希是否更改了以前的日期。
存在文件级别md5的可能性，但不希望生成文件，而是根据日期动态计算分区
浏览 8提问于2022-12-04得票数 0
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark来处理这种情况？感谢您的回复。 df[Name].show()
Java
Oracle
.NET
df1[Name].show()
Oracle
Scala
.NET
python
浏览 37提问于2020-09-03得票数 0
回答已采纳
1回答
如何在PySpark中重命名数据文件的第三列。我想调用列索引而不是实际名称。
以下是我的尝试：
df
Col1 Col2 jfdklajfklfj
A B 2
df.withColumnRenamed([3], 'Row_Count')
浏览 1提问于2020-05-28得票数 1
回答已采纳
1回答
我正在尝试重新创建我已经用Python使用Databricks完成的一些工作。我有一个数据，其中有一个名为“time”的列，以纳秒为单位。在Python中，我使用以下代码将字段转换为适当的日期时间值：
import pandas as pd
# Convert time field from nanoseconds into datetime
df["time"] = pd.to_datetime(df["time"], unit='ns')
此代码将下列值1642778070000000000转换为2022-01-21 15:14:30.现在
浏览 5提问于2022-07-05得票数 0
回答已采纳
我正试图从数据类型列rel_d返回下周六的日期。
通常，在python中，我会减去到下周六为止的天数，并将其添加到rel_d中
def next_saturday(dt):
next_sat_dt = dt + relativedelta(days=(12-dt.weekday())) # 12 as indexing starts from 0 in python
return next_sat_dt
为同样的情况创建一个在pyspark中的UDF似乎是一个庞大的操作。有什么火花操作可以做得更快吗？
浏览 3提问于2022-05-13得票数 0
1回答
我需要在我的数据框中创建两个额外的列，它们基于一个列的计算，该计算涉及一个列与另一个列上的条件相除。 我有一个SQL转换的工作示例，但需要用pyspark equvilent重写它，并且无法正确完成。到目前为止，我所拥有的： %python
data = [("AUD", 7.1), ("EUR", 11.2), ("USD", 9.1)]
cols = ["Currency", "RateSEK"]
df = spark.createDataFrame(data, cols)
df.show()
+----
浏览 29提问于2021-04-26得票数 1
回答已采纳
我用的是火花2.4.5。我想添加两个新的列，日期和日历周，在我的电火花数据框架df。因此，我尝试了以下代码：
from pyspark.sql.functions import lit
df.withColumn('timestamp', F.lit('2020-05-01'))
df.show()
但我收到了错误信息：AssertionError: col should be Column
您能解释一下如何添加日期列和日历周吗？
浏览 2提问于2020-10-13得票数 0
回答已采纳
我有一个Python格式的dataframe，其中有几列，其中一列是人的出生日期。出生日期列的数据类型为object。我想得到一个整数的人的年龄。 例如:出生日期= 23.6.2005给出(今天是1.5.2021)年龄= 15 (年) 年龄将在数据帧的列中返回。
浏览 26提问于2021-05-01得票数 1
我结合使用withColumn和UDF来获取一个新列，然后选择两个列并将其分配给一个新的df。但是当我在这个新的df上运行TypeError()时，它给我的结果是：'NoneType‘对象是不可订阅的。show()运行得很好。我正在尝试获得新的df的长度。下面是我的代码： # Find all entities with names that are palindromes
# (name reads the same way forward and reverse, e.g. madam):
# print the count and show() the resulting S
浏览 26提问于2021-04-06得票数 0
回答已采纳
我在Python2.7中使用Pyspark。我在字符串中有一个日期列(带有ms)，并且希望转换为时间戳。
这就是我迄今所尝试过的
df = df.withColumn('end_time', from_unixtime(unix_timestamp(df.end_time, '%Y-%M-%d %H:%m:%S.%f')) )
printSchema()显示end_time: string (nullable = true)
当我将时间戳作为变量的类型使用时
浏览 0提问于2019-01-24得票数 7
回答已采纳
在PySpark和Synapse数据流中，我遇到了非常奇怪的错误。
我正在使用下面的查询读取JSON文件，但得到重复的列错误，即使没有重复的列。我可以使用其他工具和JSON验证器来读取它，也可以使用数据流，但不能在PySpark中读取。
PySpark查询如下：
df = (
spark.read.option("multiline", "true")
.options(encoding="UTF-8")
.load(
"abfss://<Container>]@<DIR>.
浏览 3提问于2021-11-25得票数 0
我需要使用银行家的四舍五入( 0.5四舍五入到最近的偶数)在PySpark中舍入一列。
到目前为止，我尝试过这样的方法：
from pyspark.sql.functions round as _round
df = df.withColumn(new_name, col(old_name) * col('ExchangeRate'))
df = df.select("*", _round(col(new_name)))
即使我在Python 3+中运行这个函数，PySpark的舍入函数仍然会应用HALF_UP舍入方法。我不能使用Python的循环
浏览 7提问于2022-07-08得票数 2
回答已采纳
2回答
比较两个中的字符串值
、、、、
我有两个名为- brand_name和poi_name的数据格式。
Dataframe 1(brand_name):-
+-------------+
|brand_stop[0]|
+-------------+
|TOASTMASTERS |
|USBORNE |
|ARBONNE |
|USBORNE |
|ARBONNE |
|ACADEMY |
|ARBONNE |
|USBORNE |
|USBORNE |
|PILLAR |
+-------------+
Dataframe 2:-(po
浏览 0提问于2018-05-23得票数 1
回答已采纳
1回答
我正在尝试计算2个日期/时间的差值。我的问题是每个日期和时间都在单独的列中(见截图)。以下是我一直使用的公式：
=IF(RC-1-RC-4 =0，""，RC-1-RC-4)
这一直有效，直到两个日期列不是同一天。
我在尝试在公式中组合日期和时间时遇到了问题。我可以写一个宏来做这件事，或者我可以将每个日期和时间组合成一列，如果这样做更容易的话。我不想把它们组合在一起，因为单独的列对用户群来说更容易。
如有任何帮助或建议，将不胜感激。提前感谢您的帮助……
浏览 11提问于2021-09-22得票数 0
1回答
我试图在VS-Code中运行pypsark，但我似乎无法将我的环境指向正确的pyspark驱动程序和路径。当我在终端窗口中运行pyspark时，它看起来是这样的： Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLev
浏览 64提问于2020-10-18得票数 2
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：
df['column_1']: 'abc, def, ghi'
df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据都是这样的。
df['column_3']: [abc_1.0, def_2.0, ghi_3.0]
我已经在python中成功地使用了下面的代码，但是dataframe相当大，运行整个datafra
浏览 2提问于2019-01-21得票数 9
回答已采纳
我是Python和它的库pyspark的新手，我需要做一些POC，我需要读取来自上游的CSV文件，我收到的CSV文件没有任何分隔符，它将是一个基于位置的文件。我们可以在Oracle控制文件中这样做，在那里我们可以定义每一列的位置，并检索与在pyspark中相同的值。
我正在使用Apache Spark来处理我的Pyspark或python代码。
对于Ex.
来自TXT文件的两个采样线，它们的长度可能更长(文件中也可能有空白，在定义字段位置时需要考虑)
D30056747PRD0091921170811405ACTUAL ACTUAL 6222020190110001508014
D
浏览 16提问于2019-11-12得票数 1
1回答
我有pyspark数据集，我想按照datetime列将其划分为列车和测试数据集，其中，训练数据集的日期时间应该小于日期时间列的中位数，而测试数据集应该有其余的数据集。
我尝试按datetime列对dataset进行排序，并选择上半部分。但是这只解决了火车部件的问题，我不知道如何从PySpark中的初始数据集中“减除”训练数据集。
train = data.orderBy('datetime').limit(data.count() // 2)
# test = ?
如果PySpark与Pandas ()函数有某种相似之处，那就太好了，但它没有。
浏览 0提问于2019-08-21得票数 0
回答已采纳
1回答
两个问题：
如何将长类型列(以秒为单位)转换为在Python中具有日历间隔类型？
如何将以下代码转换为普通Spark查询：
from pyspark.sql.functions import unix_timestamp
df2 = df.withColumn(
"difference_duration",
unix_timestamp("CAL_COMPLETION_TIME") - unix_timestamp("Prev_Time")
)
样本数据处理SS：
基本上，我试图在Spark中实现下面的PGSQL查询
浏览 1提问于2020-04-03得票数 1
回答已采纳
2回答
我有个问题。我有一组数字值，这是一个日期，但显然，日期是错误的格式，并从SAS出来。例如，当格式化正确时，我的值为5893，在SAS 19.02.1976中。我想在Python/PySpark中实现这一点。从我到现在为止所发现的，有一个函数fromtimestamp。
然而，当我这样做的时候，它给出了一个错误的日期：
value = 5893
date = datetime.datetime.fromtimestamp(value)
print(date)
1970-01-01 02:38:13
有任何建议来得到正确的日期吗？谢谢！:-)编辑:当将此操作强加于dataframe列而不是变量时，
浏览 7提问于2021-12-09得票数 0
回答已采纳
使用PySpark SQL并给定3列，我想创建一个额外的列，该列将其中的两列分开，第三列是ID列。 df = sqlCtx.createDataFrame(
[
(1, 4, 2),
(2, 5, 2),
(3, 10, 4),
(4, 50, 10)
],
('ID', 'X', 'Y')
) 这是所需的输出： +----+----+----+---------------------+
| ID | x | y | z (expected resul
浏览 27提问于2019-05-10得票数 3
回答已采纳
2回答
我试图在excel中的两个单独列中减去两个日期，以找出时间差。h:mm格式。源格式如下。
2014年11月18日9:42:39 -2014年8月10日12:17:13
我已经用正确的格式更新了列的日期。
当我互相减去这两列时，我得到以下hh:mm值。
21:25
在我看来，计算似乎没有考虑到日期。
我能做些什么来纠正这个问题？
浏览 8提问于2016-04-08得票数 2
回答已采纳
假设我们有四列: Column1，Column2，Column3，ind
import pandas as pd
tbl = {
'Column1':['Spark',10000,'Python','35days'],
'Column2' :[500,'PySpark',22000,30000],
'Column3':['30days','40days','35days','p
浏览 4提问于2022-05-20得票数 1
回答已采纳
我将months、years和hours存储在不同的列中，当我输入两个日期时，我希望得到sum 。
如果我输入了两个日期--假设03/01/2013和03/31/2015 --那么我应该得到03-2013到03-2015之间所有hours的sum，包括在03-2013到03-2015之间的所有months和years。
浏览 3提问于2013-05-02得票数 0
如果我有一个有两个列的PySpark DataFrame，text和subtext，其中subtext肯定会出现在text的某个地方。如何计算subtext在text列中的位置？
输入数据：
+---------------------------+---------+
| text | subtext |
+---------------------------+---------+
| Where is my string? | is |
| Hm, this one is different | on |
+--
浏览 3提问于2021-01-21得票数 2
回答已采纳
我有pandas和pyspark数据帧，每天每行都有二元组的列表。我想打破列表，并将每个二元组合移动到一行，计数按降序排列。 如下所示是我拥有的数据帧。我已经按event_dt进行了排序。在“merged”列中，显示了二元语法的列表。例如，“漂亮的相遇”和“相遇后付费”是两个二元语法。双连词的列表每天都在继续... ? 现在，我想要将每个biagram移动到同一日期的新行。例如，“nice meet”将在一行中，而“meet postpaid”将在另一行中，而event_dt列则显示相同的日期。我还希望双字母组的计数在降序，也希望得到前10或前20个计数双字母组为每个日期。这里我希望
浏览 40提问于2020-10-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
