我正在尝试将SQL代码转换为Pyspark。在从表中选择列时，Select语句具有如下内容：
Select a.`(column1|column2|column3)?+.如何解决这一问题，同时将sql转换为pyspark？
浏览 2提问于2022-02-11得票数 0
回答已采纳
我试图使用PySpark ()函数将toPandas数据trying转换为。然而，它的失败！from pyspark.sql.functions import * importpandas as
浏览 0提问于2020-05-20得票数 1
1回答
我想扩展pyspark.sql.DataFrame的读写功能，以满足我自己的项目需要。为此，我创建了以下代码 # do something
sup
浏览 1提问于2020-06-17得票数 0
我有一个由函数生成的列表。当我想使用以下命令创建一个DataFrame时：我收到一条错误消息：
如果我手动创建列表，我就没有问题。
浏览 1提问于2016-08-07得票数 7
回答已采纳
1回答
基本上我想要和一样的行为我的问题是，是否有一种方法可以让星火代码将毫秒长的字段转换为UTC中的时间戳？我在本地星火代码中所能得到的就是将这么长的时间转换为我的本地时间(EST)：from pyspark.sql i
浏览 1提问于2020-04-17得票数 6
回答已采纳
1回答
我正在尝试重新创建我已经用Python使用Databricks完成的一些工作。我有一个数据，其中有一个名为“time”的列，以纳秒为单位。在Python中，我使用以下代码将字段转换为适当的日期时间值：
# Convert time field from nanoseconds into datetimedf["time"] = pd.to_datetime(df["time"], unit='ns
浏览 5提问于2022-07-05得票数 0
回答已采纳
1回答
我有一个单行多列的数据帧。我希望它能将其转换为多行。我在stackoverflow上发现了一个类似的问题。import org.apache.spark.sql.Column
var ColumnsAndVal
浏览 18提问于2021-03-11得票数 0
回答已采纳
我正在使用下面的脚本来细化银层中的数据： dfAsset =(spark.read.option(Constants.SERVER,"xyz.sql.azuresynapse.net").select("Id","ContactId","CreatedDate
浏览 3提问于2022-10-10得票数 0
在pySpark需要转换外汇交易日期时间如day+1每天下午16点，所以我做了下面的代码，工作很好，但是当我试图截断小时/分钟/秒并保持最新，无论我做什么，系统总是转换为悉尼时间(我在悉尼澳大利亚)。我搜索了谷歌，知道我需要设置火花会话到格林威治时间，但是我使用的是一个叫做Palantir的系统，它与普通的pySpark代码编辑器不同，当我转储代码spark.conf.set("spar
浏览 26提问于2019-08-28得票数 0
我有一个用pyspark写的代码。我需要将其转换为字符串，然后将其转换为日期类型，等等。> type(df)
> <class '<em
浏览 7提问于2019-07-07得票数 0
回答已采纳
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我已经通读了几乎所有其他类似问题的答案，但我还没有找到关于我想要做什么的具体说明。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。我理想的解决方案应该是这样的，但是这个特定的代码给我的</
浏览 21提问于2019-04-28得票数 0
我是pyspark和python的初学者，并试图将我的SAS宏之一转换为pyspark，但无法找到与SAS中的扫描功能等价的有用资源，而且在EMR studio pyspark集群中执行when循环也有困难我正在尝试将下面的SAS宏转换为pyspark，谢谢大家。
浏览 6提问于2022-11-22得票数 0
2回答
这种情况非常简单，我需要使用以下代码将python列表转换为数据帧from pyspark.sql.types importStructField
schema = StructType([StructField(
浏览 0提问于2018-01-26得票数 40
回答已采纳
我有一个带有经度/经度坐标的json文件，我尝试将其转换为PySpark中的UTM ("x"，"y")。.中的json文件，并尝试使用以下脚本将其转换为PySpark中的UTM ('x'，'y'-coord)： import numpy as np
from pyspark.sql import SparkSessionFloatType, Ti
浏览 20提问于2020-06-13得票数 1
回答已采纳
1回答
, question_block, freecourse_users_id) as answered_correct_in_block),column_list = ["hacker_rank_id", "freecourse_version", "question_block", "freecourse_users_id"]
windowf.when(f.col('
浏览 0提问于2020-08-12得票数 0
我尝试了几种方法，但仍然无法将DStream转换为DataFrame，也无法将DStream中的RDD转换为DataFrame。下面是我最新版本的代码的一部分：import re
from pyspark.sql.context importimport KMeans, KMeansModel, Stream
浏览 2提问于2016-02-06得票数 10
回答已采纳
我有下面的sql代码，我试图转换为PySpark (代码下面)，任何输入到最好的方式转换为PySpark逻辑将不胜感激；drop table if exists jrny_map_web_sumas pvsgroup by mid_key, completedt, interaction_dt, interaction_type;
样
浏览 0提问于2020-07-27得票数 1
回答已采纳
长话短说，我的任务是将文件从SparkSQL转换为PySpark，作为我新工作的第一项任务。是的，这是我第一次使用这些工具。但是，我对Python和SQL都有经验，所以这看起来并不是那么困难的任务。只是想要一个更好的理解。我指的语法差异<em
浏览 12提问于2022-05-13得票数 2
回答已采纳
我正在尝试在PySpark中找出DataFrame的大小/形状。我看不到有一个函数可以做到这一点。data.shape()row_number = data.count()列数的计算并不理想……
浏览 482提问于2016-09-23得票数 118
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
