我试图将DataFrame转换为RDD，并根据DataFrame中的列数动态而优雅地将它们拆分为特定的列数。Id Name Age State City456 Stan 26 Florida Tampaval temp2_rdd = temp_df.rdd.map(x =&g
浏览 1提问于2021-07-31得票数 2
我在编写语句以计数Spark中的列数时遇到了困难。我尝试使用信息模式和table.columns，但这两种方法在Spark中似乎都不起作用。有人有什么建议吗？
浏览 2提问于2020-04-28得票数 1
com.univocity.parsers.common.TextParsingException: java.lang.ArrayIndexOutOfBoundsException - 20480 提示:已处理的列数可能超过了20480列的限制。使用settings.setMaxColumns(int)定义输入的最大列数，确保您的配置是正确的，并使用与您试图解析的解析分析器配置: CsvParserSettings:的输入格式匹配的分隔符、引号和转义序列：
如何设置解析器使用
浏览 4提问于2016-08-27得票数 6
回答已采纳
有没有办法在spark Dataframe中设置字符串类型的最大长度。我正在尝试读取一列字符串，获取最大长度，并将该列的最大长度设置为字符串的最大长度。 有没有办法做到这一点？
浏览 54提问于2020-01-20得票数 1
回答已采纳
1回答
将最大值转换为独立的1和0项的列
、、、、
我的输入 DataFrame如下所示： 'id': [1], 'cat_2': [2],})test_df_spark.show()
+---+-----+-----+--+-----+----
浏览 1提问于2021-03-29得票数 1
回答已采纳
1回答
我有一个从CSV文件导入的spark。在应用了一些操作(主要是删除列/行)之后，我尝试将新的DataFrame保存到Hadoop，这将显示一个错误消息：
有什么想法吗？PS:据我理解，
浏览 1提问于2018-08-27得票数 1
回答已采纳
我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。我试过这样做， """我也试过这个 """
select * from ( select * from df lateral v
浏览 0提问于2020-05-11得票数 4
回答已采纳
1回答
我需要在spark中实现滞后函数；我可以像下面这样做(使用hive/temp spark表中的一些数据)lagno:value0, 2003,nullDataFrame df; org.apache.spark.sql.fu
浏览 3提问于2016-09-16得票数 3
1回答
import pandas as pdfrom pyspark.sql import SparkSession
def func(x): return x# run test function in parallel
pdf = pd.DataFrame({'x': range
浏览 37提问于2022-10-10得票数 1
回答已采纳
0:2:1", "maker":"pr", "dev":"1022"}, "max_w" : 8, "max_s" : 2, "curr_w" : 7, "curr_s" : 4}]}}}`时间戳down_dev，payload_links_1_up_db，payload_links_1_up_mak
浏览 9提问于2022-07-21得票数 0
回答已采纳
1回答
嗨，我想在DataFrame的每一行中添加使用现有列的新列，我在Scala中尝试这样做.df是包含可变列数的dataframe，只能在运行时决定。导入spark.implicits._支持基本类型(Int、String等)和Product (case类)，以便在以后的版本中添加其他类型的序列化支持。方法映射的参数不足：(隐含证据$7: org.apache.spark.sql.Encoderorg.apache.spark.sql.R
浏览 2提问于2017-10-09得票数 1
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC"), (3, "GHIJ")someDF: org.apache.<em
浏览 6提问于2020-06-04得票数 0
回答已采纳
1回答
从information_schema.columns选择count(*)，其中table_name = 'emp‘均匀描述表
请建议一些其他代码来计算特定表中的列
浏览 5提问于2022-05-10得票数 1
2回答
我是Scala编程的新手，这是我的问题:如何计算每行的字符串数？我的数据帧由ArrayString类型的单个列组成。friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
浏览 2提问于2017-09-07得票数 45
回答已采纳
1回答
我想从位于同一个目录中的许多小文件创建一个DataFrame。我计划使用来自pyspark.sql的pyspark.sql。
浏览 0提问于2018-03-21得票数 0
我想知道在dataframe中我可以拥有的最大列数，在数据文件中保持列的数量有什么限制吗？谢谢。
浏览 3提问于2017-06-15得票数 6
我是SparkSQL新手，我主要负责编写SparkSQL查询。我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。不幸的是，我找不到足够的例子，让我清楚地理解它们，并开始将它们应用到我的查询中。我主要是寻找一些例子来解释它们的语法、提示和使用场景。
有谁能在这里帮助我，并提供SparkSQL查询它们的用法和
浏览 5提问于2020-06-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
