替换Spark数据帧中Array[long]中的分隔符
在替换Spark数据帧中Arraylong中的分隔符时，可以使用Spark的内置函数和操作来实现。以下是一个完善且全面的答案：
在Spark中，可以使用withColumn函数和split函数来替换数据帧中Arraylong中的分隔符。具体步骤如下：
- 导入必要的库和模块：
import org.apache.spark.sql.functions._- 使用
withColumn函数和split函数来替换分隔符。假设我们有一个名为df的数据帧，其中包含一个名为array_col的Arraylong列，其分隔符为逗号：
val new_df = df.withColumn("array_col", split(col("array_col"), ","))在上述代码中，split函数将array_col列中的每个元素按逗号进行分割，并返回一个新的列。
- 如果需要将分割后的元素转换为long类型，可以使用
cast函数：
val new_df = df.withColumn("array_col", split(col("array_col"), ",").cast("array<long>"))在上述代码中，cast函数将分割后的元素转换为long类型，并返回一个新的列。
- 最后，如果需要将数据帧中的Arraylong列转换回原始的分隔符形式，可以使用
concat_ws函数：
val final_df = new_df.withColumn("array_col", concat_ws(",", col("array_col")))在上述代码中，concat_ws函数将array_col列中的每个元素使用逗号进行连接，并返回一个新的列。
这样，我们就成功地替换了Spark数据帧中Arraylong中的分隔符。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云产品：云数据库 TencentDB
- 腾讯云产品：云服务器 CVM
- 腾讯云产品：云原生应用引擎 TKE
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行评估和决策。
相关·内容
我需要扁平化一个数据帧，以便将其与Spark (Scala)中的另一个数据帧连接起来。
基本上，我的2个数据帧具有以下模式：
DF1
root
|-- field1: string (nullable = true)
|-- field2: long (nullable = true)
|-- field3: long (nullable = true)
|-- field4: long (nullable = true)
|-- field5: integer (nullable = true)
|-- field6: timestamp (nullable = true)
|-- fiel
浏览 1提问于2017-03-02得票数 0
回答已采纳
0回答
我有一个spark数据帧，模式如下：
|-- eid: long (nullable = true)
|-- age: long (nullable = true)
|-- sex: long (nullable = true)
|-- father: array (nullable = true)
| |-- element: array (containsNull = true)
| | |-- element: long (containsNull = true)
和一个行的示例：。
df.select(df['father']).show()
+---
浏览 0提问于2017-06-10得票数 4
回答已采纳
1回答
我有一个我想要扁平化的数据帧。作为这个过程的一部分，我想要分解它，所以如果我有一列数组，该数组的每个值都将用于创建单独的行。我知道我可以使用explode函数。但是，我有一个问题，该列包含空值，并且我使用spark 1.6。下面是我想要的数据类型的示例：
我的数据：
id | ListOfRficAction| RficActionAttachment
_______________________________
1 | Luke | [baseball, soccer]
2 | Lucy | null
我想要
id | ListOfRficA
浏览 0提问于2017-10-20得票数 1
作为测试，我使用spark NLP解析了50万条tweet。数据帧看起来没问题。我将数组转换为字符串。使用
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType
def array_to_string(my_list):
return '[' + ','.join([str(elem) for elem in my_list]) + ']'
array_to_string_udf = udf(array_to_string, Str
浏览 7提问于2021-07-29得票数 1
Spark 1.5和Scala 2.10.6 我有一个使用“π”作为分隔符的数据文件。我很难通过解析来创建一个数据帧。是否可以使用多个分隔符来创建数据框？代码可以处理单个断开的管道，但不能处理多个分隔符。 我的代码： val customSchema_1 = StructType(Array(
StructField("ID", StringType, true),
StructField("FILLER", StringType, true),
StructField("CODE", StringType, tru
浏览 93提问于2016-12-22得票数 7
回答已采纳
1回答
我有一个从Kafka读取的结构化流，并且正在尝试使用Struct模式来转换JSON有效负载。
{
"fields": [
{
"metadata": {},
"name": "test",
"nullable": true,
"type": {
"containsNull": true,
"el
浏览 3提问于2022-08-14得票数 0
我正在尝试找到一种方法，将数据帧中的所有内容都推送到SQL Server表中。我在谷歌上搜索了一下，想出了这个。
Cluster.write \
.format("jdbc") \
.option("url", "jdbc:sqlserver://name_here.database.windows.net:1433;databaseName=db_name") \
.option("dbtable", "dbo.Cluster") \
.option("user",
浏览 7提问于2020-02-07得票数 1
我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。 使用： import spark.implicits._
var Table_Count = Seq((cdpos_df.count(),I_count,D_count,U_count)).toDF("Table_Count","I_Count","D_Count","U_Count") 给出错误消息value toDF is not a member of Seq[(Long, L
浏览 69提问于2021-09-14得票数 0
1回答
注意:这是用于Spark 2.1.1.2.6.1.0-129
我有一个星星之火数据帧(Python)。我想用空值替换整个dataframe的所有0实例(不指定特定的列名)。
以下是我编写的代码：
my_df = my_df.na.replace(0, None)
以下是我收到的错误：
File "<stdin>", line 1, in <module>
File "/usr/hdp/current/spark2-client/python/pyspark/sql/dataframe.py", line 1634, in repl
浏览 4提问于2021-10-24得票数 0
回答已采纳
有没有办法将SparkR数据帧中的列类型long更改为double。我有一个SparkR数据帧"dataDF“，它有三列col1(long)，col2(double)，col3(double)，它是云数据库的格式。我想将SparkR数据帧"dataDF“中的col1的类型"long”更改为"double“。请告诉我怎么做好吗？我用的是Spark R笔记本。谢谢。
浏览 20提问于2016-07-27得票数 0
1回答
我在数据帧中有以下类型：
root
|-- id: string (nullable = true)
|-- items: array (nullable = true)
| |-- element: string (containsNull = true)
输入：
val rawData = Seq(("id1",Array("item1","item2","item3","item4")),("id2",Array("item1","item2",&
浏览 1提问于2018-01-14得票数 1
回答已采纳
1回答
我应用了下面问题中的一个算法(在注释中)来转置和分解嵌套的spark数据帧。 当我定义cols = ['a', 'b']时，我得到的是空的dataframe，但是当我定义cols = ['a']时，我得到的是a列的转换后的dataframe。有关更多详细信息，请参阅下面的当前代码一节。任何帮助都将不胜感激。 我正在寻找所需的输出2(转置和爆炸)，但即使是所需的输出1的示例(转置)也会非常有用。 注意:这是突出显示问题的最小示例，实际上数据帧模式和数组长度与示例Pyspark: How to flatten nested arrays by me
浏览 29提问于2021-10-02得票数 1
回答已采纳
我有以下数据框架：
|-- k1: array (nullable = true)
| |-- element: long (containsNull = true)
|-- k2: string (nullable = true)
|-- k3: array (nullable = true)
| |-- element: long (containsNull = true)
和
|-- k1: long (nullable = true)
|-- k2: string (nullable = true)
|-- k3: long (nullable = true
浏览 5提问于2017-09-26得票数 2
回答已采纳
2回答
Fasta文件是一个多行文件。它的结构类似于
>ID_1
ACGTAGCATGC
>ID_2
AGCTAGTACATC
因此，为了得到序列，我必须读取2行中的1行。
我有多个大的fasta文件(每个文件120Go)要读取。我使用spark来读取这些文件。我目前使用它来获取数据帧上的所有序列：
val sequences = sc.textFile("path/to/directory").sliding(2, 2).map{case Array(id, seq) => seq}
这个命令是否允许获取所有知道文件分布在spark集群上的序列?)
浏览 0提问于2018-05-14得票数 2
1回答
我正在使用星火MLlib PrefixSpan算法。我在Spark1.6中使用了一些代码，但我们最近转到了Spark2.2。
我有这样的数据
viewsPurchasesGrouped: org.apache.spark.sql.DataFrame = [session_id: decimal(29,0), view_product_ids: array<bigint> ... 1 more field]
root
|-- session_id: decimal(29,0) (nullable = true)
|-- view_product_ids: array (null
浏览 2提问于2018-03-23得票数 1
回答已采纳
我有两个数据帧df1和df2。它们都有以下架构：
|-- ts: long (nullable = true)
|-- id: integer (nullable = true)
|-- managers: array (nullable = true)
| |-- element: string (containsNull = true)
|-- projects: array (nullable = true)
| |-- element: string (containsNull = true)
df1是从avro文件创建的，而df2是从等效的拼图文件创建的。但是
浏览 0提问于2016-07-29得票数 16
回答已采纳
我正在尝试将aws glue get-tables命令的json输出转换为PySpark数据帧。 使用以下命令读取json输出后： df = spark.read.option("inferSchema", "true") \
.option("multiline", "true") \
.json("tmp/my_json.json") 我从printSchema得到了以下内容： root
|-- TableList: array (nullable = true)
| |-- el
浏览 15提问于2021-11-04得票数 0
回答已采纳
1回答
屏蔽来自Kafka流的数据
、、、、
我使用spark Structured来流式传输来自kafka的数据，它为我提供了以下模式的数据帧 Column Type
key binary
value binary
topic string
partition int
offset long
timestamp long
timestampType int 值Colum是以二进制格式出现的，但它实际上是一个具有struct类型的json字符串，要求读取json结构，并屏蔽其中的几个字段，然后写入数据。
浏览 23提问于2020-10-16得票数 0
1回答
如何在scala中将具有以下结构的RDD转换为dataframe
org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.linalg.Vector)] = MapPartitionsRDD[42]
这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。
我希望将org.apache.spark.mllib.linalg.Vector的每个组件放在一行数据帧中的单独列中。
浏览 2提问于2017-02-26得票数 2
1回答
我试图用python中的Spark从拼图文件中读取数据帧，但我的数据帧是字节编码的，所以当我使用spark.read.parquet，然后使用df.show()时，它看起来如下所示： +---+----------+----+
| C1| C2| C3|
+---+----------+----+
| 1|[20 2D 2D]| 0|
| 2|[32 30 31]| 0|
| 3|[43 6F 6D]| 0|
+---+----------+----+ 正如您所看到的，这些值被转换为十六进制值...我已
浏览 57提问于2019-10-02得票数 2
回答已采纳
我有数百列a，b，c……。我想修改数据帧架构，其中每个数组将具有相同的形状date，num和val字段。 有数以千计的id，所以我只想修改模式，而不是数据帧。在下一步中将使用修改后的模式将数据高效地加载到数据帧中。我想避免使用UDF来修改整个数据帧。 输入模式： df.printSchema() root
|-- a: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- date: long (nullable = true)
| | |-- num: l
浏览 13提问于2021-09-30得票数 0
回答已采纳
1回答
我正在从文件中读取数据来创建图形的边缘。我已经声明了一个数组，并一个一个地在其中添加边。此代码运行良好：
class AIRecipes()
case class edgeProperty(val relation: String, val usedIn: String) extends AIRecipes
var edgeArray = Array(Edge(0L, 0L, edgeProperty("", "")))
edgeArray = edgeArray ++ Array(Edge(VertexId, VertexId, edgeProperty(
浏览 0提问于2018-05-05得票数 0
回答已采纳
2回答
我已经从XML文件创建了一个DataFrame。创建的DataFrame方案如下。
val df = hiveContext.read.format("com.databricks.spark.xml").option("rowTag", row_tag_name).load(data_dir_path_xml)
df.printSchema()
root
|-- samples: struct (nullable = true)
| |-- sample: array (nu
浏览 0提问于2017-05-12得票数 0
我一直在尝试将RDD转换为数据帧。为此，需要定义类型，而不是任何类型。我使用的是spark MLLib PrefixSpan，这就是freqSequence.sequence的由来。我从一个数据帧开始，它以字符串数组的形式包含Session_IDs、视图和购买：
viewsPurchasesGrouped: org.apache.spark.sql.DataFrame =
[session_id: decimal(29,0), view_product_ids: array[string], purchase_product_ids: array[string]]
然后我计算频繁模式，并将
浏览 35提问于2018-01-19得票数 5
回答已采纳
我想要过滤Spark sql.DataFrame，只留下需要的数组元素，而事先没有任何关于整个模式的知识(我不想硬编码它)。模式：
root
|-- callstartcelllabel: string (nullable = true)
|-- calltargetcelllabel: string (nullable = true)
|-- measurements: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- enodeb: string (nullab
浏览 7提问于2018-08-07得票数 0
在Windows上，Spark 2.3.1我尝试合并两个数据帧。尽管两者都有相同的模式，但我得到了一个错误，说"Union只能在具有兼容列类型的表上执行“，我不明白为什么。因为我已经完成了第二次转换，以便为第二个数据帧获得所需的模式。
我的代码：
import breeze.linalg._
import org.apache.spark.ml.feature.{StandardScaler, VectorAssembler}
import org.apache.spark.mllib.linalg.{Vector, Vectors}
import org.apache.spark.m
浏览 0提问于2018-08-24得票数 1
回答已采纳
我的问题是，当我将代码转换为流模式并将数据帧放入foreach循环时，数据帧会显示空表！我不填！我也不能将它放入assembler.transform()中。错误是：
Error:(38, 40) not enough arguments for method map: (mapFunc: String => U)(implicit evidence$2: scala.reflect.ClassTag[U])org.apache.spark.streaming.dstream.DStream[U].
Unspecified value parameter mapFunc.
v
浏览 3提问于2017-05-25得票数 0
回答已采纳
我正在读取多个路径，并使用以下命令加载这些路径中的拼图文件： val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678") 下面是读取命令： val readdf = spark.read.format("parquet").load(paths: _*) 这将读取以下结构中提到的路径中的所有拼图文件： col1: String
col2: Int
col3: Long
浏览 19提问于2021-03-19得票数 0
我尝试将数据帧存储到Spark 1.3.0 (PySpark)中的持久化蜂窝表。这是我的代码：
sc = SparkContext(appName="HiveTest")
hc = HiveContext(sc)
peopleRDD = sc.parallelize(['{"name":"Yin","age":30}'])
peopleDF = hc.jsonRDD(peopleRDD)
peopleDF.printSchema()
#root
# |-- age: long (nullable = true)
#
浏览 0提问于2015-05-14得票数 9
回答已采纳
我有一个从熊猫数据帧创建的样本spark数据帧-
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
from pyspark.sql.types import StringType
from pyspark.sql.types import *
import pandas as pd
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config(&
浏览 3提问于2020-09-09得票数 0
考虑以下数据帧：
case class ArrayElement(id:Long,value:Double)
val df = Seq(
Seq(
ArrayElement(1L,-2.0),ArrayElement(2L,1.0),ArrayElement(0L,0.0)
)
).toDF("arr")
df.printSchema
root
|-- arr: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- id: long (
浏览 12提问于2017-11-27得票数 5
回答已采纳
我已经从一个查询中构造了一个Spark数据帧。我想要做的是将数据帧打印到一个文本文件中，所有信息都用'|‘分隔，如下所示：
+-------+----+----+----+
|Summary|col1|col2|col3|
+-------+----+----+----+
|row1 |1 |14 |17 |
|row2 |3 |12 |2343|
+-------+----+----+----+
我该怎么做呢？
浏览 0提问于2017-01-26得票数 13
回答已采纳
2回答
因此，我在Spark(scala)中有两个列表。它们都包含相同数量的值。第一个列表a包含所有字符串，第二个列表b包含所有长字符串。 a: List[String] = List("a", "b", "c", "d")
b: List[Long] = List(17625182, 17625182, 1059731078, 100) 我还有一个定义如下的模式： val schema2=StructType(
Array(
StructField("check_name", StringType, tru
浏览 11提问于2021-03-15得票数 0
回答已采纳
1回答
我有一段pyspark代码，用于将数据帧转换为物理表：
df.write.mode('overwrite).saveAsTable('sometablename')
如果数据帧df包含名称中包含空格的列，则会失败，并显示以下错误：
18/03/08 10:33:29 ERROR CreateDataSourceTableAsSelectCommand: Failed to write to table pivot_up_spaces_Export_Data_4
org.apache.spark.sql.AnalysisException: Attribute name
浏览 4提问于2018-03-08得票数 1
我是Spark新手。在我的应用程序中，我希望从许多numpy数组创建一个RDD。每个numpy数组是(10,000，5,000)。目前，我正在尝试以下操作：
rdd_list = []
for np_array in np_arrays:
pandas_df = pd.DataFrame(np_array)
spark_df = sqlContext.createDataFrame(pandas_df) ##SLOW STEP
rdd_list.append(spark_df.rdd)
big_rdd = sc.union(rdd_list)
所有的步骤都很快，除了将
浏览 0提问于2016-06-28得票数 0
我是spark和scala的新手。请帮我弄一下这个。
我有下面的输出，我需要用它来生成一个合并了所有功能的新数据帧，而不是在单独的列表上。此外，我还需要将此数据帧附加到另一个数据帧。我如何在scala中做到这一点？
val tab = inter.map(_.groupBy().sum())
tab.map(_.show())
tab: Array[org.apache.spark.sql.DataFrame] = Array([sum(vec_0): double, sum(vec_1): double ... 2 more fields], [sum(vec_0): double, su
浏览 0提问于2017-11-21得票数 0
1回答
我想转换从AVRO文件导入的Spark2.4Dataframe(这些文件包含来自的跟踪数据)。
模式中有趣的部分如下所示：
root
|-- visitorId: long (nullable = true)
|-- visitNumber: long (nullable = true)
|-- visitId: long (nullable = true)
|-- visitStartTime: long (nullable = true)
|-- date: string (nullable = true)
|-- hits: array (nullable = true)
浏览 7提问于2020-02-28得票数 1
回答已采纳
1回答
我有一组CSV，它们是我通过查询mySQL数据库生成的。我正在尝试将它们定义为Spark中的数据帧的源。
源数据库中的模式包含几个具有Long数据类型的字段，并且实际上在这些字段中存储巨大的数字。
当尝试访问数据帧时，Scala无法解释这些数据帧，因为我在长整数上没有L后缀。
例如，这会抛出一个错误：val test: Long = 20130102180600
虽然这是成功的：val test: Long = 20130102180600L
有没有办法强制Scala将它们解释为不带后缀的长整数？由于数据的规模，我认为在字段从数据库中出来时对其进行后处理是不可行的。
浏览 1提问于2016-06-18得票数 0
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.table as
select
array_construct('1','a') as array_col,
object_construct(
浏览 26提问于2019-05-30得票数 1
下面是读取由^分隔成数据帧的数据文件列表的代码。但是，每个字段作为单独的行加载，而不是逐行读取。
换句话说，一行只包含一个字段，而不是一行的所有字段。
这是在Databricks的python火花中完成的。
字段由^分隔。
df = spark.read.text(paths='path/srcfilepath',lineSep='^')
浏览 3提问于2020-05-01得票数 0
回答已采纳
1回答
你能帮帮我吗？我有一个80个CSV文件的数据集和一个由1个主服务器和4个从服务器组成的集群。我想读取数据帧中的CSV文件，并在四个从机上并行化它。在那之后，我想用group by来过滤数据帧。在我的spark查询中，结果包含按( "code_ccam“，”code_ccam“)分组的”档案“和”档案“列。我想用FP-Growth算法来检测被"code_ccam“重复的"folder”序列。但是当我使用FPGrowth.fit()命令时，我得到了以下错误：
"error: type mismatch;
found : org.apache.spark.rdd.RD
浏览 3提问于2019-02-20得票数 0
1回答
在Pyspark 2.2中有什么优雅的方法可以分解map列而不丢失null值吗？Explode_outer是在PySpark2.3中引入的
受影响列的架构为：
|-- foo: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- first: long (nullable = true)
| | |-- last: long (nullable = true)
我想用一些虚值替换空的Map，以便能够分解整个数据帧，
浏览 0提问于2018-02-07得票数 1
回答已采纳
提前谢谢。
你好，我正在使用spark dataframe和scala进行一些数据处理，我有一个需求，我需要读取多个具有相同数据类型的列，即从拼图文件中读取结构类型，以处理和创建具有与结构类型字段相同的模式的新数据帧，即field1，field2和field3，并使用下面示例中显示的所有列的数据填充数据帧。
例如，假设我有3列
a)column1: struct (nullable = true)
|-- field1: string (nullable = true)
|-- field2: string (nullable = true)
|-- field3
浏览 3提问于2016-04-08得票数 0
环境- spark-3.0.1-bin-hadoop2.7、eclipse 2.12.3、Scala、SparkSQL、eclipse-jee-oxygen-2-linux-gtk-x86_64
我有一个csv文件，它有3列数据类型:String，Long，Date。我想按字符串的第一列进行分组，并检索最大的日期值。
为此，我从文本文件中创建了Person对象的RDD，并将其转换为dataframe 'peopleDF‘。已将数据帧注册为临时视图。我使用spark提供的sql方法运行以下sql语句。
val maxDateDF = spark.sql("SELECT name,
浏览 22提问于2021-03-10得票数 0
回答已采纳
我有两个具有这种结构的RDDs。
org.apache.spark.rdd.RDD[(Long, org.apache.spark.mllib.linalg.Vector)]
这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。我想将Vector的每个组件添加到其他Vector的相应组件中，这些组件位于其他RDD的一行中。第一个RDD的每个向量应该与其他RDD的每个向量相加。
示例如下所示：
RDD1：
Array[(Long, org.apache.spark.mllib.linalg.Vector)] =
浏览 0提问于2017-03-09得票数 1
我试图创建一个spark数据帧，但是有一些问题，有人能帮我解决哪里出了问题吗？ schema = StructType([StructField("array_str1", ArrayType(StringType()),False)
,StructField("array_str2", ArrayType(StringType()),False)
,StructField("str1", StringType(), False)
浏览 11提问于2021-09-11得票数 1
假设我有一个这样的数据帧
name age city
abc 20 A
def 30 B
我想在数据帧的末尾添加一个汇总行，因此结果将如下所示
name age city
abc 20 A
def 30 B
All 50 All
所以字符串'All'，我可以很容易地放入，但是如何获得sum(df‘’age‘) ###column对象是不可迭代的
data = spark.createDataFrame([("abc", 20, "A"), ("def", 30, "B")],["
浏览 2提问于2016-09-15得票数 4
回答已采纳
任何帮助都将不胜感激。 我正在尝试使用mongodb中的数据构建一个数据帧。 val spark = SparkSession.builder()
.master("local")
.appName("app")
.config("spark.mongodb.input.uri", uri)
.config("spark.mongodb.input.collection", "collectionName")
.config("spark.mon
浏览 83提问于2021-07-27得票数 0
我有一个Spark dataframe with column，它的数据类型为array<struct<_1:long,_2:string>>，示例数据如下：
WrappedArray([Value,Title1], [Value,Title2], [Value,Title3])
我想将此列从WrappedArray转换为单个String
以下是所需的输出：
Value+Title1,Value+Title2,Value+Title3
我尝试使用下面的udf传递数据帧的那一列：
val f = (x:Seq[Row]) => x.mkString(",&#
浏览 4提问于2017-07-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
