使用空值连接两列spark dataframe
是指在Spark中使用空值（null）作为连接条件，将两个DataFrame按照指定的列进行连接操作。
在Spark中，可以使用join方法来实现DataFrame的连接操作。连接操作可以分为内连接、左连接、右连接和全外连接等。
具体操作步骤如下：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建两个DataFrame对象：
df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value1'])
df2 = spark.createDataFrame([(1, 'X'), (2, 'Y'), (4, 'Z')], ['id', 'value2'])- 使用空值连接两个DataFrame：
joined_df = df1.join(df2, (df1['id'] == df2['id']) | (df1['id'].isNull() & df2['id'].isNull()), 'left')在上述代码中，使用join方法将df1和df2连接起来，连接条件为df1['id'] == df2['id']或者df1['id'].isNull() & df2['id'].isNull()，连接类型为左连接（'left'）。
- 查看连接结果：
joined_df.show()连接结果将会显示如下：
+---+------+------+------+
| id|value1| id|value2|
+---+------+------+------+
| 1| A| 1| X|
| 2| B| 2| Y|
| 3| C| null| null|
+---+------+------+------+在连接结果中，可以看到两个DataFrame按照id列进行连接，如果id列在另一个DataFrame中不存在，则对应的值为null。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库（TencentDB for TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云数据计算服务（TencentDB for TDSQL）：https://cloud.tencent.com/product/dts
- 腾讯云大数据服务：https://cloud.tencent.com/product/bds
相关·内容
我的spark数据框中有两列
First_name Last_name
Shiva Kumar
Karthik kumar
Shiva Null
Null Shiva
我的要求是通过使用逗号连接上述两列并处理空值来向dataframe添加一个新列。
我尝试过使用concat和coalesce，但只有在两列都可用时，才能使用逗号分隔符获得输出
预期输出
Full_name
Shiva,kumar
Karthik,kumar
Shiva
Shiva
浏览 16提问于2020-02-25得票数 1
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我构建了一个"table.column“-> "value”的映射，并将其传递给fill方法。但我得到的是异常而不是成功:(。我有什么选择？我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？
给定：
scala>
浏览 4提问于2016-02-28得票数 3
我已经用数组列( DataFrame )点燃了StringType
示例DataFrame:
df = spark.createDataFrame([
[None],
[[]],
[['foo']]
]).toDF("a")
电流输出：
+-----+
| a|
+-----+
| null|
| []|
|[foo]|
+-----+
期望输出：
+-----+
| a|
+-----+
| []|
| []|
|[foo]|
+-----+
我需要将Null值转换为空Array，以便与另一个数组列连接。
已经
浏览 1提问于2020-08-13得票数 0
回答已采纳
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列 左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空列。 当"X“是浮点数时，它是完全正常的，但是当我将"X”转换为字符串时，它会抛出隐式笛卡尔乘积的错误 我在spark 2.4.5中收到了这个错误。 为什么会发生这种
浏览 31提问于2020-12-20得票数 0
17回答
如何在Apache Spark DataFrame中连接两列？Spark SQL中有没有我们可以使用的函数？
浏览 7提问于2015-07-16得票数 159
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。 我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
问:如何高效地将Spark DataFrame中包含值的列写入Cassanrda？(在最小的Scala代码行中高效，而不是在Cassandra中创建一堆tombstones，让它快速运行，等等)
我有一个包含两个键列和300个潜在描述符值的Cassandra表。
create table sample {
key1 text,
key2 text,
0 text,
............
299 text,
PRIMARY KEY (key1, key2)
}
我有一个与底层表匹配的Spark数据帧，但数据帧中的每一行都
浏览 0提问于2018-11-06得票数 2
4回答
有没有一种方法可以删除spark dataFrame中只包含空值的列？(我使用的是scala和Spark 1.6.2)
目前我正在做这件事：
var validCols: List[String] = List()
for (col <- df_filtered.columns){
val count = df_filtered
.select(col)
.distinct
.count
println(col, count)
if (count >= 2){
validCols ++= List(col)
}
}
构建至少包含两个不
浏览 6提问于2016-09-11得票数 7
如何检查dataframe的列是否为null或空ins spark。 例如。 type IdentifiedDataFrame = {SourceIdentfier, DataFrame}
def splitRequestIntoDFsWithAndWithoutTransactionId(df: DataFrame) : Seq[IdentifiedDataFrame] = {
seq((DeltaTableStream(RequestWithTransactionId), df.filter(col(RequestLocationCodeColName).isNull
&
浏览 85提问于2021-07-08得票数 0
更新:我错了，错误来源于矢量汇编程序，而不是随机林，或者两者兼而有之。但是错误/问题是一样的。当我在df_noNulls中使用vectorAssembler数据时，它说它不能矢量化列，因为其中有空值。
我看过这个问题的其他答案，解放了/借用/窃取了答案代码，试图让这个问题起作用。我的最终目标是RF/GB/其他ML建模，它不会好心地接受空值。我已经将下面的代码放在一起，以提取所有数字列，获取每个列的平均值，然后创建一个新的dataframe，它将两者连接起来，并用平均值替换所有的空值。然后，当我尝试将数字列的向量创建为随机林中的“功能”部分时，它会返回一个错误，即“组装的值不能为空”。
val
浏览 1提问于2017-09-14得票数 1
回答已采纳
1回答
在Spark (Scala)中，在将应用程序jar提交给Spark之后，jar是否可以从数据库表中获取多个字符串，将每个字符串转换为催化剂表达式，然后将该表达式转换为UDF，并使用UDF过滤另一个DataFrame中的行，并最终合并每个UDF的结果？
(上述表达式需要DataFrame的一些或所有列，但是在编写jar代码时不知道需要哪些列，在开发时知道DataFrame的模式)
举个例子：
表达1："id == 1"
表达2："name == \"andy\""
DataFrame：
第1行: id = 1，name = "red"
浏览 4提问于2020-08-01得票数 0
回答已采纳
1回答
我试图使用以下代码从cosmos db中读取30K行数据，使用spark连接器
val readConfig = Config(Map(
"Endpoint" -> "",
"Masterkey" -> "",
"Database" -> "",
"Collection" -> "",
"PreferredRegions" -> "",
"query_custom"
浏览 0提问于2021-05-22得票数 3
回答已采纳
我有一个包含多个具有不同模式的空值的DataFrame
df.show(false)
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|null|null|1 |a |
+----+----+----+----+
我尝试将此数据帧作为JSON文件写入HDFS，但Spark在写入JSON时省略了为空的字段。这可以理解为
但即使我使用
spark.write.option("ignoreNullFields", "false").json(...)
或
spark.write
浏览 50提问于2020-02-27得票数 3
1回答
我试图使用scala自动地将随机数据加载到一个空数据中。
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.Row
import org.apache.spark.rdd.RDD
val df = spark.sql("select * from test.test")
val emptyDF= spark.createDataFrame(spark.sparkContext.emptyRDD[Row], df.schema)
在这里，我尝试用测试表模式创建一个空的dataframe。在本例中，
浏览 0提问于2018-10-22得票数 2
回答已采纳
我有一个spark dataframe，需要为它过滤特定列的空值和空格。
假设dataframe有两列。col2既有空值，也有空值。
col1 col2
1 abc
2 null
3 null
4
5 def
我想要应用一个过滤器来过滤掉那些col2为nulls或空白的记录。有没有人能帮个忙。
版本: Spark1.6.2 Scala 2.10
浏览 16提问于2016-12-31得票数 3
回答已采纳
1回答
我有一个带有字段transactionId的数据文件，我想在这个字段上进行示例。我希望对字段的散列进行抽样，因为采样的数据将被连接到另一个抽样数据的样本中，并且我希望在两个样本中都有相同的ids。问题是，在尝试了各种版本的过滤器之后，我不得不在过滤器中使用哈希和mod。
scala> val dfSampled = df.filter($"transactionId".hashCode() % 10 == 0)
<console>:27: error: overloaded method value filter with alternatives:
浏览 6提问于2016-07-21得票数 0
我有一个包含布尔列(TRUE、FALSE、NULL)的dataframe。当我使用Spark2 Scala将此数据发送到Oracle19c中的现有表时，由于错误: java.sql.SQLException:无效列类型: 16，它失败了。
但是，当它们不是dataframe中的空值时，任务就成功地完成了。此外，如果我将一个空值直接插入到Oracle中的布尔字段中，我就没有问题(这只是为了在Oracle中直接测试空值)。
我使用Spark在Oracle中编写数据的方式如下：
df.write.mode(SaveMode.Append).jdbc(url, tableName, connectio
浏览 2提问于2021-03-21得票数 1
Dataframe A和B有不同的模式，我想在A到B中插入行。
环境是Spark1.6，所以当两个dataframe以相同的顺序拥有相同的列时，可以使用unionAll函数。
A的模式：
root
|--a
|--b
B的模式：
root
|--a
|--b
|--c
|--d
| |--d_1
| |--d_2
| |--d_3
我需要将列"a“和"b”插入到dataframe B，并保留其他列为空。
浏览 0提问于2017-03-14得票数 0
回答已采纳
1回答
我正在尝试创建一个空的dataframe并追加新的列。我试着通过两个选项来做到这一点。选项A工作正常，但选项B不工作。请帮帮我！ 选项A： ` var initialDF1 = Seq(("test")).toDF("M")
initialDF1 = initialDF1.withColumn(("P"), lit(s"P"))
initialDF1.show
+----+---+
| M| P|
+----+---+
|test| P|
+----+---+ ` 选项B：(不起作用) ` import org.apa
浏览 34提问于2019-04-17得票数 0
类似的问题被问了几次，也回答了几次。例如：How to automatically drop constant columns in pyspark? 但我发现，没有一个答案解决了这个问题，即countDistinct()不将空值视为不同的值。因此，只有两个结果null和none NULL值的列也将被删除。 一个丑陋的解决方案是将spark dataframe中的所有null值替换为您确信在dataframe中其他地方不存在的值。但就像我说的那样那将是非常丑陋的。
浏览 23提问于2021-04-01得票数 1
回答已采纳
在DecimalType中将列转换为DataFrame似乎会更改可空属性。具体来说，我有一个DecimalType(12, 4)类型的非空列，我使用df.withColumn(columnName, df.col(columnName).cast(dataType))将它转换为DecimalType(38, 9)。这将导致具有预期数据类型的字段，但该字段现在是可空的。有没有一种在不更改列的可空属性的情况下进行强制转换的方法？
我在Spark2.2.1和Spark2.3.0中都观察到了这种行为。
浏览 1提问于2018-06-14得票数 5
回答已采纳
我在用数据库。假设我有两个(我使用的是PySpark)：
df_source
df_target
如果df_source有以下模式：
root
|-- name: string (nullable = false)
|-- id: long (nullable = false)
|-- age: long (nullable = true)
df_target有以下模式：
root
|-- name: string (nullable = true)
|-- id: long (nullable = false)
|-- age: long (nullable =
浏览 1提问于2021-12-27得票数 0
回答已采纳
1回答
我正在尝试用以前的非空值(如果存在)填充我的Spark dataframe中缺少的值。我在Python/Pandas中做过这种事情，但是我的数据对于Pandas (在一个小集群上)来说太大了，我是Spark noob。这是Spark可以做到的吗？它可以对多个列执行此操作吗？如果是这样的话，是怎么做的？如果没有，在谁的Hadoop工具套件中有任何替代方法的建议吗？
谢谢!
浏览 0提问于2016-07-01得票数 8
3回答
我正在尝试使用SparkSQL对数据帧执行广播散列联接，如下所示：
在该示例中，(小) DataFrame通过saveAsTable持久化，然后通过spark SQL (即通过sqlContext.sql("...")) )进行连接
我遇到的问题是，我需要使用SQL来构造我的sparkSQL (我需要用一个ID列表连接大约50个表，并且不想手动编写这个SQL语句)。
How do I tell spark to use the broadcast hash join via the API? The issue is that if I load the ID list (f
浏览 7提问于2016-05-27得票数 16
回答已采纳
使用HDP 3.1中的Spark 2.4和Hive 3.1.0，我试图使用spark sql从hive读取托管表，但它返回一个空的dataframe，而它可以轻松地读取外部表。如何通过spark sql从hive读取托管表？ 注意:当从hive客户端读取时，hive maanged表不是空的。 1-我尝试通过ORC和拼花来格式化表格，但两者都失败了。 2-我无法使用HWC读取它。 3-我在使用JDBC时无法读取它。 os.environ["HADOOP_USER_NAME"] = 'hdfs'
spark = SparkSession\
.build
浏览 26提问于2019-09-25得票数 1
我希望从dataframe中读取列的值，并检查该值是否为空，并且值的长度为<= 500。
我的代码:
import org.apache.spark.sql.functions._
object OmegaProcess
{
// Some scala lines of Code
....
val line_flag = generateomegaLineFlag(omegaDF)
def generateomegaLineFlag(omegaDF: DataFrame): Int = {
if (omegaDF("omega_file_
浏览 2提问于2017-05-31得票数 0
回答已采纳
1回答
我正在dataframe1中读取CSV文件，然后在dataframe2中筛选一些列，在从dataframe1中选择dataframe2列时，我想将我的函数应用到列值上。喜欢
import utilities._
val Logs = sqlContext.read
.format("csv")
.option("header", "true")
.load("dbfs:/mnt/records/Logs/2016.07.17/2016.07.17.{*}.csv")
val Log = Logs.select(
&
浏览 0提问于2018-11-04得票数 0
回答已采纳
问题：为什么下面的代码只在第一列上用空值替换空值，而不替换具有空值的其他列？例如，如果column1和column2没有空值，而column3、column6、column9有空值，则只能在column3中替换空值，而在column6和column9中则不替换空值。我们如何解决这个问题？注意:所有列都是字符串类型的。我使用的是‘Python’scala。
Details：我在使用。将csv文件读取到Spark dataframe可以正常工作，但是当将该数据导入到server表中时，只有第一列的空值才会替换为空字符串。csv文件大约有50列，其中许多列都有一些空值。
备注：我不想使用可选参数su
浏览 16提问于2022-05-09得票数 0
2回答
我有一个带有这种模式的JSON文件：
{
"name" : "john doe",
"phone-numbers" : {
"home": ["1111", "222"],
"country" : "England"
}
}
家庭电话号码数组有时可能是空的。
我的spark应用程序收到这些JSONS的列表，并执行以下操作：
val dataframe = spark.read.json(filePaths: _*)
val result = da
浏览 2提问于2017-05-21得票数 3
回答已采纳
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType
import os, glob
spark = SparkSession.builder.\
config("spark.jars.packages","saurf
浏览 1提问于2019-09-06得票数 3
回答已采纳
1回答
我试图交叉连接两个数据帧，并应用少量的转换，最后尝试将结果写入临时S3位置。但我总是以低于No space left on device错误结束。看起来是因为打电话给spill()。你能帮我怎样用正确的配置克服这个错误吗？
配置详细信息：
专题组: AWS电子病历组
核心节点:最初为2个，可扩展到15个节点。
任务节点:最初为0，按需扩展到15个.
实例类型: r4.2xlarge (8核，61 EBS，128 EBS)
Dataframe1 & Dataframes2分区大小:26个分区。
Dataframe1记录计数= 115580
Dataframe2
浏览 14提问于2022-08-02得票数 0
我正试图在一个公共列中将两个数据格式连接在一起。如果公共列的值不存在于正确的dataframe中，则插入空值。我希望它与右dataframe中的默认行连接，而不是空值。是否有可能做到这一点？
df1 = df1.join(df2, [df1.id == df2.channel_id], "left")
df1.select('channel_id', 'channel_name').show()
对于没有匹配的行，我的代码打印null，null。相反，我希望它与id =0匹配，id=0是默认值。
浏览 1提问于2019-07-30得票数 1
我有两个DataFrames，每个都有一列(每列300行)： df_realite.take(1)
[Row(realite=1.0)]
df_proba_classe_1.take(1)
[Row(probabilite=0.6196931600570679)] 我想做一个包含两列的DataFrame。我试过了： _ = spark.createDataFrame([df_realite.rdd, df_proba_classe_1.rdd] ,
schema=StructType([ StructFiel
浏览 24提问于2019-04-19得票数 0
回答已采纳
我有一个主SQL表，我正在读取这个表，并修改它以写入CassandraDB。目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。
我见过：
.withColumn("gender", when(col("gender) === 1, "male").otherwise("female")
这将允许我继续在主表上进行方法链接，但无法让它使用两个
浏览 1提问于2017-09-11得票数 2
回答已采纳
我有两个舞会文件。
第一列包含以下列：十进制:十进制(38，18)(可空=真)
第二个列具有相同的列，但具有不同的类型：十进制:整数(nullable = true)
我想将它们合并，但我不能简单地单独阅读它们，并将它们抛到特定的列中，因为这是一个应用程序的一部分，它接收许多不同的拼花模式。我需要能涵盖每一种情况的东西。
我读这两本书都是这样的：
df = spark.read.format("parquet").load(['path_to_file_one', 'path_to_file_2'])
当我试图显示数据时，它会失败，并出现下面的错
浏览 2提问于2020-11-05得票数 1
1回答
我有两个火花数据，这将是充分的外部连接。
df1 = spark.createDataFrame(pd.DataFrame([[1,5,[1,2]],[1,15,[1,3]],[2,4,[3,4]]],
columns=["id","day","state"]))
df2 = spark.createDataFrame(pd.DataFrame([[1,10,[5,6]],[1,12,[7]],[2,4,[3]],
[2,6,[10
浏览 2提问于2022-09-29得票数 1
回答已采纳
我有三列的数据
datejsonString1jsonString2
我希望将json中的属性扩展到列中。所以我做了这样的事。
val json1 = spark.read.json(dataframe.select(col("jsonString1")).rdd.map(_.getString(0)))
val json2 = spark.read.json(dataframe.select(col("jsonString2")).rdd.map(_.getString(0)))
val json1Table = json1.selectExpr(&#
浏览 4提问于2020-02-09得票数 1
回答已采纳
2回答
在最近发布的中，作者指出(第74页)：
"...when定义了一个模式，其中所有列都被声明为不具有空值-- Spark将不会强制执行该模式，并且会很高兴地将空值放入该列。可空信号只是为了帮助Spark优化处理该列。如果列中的空值不应该具有空值，则可能得到不正确的结果，或者看到难以调试的奇怪异常。“
在回顾笔记和以前的支拉时，上面的说法似乎不再是真的。
根据和，当在DataFrame创建中定义模式时，就会强制执行可空性。
我能得到一些澄清吗？我再也不确定这种行为是什么了。
浏览 2提问于2017-11-24得票数 6
回答已采纳
3回答
当我们有一个足够小的数据存储到内存中时，我们在Spark中使用广播散列连接。当小数据文件的大小低于spark.sql.autoBroadcastJoinThreshold时，我对此几乎没有疑问。
我们暗示为广播的小数据的生命周期是什么？它将在记忆中停留多长时间？我们怎样才能控制它？
例如，如果我已经使用广播散列连接两次使用小dataframe加入了一个大dataframe。当第一个join执行时，它将向工作节点广播小数据，并执行连接，同时避免大数据数据的洗牌。
我的问题是，遗嘱执行人将保留一份广播数据副本多长时间？它会留在记忆中直到会话结束吗？否则一旦我们采取任何行动，它就会被清除。我们能控制
浏览 0提问于2018-12-14得票数 11
回答已采纳
2回答
在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中的空值。我尝试了以下方法，但遇到了问题：
//old_df is the existing Dataframe
val key_cols = List("id", "key_number")
val non_key_cols = old_df.columns.toList.filterNot(key_cols.contains(_))
val key_col_
浏览 18提问于2018-08-29得票数 1
回答已采纳
2回答
我正在尝试使用Scala和Spark筛选一个比较两个日期列的DataFrame。根据过滤后的DataFrame，在顶部运行计算以计算新列。简化我的数据框架有以下模式：
|-- received_day: date (nullable = true)
|-- finished: int (nullable = true)
在此基础上，我创建了两个新列t_start和t_end，用于过滤DataFrame。它们与最初的列received_day相比有10天和20天的差异。
val dfWithDates= df
.withColumn("t_end",date_sub(
浏览 0提问于2019-01-15得票数 1
回答已采纳
3回答
我有两个数据。一个是空的，另一个是包含很多行的。我希望用值对dataframe进行分组，然后对每个组的前3行进行切片，并将它们添加到空的dataframe中。我希望每个新的3行被放入一个新的列中。
我试过，连接，加入，附加..。但我想不出怎么..。
到目前为止我的代码是：
df = pd.Dataframe()
df2 = pd.DataFrame({'C': [20, 20, 20, 20, 10, 10, 10, 30, 30, 30],
'D': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]})
d
浏览 1提问于2019-04-29得票数 1
回答已采纳
我在本地模式下使用Spark2.0.2。我有一个连接，它连接两个数据集。
当使用spark或dataframe (非类型化DatasetRow )时，速度相当快。但是，当我使用类型化Dataset API时，我会得到下面的错误。
线程"main“org.apache.spark.sql.AnalysisException中的例外情况:该连接的双方都超出了广播阈值，计算它可能会非常昂贵。要显式启用它，请设置spark.sql.crossJoin.enabled = true；
我增加了"spark.sql.conf.autoBroadcastJoinThreshold"，
浏览 4提问于2016-11-24得票数 2
回答已采纳
1回答
我是spark的新手，我想计算每一列的空值率(我有200列)，我的函数如下：
def nullCount(dataFrame: DataFrame): Unit = {
val args = dataFrame.columns.length
val cols = dataFrame.columns
val d=dataFrame.count()
println("Follows are the null value rate of each columns")
for (i <- Range(0,args)) {
var nullrate = dataFrame.rd
浏览 2提问于2017-09-07得票数 3
我有一个Seq of Spark (即Seq[org.apache.spark.sql.DataFrame])，它可以包含一个或多个元素。有一个列的列表对每个数据文件都是通用的，每个dataframe也有一些额外的列。我想要做的是使用连接条件中的那些公共列将所有这些数据文件连接在一起(记住，数据格式的数量是未知的)
我怎样才能把所有这些数据文件连接起来？我想我可以对它们进行foreach，但这似乎不太优雅。谁能想出一种更实用的方法来做这件事呢？编辑:递归函数会比预测更好，我现在正在做这个工作，完成后会在这里发布。
下面是一些代码，它创建了n个dataframes列表(在本例中是n=3)，每个列
浏览 0提问于2018-05-15得票数 4
回答已采纳
如何将变量传递给Spark数据帧筛选器和for IF条件。
我正在从Spark dataframe填充值
val data=sqlContext.sql("Select Col from Tables1")
我想将这个变量数据传递到dataframe filter选项中。
我尝试了下面的一个，但它是空值。
val df=df1.filter($"Column1"===data) and
val df=df1.filter($"Column1"===$data)
两种方法都不起作用。
我试着在IF语句中使用。
if $data="Strin
浏览 26提问于2017-03-16得票数 0
2回答
我想根据以下条件连接两个数据文件:如果df1.ol(“name”)==df2.ol(“name”)和df1.ol(“starttime”)大于df2.ol(“starttime”)。
条件的第一部分是ok，我在spark中使用列类的“相等”方法，但是对于“大于”条件，当我在java中使用以下语法时：
df1.col("starttime").gt(df2.col("starttime"))
它不工作，它似乎是星火sql中列的"gt“函数，只接受数值类型，当您传递列类型作为它的输入参数时，它不能正常工作。程序正常完成，但是结果是错误的，它在datafram
浏览 2提问于2017-04-03得票数 1
回答已采纳
在python和pandas中，我可以创建一个新的专栏，如下所示： 使用pandas dataframe中的两列来创建字典。 dict1 = dict(zip(data["id"], data["duration"])) 然后，我可以应用这个字典在第二个dataframe中创建一个新列。 df['id_duration'] = df['id'].map(lambda x: dict1[x] if x in dict1.keys() else -1) 如果我有一个数据帧id_duration (有两列：id和duration)和
浏览 38提问于2021-01-22得票数 0
回答已采纳
2回答
我正在使用spark sql开发一个SPARK应用程序，我的工作之一是从两个表中选择值，并将其插入到一个空表中，这就是我的结果。但为此，我正在尝试使用spark创建一个空表，我已经创建了一个空数据框，但无法将其注册为表。下面是我的情况代码
from pyspark import SQLContext
from pyspark.sql.types import StructType,StructField,StringType,DateType,IntegerType
sqlc=SQLContext(sc)
schema= StructType([StructField("Name&#
浏览 2提问于2016-08-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
