由于不能修改spark scala中的特定列值，我在连接这两个数据框视图时遇到了困难。我想我必须以某种方式做一个转置/连接，但我不能弄清楚它。这是第一个数据帧： var sample_df = Seq(("john","morning","7am"),("john","night","10pm"),("bob&
浏览 42提问于2020-12-03得票数 0
回答已采纳
我计划将此函数应用于不同模式的各种数据帧。这些数据帧非常庞大，每个数据帧有数百万行，但每个数据帧都有一个定义好的模式 我想创建另一个函数，它将调用第一个函数，将函数的输出字符串与它发送到函数的行合并，并创建一个新的数据帧，该数据帧将作为第二个函数的输出这两个函数都将在spark-scala环境中</em
浏览 46提问于2019-10-15得票数 0
回答已采纳
1回答
例如，我有两个数据帧， DF1|id | value1|value2|value3|| 2 |200 |300 |400 |+----+-------+------+------+ 我想按id合并这两个数据帧，同时将两个数据帧中具
浏览 19提问于2019-03-30得票数 1
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike、contains
浏览 1提问于2021-02-12得票数 0
1回答
假设您有两个s3存储桶，您想要从中读取spark数据帧。对于在spark数据帧中读取的一个文件，将如下所示： file_1 = ("s3://loc1/")
df = spark.read.option("MergeSchema","True").load(file_1) 如果我们有两个文件： file_1 = ("s3://lo
浏览 9提问于2021-10-18得票数 0
回答已采纳
我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作： |-- id: string (nullable = true)但是，当我尝试编写包含StructTypes的数据帧时，其模式如下： |-- crawl: struct (nullable = true)
| |-- id:
浏览 4提问于2016-06-27得票数 1
我是spark和scala的新手。请帮我弄一下这个。tab.map(_.show())
tab: Array[org.apa
浏览 0提问于2017-11-21得票数 0
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？输入数据帧 name count_1 count_2Python null 20000R nullnull
Swift 50000 65000
浏览 23提问于2021-09-05得票数 1
回答已采纳
3回答
列表中的每个组件都是一个数据框架。这两个列表是对称的。它们都包含2006-2012年的数据框架，只是关于不同的主题。我希望将数据帧“水平”(即2006年第一个列表中的数据帧与第二个列表中2006年的数据帧等)合并，以获得第三个数据帧列表。
浏览 2提问于2013-11-05得票数 2
回答已采纳
为什么我的代码不能像预期的那样覆盖数据库中的数据？我已经使用客户端检查了该表，并且它确实存在(这应该无关紧要)。而且里面也有数据。怎么了？这会不会是内存问题？(commands.scala:68) at or
浏览 2提问于2019-12-13得票数 1
1回答
我在Spark 2.4中有两个数据帧，它们的大小几乎相同。每个都有大约4000万条记录。一种是通过简单地从S3加载数据帧生成的，另一种是加载一堆数据帧并使用sparkSQL生成大型数据帧。然后我将这两个数据帧多次连接到多个数据帧中，并尝试将它们作为CSV写入S3……然而，我看
浏览 12提问于2020-05-14得票数 0
回答已采纳
我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。加入后，生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.spark.sql.Row, CassandraJoinRDD[17] at RDD at Cassandr
浏览 20提问于2020-07-17得票数 0
2回答
我需要cbind，因为它发生在使用scala的spark中的R两个数据帧中，这两个数据帧没有ID列。关于它的任何现成的功能或其他解决方法，有什么建议吗？
浏览 0提问于2017-07-07得票数 2
我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们，它们返回给我未来类型的DataFrame，我如何在最后合并它们，并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时，它显示以下错误
value union is not a member of scala.concurrent.Future[(scal
浏览 2提问于2020-01-22得票数 0
1回答
假设我下面有两个数据帧，这两个数据帧将通过scala代码创建，然后jar将被构建。1,0,1,0)).toDF("col1")}
我的要求是创建jar并提交spark如何处理这个错误在scala对象中退出？
浏览 0提问于2019-11-22得票数 0
我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。
浏览 23提问于2019-05-18得票数 1
如何复制此代码以获取pyspark中的数据帧大小？scala> val df = spark.range(10)Statistics(sizeInBytes=80.0 B, hints=none)
我想要做的是将sizeInBytes值放入一个变量中
浏览 0提问于2020-06-03得票数 2
给定两个数据帧，这两个数据帧可能具有完全不同的模式，除了索引列(本例中为<code>D0</code>)，例如下面的df1和df2：<code>A1</code><code>A2</code>df3：
<code>
浏览 18提问于2019-03-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
