2回答
我已经搜索了一段时间了，如果有任何方法在Pyspark中使用一个Pyspark类，我还没有找到任何关于这个主题的文档或指南。假设我在Scala中创建了一个简单的类，它使用了一些apache-spark库，如下所示： def exe(): D
浏览 3提问于2016-03-15得票数 29
回答已采纳
我的Databricks笔记本使用的是Python。notebook中的一些代码是用Scala编写的(使用%scala)，其中之一是用于创建数据帧。如果我再次使用Python/PySpark (默认模式)，我如何使用/访问这个在scala模式下创建的dataframe？谢谢
浏览 14提问于2019-11-17得票数 1
回答已采纳
我的要求是从现有的PySpark程序中调用一个"Spark Scala“函数。将PySpark程序中创建的sparkSession传递给Scala函数的最佳方式是什么？我将我的scala jar传递给Pyspark，如下所示。spark-submit --jars ScalaExample-0.1.jar pyspark_call_<e
浏览 59提问于2019-10-01得票数 4
我在Scala中有一段用于Python转换的代码 searchTermsInputTable: DataFrameString): String = {
countryCodes.split(",").map(cc => s":G:$cc:&q
浏览 3提问于2022-03-18得票数 0
在“火花:最终指南”中，它说：
df.col("count")
但是，当我在包含列count的dataframe上运行后的代码时，就会得到错误'DataFrame<
浏览 2提问于2018-08-12得票数 9
在Databricks下，我使用此命令从Python Dataframe创建dataframe %python wordsDF = sqlContext.createDataFrame(pandasDF我想将数据发送回Azure Datalake Gen2，并且我想使用Scala dataframe。 如何从Pyspark返回/转换Dataframe到scala Dataframe？
浏览 36提问于2021-10-05得票数 0
我试图从Azure Synapse DW中加载数据到一个数据文件中，如图像所示。
浏览 2提问于2021-08-17得票数 1
回答已采纳
2回答
我正在创建一个火花作业，它要求使用用python编写的函数将列添加到dataframe中。其余的处理是使用Scala完成的。我已经找到了如何从pyspark调用Java/Scala函数的示例：
我发现用另一种方式发送数据的唯一例子是使用pipe。我是否可以将整个dataframe发送到python函数，让函数操作数据并添加其他列，然后
浏览 3提问于2017-09-15得票数 5
1回答
我已经寻找了一段时间，看是否有任何方法可以在Pyspark中使用Scala函数，但我还没有找到关于这个主题的任何文档或指南。我的目标是使用之前人们定义的scala函数appendPrvlngFields隐式函数。然后我想在python环境中使用这个函数，而不是重新定义它，而是通过一些类型的方式，比如注册scala函数
假设我在Scala中
浏览 0提问于2020-12-24得票数 0
Dataframe是使用scala创建的。spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )
我想把这个转换成Pandas DataframePySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
我一直想知道像Apache Spark这样支持不同语言API的系统的高级架构。例如，Spark支持Scala、Python和Java中的API。
尽管该软件是用Scala编写的，但它支持多语言API。如何在编程层面上做到这一点？有人能解释一下这样的系统的高层架构吗？
浏览 0提问于2016-03-13得票数 3
2回答
_1的两个字段都是StringType。所以我创建了上面的StructType，这样我就可以用它来键入dataframe_1中的字段。我可以在Scala中这样做： col => s"CAST ( ${col.name} As ${col.dataType.sql}) ${col.name}"我无
浏览 6提问于2022-08-06得票数 1
Pandas中有一个函数可以计算我的DataFrame的形状，最终结果如下 [total number of rows, total number of columns] 我可以在PySpark中使用以下函数来获得我的DataFrame的形状： print((df.count(), len(df.columns))) 我如何在Scala中做同样的事情？对于更大<e
浏览 111提问于2021-11-06得票数 1
回答已采纳
2回答
无法导入DSX环境中的spark
、、、、
我已经确认火花库本身并没有加载到环境中。通常情况下，我会下载软件包，然后下载import。但是对于VMs来说，我不知道如何实现这一点。我确实找到了，但我不认为我有错配的问题--导入DSX的问题已经解决了，但我不能很好地解释我的情况。我认为是我真正需要解决的问题，但它是针对sparkR而不是python的<
浏览 0提问于2018-04-01得票数 0
回答已采纳
我正在尝试将一些pySpark代码转换为Scala，以提高性能。在AWS (它使用Apache )中，会自动为您生成一个脚本，它通常使用DynamicFrame对象加载、转换和写入数据。但是，DynamicFrame类并不具有与DataFrame类相同的所有功能，有时您必须将其转换回DataFrame对象，反之亦然，以执行某些操作。下面是我如何在DataFrame中将DynamicFrame对象转换为pySpark对
浏览 1提问于2018-05-17得票数 3
回答已采纳
1回答
我听到一个常见的主题在运行，我只应该在Spark上使用Scala进行严肃的编程(1.5.1)。真正的超级用户使用Scala。据说Python对于分析是很好的，但是最终应该将代码写到Scala来完成。我听到的原因有很多：
Spark是用Scala编写的，因此总是比上面的任何其他语言实现都要快。与Python相比，Spark版本总是更倾向于为Scala提供更多的可见特性和启用功能。
浏览 1提问于2015-10-06得票数 1
我有一个dataframe ( scala ) --我在笔记本中同时使用了pyspark和scala。#pysparkimport org.apache.spark.sql.functions._
val d
浏览 2提问于2020-10-27得票数 0
回答已采纳
我正在将一个dataframe转换成一个管道分隔的值，并将其写入shell (scala)中的一个文件中。但我在PySpark方面毫无头绪。会很感激你的帮助。尤其是我不知道如何用“\”来连接每个列scala> val stgDF = spark.read.table("tbl")
stgDF: org.apache.spark.sql
浏览 3提问于2017-10-30得票数 4
回答已采纳
我想在Scala中对我的数据帧进行分层采样。我的dataframe只有一列，我想为它形成一个分数映射。我可以在pyspark中实现，但在Scala中会出错。以下是我在Scala中尝试的内容：
import org.apache.spark.sql.functions.我想使用上面在.samplyBy方法中创建<
浏览 87提问于2018-06-07得票数 0
我在Scala中有一个名为dataList的2d列表，我想将它转换为Pandas DataFrame。val dataList: List[List[Int]] = tempData.toList<class 'py4j.java_gateway.JavaObject'>
据我所知，我必须使用py4j来访问Python中的集合。但
浏览 4提问于2016-04-23得票数 4
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
