在pyspark中有没有通用的函数来查找列名？
在pyspark中，可以使用columns属性来获取DataFrame中的所有列名。columns返回一个包含所有列名的列表。
以下是一个示例代码：
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["name", "age"])
# 获取列名
column_names = df.columns
# 打印列名
for name in column_names:
print(name)输出结果为：
name
age在这个例子中，我们首先创建了一个SparkSession，然后使用createDataFrame方法创建了一个包含两列（"name"和"age"）的DataFrame。接下来，我们使用columns属性获取了DataFrame的所有列名，并通过循环打印出来。
关于pyspark的更多信息和使用方法，你可以参考腾讯云的PySpark产品文档：PySpark产品文档
相关·内容
1回答
在pyspark中有没有一种方法可以创建一个字段包含非字母数字字符的行？
例如。
from pyspark.sql import Row
Row(my-field='myvalue') # does not work because my-field can't be parsed by python
Row(**{'my-field':'myvalue'}) # I was expecting this workaround to work but
# it gives "TypeError: Can not infer sc
浏览 22提问于2019-11-28得票数 0
回答已采纳
1回答
这段代码是由另一位成员建议的，它允许fmap与选项一起通用地工作，而选项编译和工作非常完美，但是有一个警告，我很难理解和修正。最后一行，在“函子”下：
此构造导致代码不具有泛型。类型变量'b已被约束为函子。
type Functor = Functor
with
static member FMap (Functor, mapper : 'T -> 'U, opt : Option<'T>) : Option<'U> =
Option.map mapper opt
static me
浏览 3提问于2017-09-17得票数 2
回答已采纳
我在吡咯烷酮目录中有一个hbase.py文件。在REPL内部，我尝试重新加载它：
>>> reload(pyspark.hbase)
<module 'pyspark.hbase' from '/shared/hwspark2/python/pyspark/hbase.py'>
>>> from pyspark.hbase import *
>>> # run the code .. latest changes not apparent..
没有错误..。但是，没有更新类的定义-没有出现新的打印
浏览 1提问于2014-10-22得票数 2
回答已采纳
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。
如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
1回答
我正试图在pyspark中对SGD模型执行交叉验证，我正在使用来自pyspark.mllib.regression、ParamGridBuilder和CrossValidator的pyspark.mllib.regression、ParamGridBuilder和CrossValidator的交叉验证，它们都来自pyspark.ml.tuning库。
在跟踪了星火网站上的之后，我希望运行这个程序可以工作
lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])
paramGrid = ParamGridBuilder()\
浏览 2提问于2017-10-30得票数 1
我正在尝试加载站点催化剂数据，其中有近1000条记录。下面是我使用的代码：
from pyspark.sql.types import *
from pyspark.sql import Row
sqlContext = SQLContext(sc)
omni_rdd = sc.textFile('hdfs://user/temp/sitecatalyst20170101.gz')
omni_rdd_delim = omni_rdd.map(lambda line: line.split("\t"))
omni_d
浏览 0提问于2017-04-03得票数 3
我正在尝试找出sql语句产生的每个字段的最小值和最大值，并将其写入csv文件。我试着在下面的时尚中得到结果。你能帮帮我吗。我已经用python编写了代码，但现在正在尝试将其转换为pyspark，以便直接在hadoop集群中运行。
from pyspark.sql.functions import max, min, mean, stddev
from pyspark import SparkContext
sc =SparkContext()
from pyspark.sql import HiveContext
hive_context = HiveContext(sc)
#ban
浏览 2提问于2018-11-20得票数 1
1回答
我正试着对Haskell(函子，Monad)更加熟悉。所以我试着理解下面的例子中发生了什么
sequence:: [f a] -> f [a]
let list = [(+2), (*6)]
let y = sequence list
(+2)中的"f“和y的”值“是什么？
浏览 0提问于2018-09-12得票数 0
我尝试使用pyspark和jdbc将数据插入到mariadb中，但似乎pyspark没有生成正确的SQL，我的Spark版本是2.1.0，我没有这个问题，直到集群管理器将Spark从1.6.1更新到2.1.0，这是我的python代码
from pyspark.sql import Row, SparkSession as SS
if __name__ == "__main__":
spark = SS.builder.appName("boot_count").getOrCreate()
sc = spark.SparkContext
浏览 3提问于2017-01-07得票数 0
1回答
我一直在考虑如何为以下类型实现等效的unfold：
data Tree a = Node (Tree a) (Tree a) | Leaf a | Nil
这并不明显，因为列表的标准unfold返回一个值和下一个种子。对于这种数据类型，这是没有意义的，因为在到达叶节点之前没有“值”。这样，返回新种子或以价值停止才是真正有意义的。我使用的定义是：
data Drive s a = Stop | Unit a | Branch s s deriving Show
unfold :: (t -> Drive t a) -> t -> Tree a
unfold fn x = ca
浏览 0提问于2015-02-21得票数 9
回答已采纳
我有一个用例，给我4个地理空间点集，代表4个矩形。我有一个表，它有一个点(这只是一个纬度和经度)。我的任务是检查表中的点是否位于四个矩形中的任何一个内。 这应该在Pyspark中完成。我尝试过使用udf，但它花费了很长时间，因为主表包含很多行。有没有人能帮我在Pyspark中有效地解决这个问题。 现在，我已经使用Shapely来帮助我创建点和面
浏览 21提问于2020-03-31得票数 0
回答已采纳
我有一段python代码，其中有一些rdd函数，我想将其分发到多个执行器中。 我希望在sparkish代码运行之前，能够在每个执行器上执行一些python代码(初始化一个记录器方法)。我读到并发现这是可能的，通过在创建spark会话时提供spark.executor.plugins，但是找不到任何关于如何在python spark api(pyspark)中使用它的文档。 任何指导都是非常有用的！使用pyspark 2.4.4版本
浏览 14提问于2020-07-03得票数 0
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我正在尝试使用下面的方法动态地重命名Pyspark中的列。但是只有一列被重命名，而不是全部
target_schema : ['customer_Number', ' product_Number', ' Payment_Term', ' DateTime', ' Company_ID', ' Company_Number', ' Col1', ' Col2']
source_schema : ['customerID', ' productI
浏览 1提问于2021-11-26得票数 0
我无法计算列名称中包含点的pyspark数据帧的approxQuantile。 例如，数据帧模式是 root
|-- col.dot: double (nullable = true) 那我就不能 df.approxQuantile(('`col.dot`'), [0.5], 0.25) 导致错误: pyspark.sql.utils.IllegalArgumentException：‘字段"col.dot“不存在。\n可用字段: col.dot’ 我也试过 df.approxQuantile(('col.dot'), [0.5], 0.25) 这会
浏览 7提问于2019-06-12得票数 1
我有一个包含令牌列表的数据帧。
data1 = [(1, ["This","is", "category", "A"]),
(2, ["This", "is", "category", "B","This", "is", "category", "B"]),
(3, ["This", "is", "category", "F&#
浏览 0提问于2020-04-22得票数 1
1回答
dask读取拼图并指定模式
、、、、
在读入拼图文件时，有没有dask等同于spark指定模式的能力？可能使用传递给pyarrow的kwargs？
我在存储桶中有一堆拼图文件，但其中一些字段的名称略有不一致。我可以创建一个自定义的延迟函数来在读取它们之后处理这些情况，但我希望在通过globing打开它们时可以指定模式。也许不是，正如我猜测的那样，then然后via globing将尝试连接它们。由于字段名称不一致，此操作当前失败。
创建拼图文件：
import dask.dataframe as dd
df = dd.demo.make_timeseries(
start="2000-01-01",
浏览 0提问于2021-04-01得票数 4
Pandas中有一个函数可以计算我的DataFrame的形状，最终结果如下 [total number of rows, total number of columns] 我可以在PySpark中使用以下函数来获得我的DataFrame的形状： print((df.count(), len(df.columns))) 我如何在Scala中做同样的事情？对于更大的数据集，这也是一种有效的方法吗？
浏览 111提问于2021-11-06得票数 1
回答已采纳
2回答
正如引用者在CLion IDE上所说的那样，我声明了一个CLion。
priority_queue<int, vector<int>, greater<int>> pq;
沃尼格说
Clang-Tidy: Prefer transparent functors 'greater<>'
这段代码没有任何警告。
priority_queue<int, vector<int>, greater<>> pq;
我照推荐信说的那样做了：
std::priority_queue<int, std::v
浏览 1提问于2019-08-06得票数 2
回答已采纳
2回答
在pyspark中有内置的日志丢失函数吗？
我有一个包含列的pyspark数据帧: probability、rawPrediction、label
我想用平均对数损失来评估这些预测。
浏览 37提问于2018-02-28得票数 5
我在Azure上的一个文件夹中有多个.csv文件。使用PySpark，我试图创建一个有两个列(文件名和第一行)的dataframe，文件名和第一行是为文件夹中的每个文件捕获的。
理想情况下，我希望避免不得不完整地阅读文件，因为其中一些文件可能相当大。
我是PySpark的新手，所以我还不了解基本知识，所以我希望得到任何帮助。
浏览 2提问于2022-08-30得票数 0
回答已采纳
我试图在12小时后将包含单词"length“的变量的所有值更改为NA。
df_data <- cbind(
seq(0, 15, by = 0.5),
sample(seq(from = 100, to = 300, by = 10), size = 31, replace = TRUE),
sample(seq(from = 1, to = 100, by = 9), size = 31, replace = TRUE),
sample(seq(from = 50, to = 60, by = 2), size = 31, replace = TRUE),
浏览 3提问于2017-09-27得票数 0
回答已采纳
1回答
我有一个Pyspark数据框架
| ID|colA|colB|colC|
+---+----+----+----+
|ID1| 3| 5| 6|
|ID2| 4| 12| 7|
|ID3| 2| 20| 22|
+---+----+----+----+
我要选择行ID3并选择三列的最大值，然后显示最大值的列名。因此，如果我为行ID3选择三列的最大值，它应该返回如下：
|colC|
+----+
|22 |
+----+
因此，我的问题是，我们如何选择一行，并选择一个列名根据最大列值的选定行从吡火花DataFrame？
浏览 0提问于2021-02-20得票数 0
回答已采纳
我在pyspark2.1中训练了RandomForest，但另存为pyspark模型文件。
rf_model = RandomForestClassifier(featuresCol='features',
labelCol='click',
maxDepth=10,
maxBins=32,
numTrees=100,
浏览 6提问于2020-06-23得票数 0
据我所知，函子是两个类别之间的映射，例如
中的对象
哪里
和
都是类别。
在Haskell中有Hask，其中对象是Haskell类型，而态射是Haskell函数。但是，Functor类型类有一个函数fmap，它在这些类型之间映射(因此是对象，而不是类别本身)：
fmap :: (a -> b) -> f a -> f b
f a和f b都是Hask中的对象。这是否意味着Haskell中的每个Functor实例都是一个函数，如果不是，Functor是否真的表示一个函子？
我在这里错过了什么？类型也在Haskell中吗？
浏览 4提问于2013-02-11得票数 23
回答已采纳
1回答
到目前为止，我在So或附属网站上发现的东西没有很好地工作，或者没有在Databricks上使用我的测试，也许我没有在这里看到它。
以下是再次说明的需要：
我有Avg_Open_By_Year，Avg_High_By_Year，Avg_Low_By_Year和Avg_Close_By_Year，，它们都有一个共同的专栏“Year”。
所以我想把这三个人连在一起，得到一个最终的df，比如：Year, Open, High, Low, Close
现在，我不得不用丑陋的方式加入他们的“年度”栏：
finalDF = Avg_Open_By_Year.join(Avg_High_By_Year, on
浏览 3提问于2020-01-31得票数 0
回答已采纳
1回答
我是PySpark的新手。我有一个列名中包含连字符的csv文件。我可以成功地将文件读取到数据帧中。然而，当将df写入orc文件时，我得到一个错误，如下所示-
java.lang.IllegalArgumentException:缺少必需的字符':‘at’结构
当我通过删除连字符来重命名列时，我可以将数据帧写入orc。但是我需要列名有连字符，因为我想把这个orc附加到列名中有连字符的现有orc上。
有没有人能帮我一下？任何帮助都将非常感谢！
浏览 32提问于2021-02-13得票数 0
我想将几个大型Pandas数据帧转换为Spark数据帧，然后对它们进行操作和合并，如下所示：
import pandas as pd
from pyspark import SparkContext,SQLContext
df1 = pd.read_csv('data1.cat',delim_whitespace=True)
df2 = pd.read_csv('data2.cat',delim_whitespace=True)
sc = SparkContext()
sql = SQLContext(sc)
spark_df1 = sql.createDa
浏览 208提问于2020-06-08得票数 0
回答已采纳
在PySpark和Synapse数据流中，我遇到了非常奇怪的错误。
我正在使用下面的查询读取JSON文件，但得到重复的列错误，即使没有重复的列。我可以使用其他工具和JSON验证器来读取它，也可以使用数据流，但不能在PySpark中读取。
PySpark查询如下：
df = (
spark.read.option("multiline", "true")
.options(encoding="UTF-8")
.load(
"abfss://<Container>]@<DIR>.
浏览 3提问于2021-11-25得票数 0
1回答
如何推断大熊猫的数据类型
、、、
我有一个数据文件，我在使用pyspark时看到了它：
df1 = spark.read.csv("/user/me/data/*").toPandas()
不幸的是，pyspark将所有类型保留为Object，甚至是数值。我需要将它与我在df2 = pd.read_csv("file.csv")中读到的另一个数据格式合并，所以我需要精确地推断df1中的类型，就像熊猫所做的那样。
你如何推断出现有熊猫的数据类型？
浏览 0提问于2017-09-18得票数 3
在查看std::reference_wrapper 的实现时
构造器和运算符对我来说是显而易见的，但我不明白这部分
template< class... ArgTypes >
typename std::result_of<T&(ArgTypes&&...)>::type
operator() ( ArgTypes&&... args ) const {
return std::invoke(get(), std::forward<ArgTypes>(args)...);
}
谁能帮我简化一下..。将不胜感激
浏览 5提问于2016-06-01得票数 3
回答已采纳
1回答
环境: Spark 2.4.4 我正在尝试将以下代码从Scala Spark转换为PySpark： test.registerTempTable("test")
val df = sqlContext.sql("select cluster as _1, count(*) as _2 from test group by cluster, label order by cluster desc")
import org.apache.spark.sql.expressions.Window
val w = Window.partitionBy("
浏览 27提问于2019-12-29得票数 0
回答已采纳
2回答
我希望使用来自内部表的SQL查询来监视Oracle数据库。Oracle在UNIX/Windows/Linux/OS中有什么不同吗？
尤其是，这些表是否存在并在每个平台中具有相同的结构？它们在10g到11g之间变化吗？
V$SYSSTAT
V$SESSTAT
v$session
我无法访问生产系统的测试环境来检查表之间的差异。
浏览 3提问于2016-06-24得票数 0
回答已采纳
在Spark1.6 DataFrame中，目前没有PySpark内置函数可以将字符串转换为浮点型/双精度型。
假设我们有一个RDD ('house_name'，'price')，两个值都是字符串。你想转换，价格从字符串到浮点数。在PySpark中，我们可以应用映射和python浮点函数来实现这一点。
New_RDD = RawDataRDD.map(lambda (house_name, price): (house_name, float(x.price)) # this works
在PySpark 1.6Dataframe中，它不工作：
New_DF
浏览 0提问于2016-02-28得票数 5
4回答
在使用.join()时，如何在pyspark中指定许多条件
示例:使用hive：
query= "select a.NUMCNT,b.NUMCNT as RNUMCNT ,a.POLE,b.POLE as RPOLE,a.ACTIVITE,b.ACTIVITE as RACTIVITE FROM rapexp201412 b \
join rapexp201412 a where (a.NUMCNT=b.NUMCNT and a.ACTIVITE = b.ACTIVITE and a.POLE =b.POLE )\
但在PySpark中，我不知道如何制作它，因为以下是：
df
浏览 0提问于2015-12-02得票数 23
1回答
我试图在那里找到-out --这是定义一个类的一个很好的技术理由，这个类只包含一个成员，而这个成员恰好是一个operator()。
我无意中遇到了一个-for，不管是什么原因-创建了一个包含两个类的名称空间，但是每个类作为成员只包含一个operator()。
在我看来，这些类可能会被当作方法(非常可能)使用，但是为什么这是一种很好的技术方法(我假设有一种好的方法)，而不是简单地在单例类中定义一组不同的方法，在这种情况下，这些方法属于我前面提到的名称空间。
名称空间看起来类似于：
namespace myNamespace {
class ClassA {
public:
浏览 1提问于2017-08-01得票数 6
回答已采纳
ValueError:尝试在pyspark中的非包中进行相对导入。当我尝试在pyspark .So中使用kmode时，上面的错误就来了，我使用sc.addFile("home/pyspark-distributedkmodesmaster/pyspark_kmodes/pyspark_kmodes.py") .If来解析kmode包，我没有使用sc上下文添加文件代码，它抛出了错误-“找不到kmodes模块”。我正在使用下面的代码/链接或kmodes pyspark包- "“
浏览 1提问于2017-10-25得票数 0
2回答
我正在用PySpark处理csv文件的PCA。我得到了一些奇怪的行为；我的代码有时运行良好，但有时返回此错误：
File "C:/spark/spark-2.1.0-bin-hadoop2.7/bin/pca_final2.py", line 25, in <module>
columns = (fileObj.first()).split(';')
File "C:\spark\spark-2.1.0-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\rdd.py", line 1361,
浏览 1提问于2017-03-14得票数 4
回答已采纳
1回答
所以，我最近发现了C++中的函子。如果我理解得对，它是一个有功能的结构。现在我知道它们是有用的，因为你不需要太多的硬编码，但是我一直在想，当你有类的时候，它们真的是必要的吗？
所以，我想问几个问题：
函子和类有什么区别？(obv )没有类{和struct {)
有什么是你不能做的，对一个函子，你可以做什么？
函子真的那么必要吗？
浏览 6提问于2013-06-21得票数 0
回答已采纳
我对在Java中使用函子(函数对象)感兴趣。通过快速搜索，我找到了以下3个包：
Java通用算法：
公域函子：
芒果：
而在3个中，JGA似乎有最好的设计。但是，我怀疑这里实际使用了一个或多个包的其他人可能能够更深入地了解这些(也许还有其他)函式包的优缺点。
浏览 2提问于2009-03-16得票数 7
回答已采纳
1回答
我有两个数据表，它们的列名部分相似： dfA <- read.table(
text = "A B C D E F G iso year matchcode
1 0 1 1 1 0 1 0 NLD 2010 NLD2010
2 1 0 0 0 1 0 1 NLD 2014 NLD2014
3 0 0 0 1 1 0 0 AUS 2010 AUS2010
4 1 0 1 0 0
浏览 6提问于2019-01-01得票数 2
回答已采纳
1回答
如何删除“。”从星火DataFrame的列名？
重命名具有“”的列名的DataFrame.select(F.col().alias())方法。在他们身上抛出一个错误。
下面的代码是可复制的。
# import Spark libraries, configuration, Contexts, and types.
import pyspark
from pyspark.sql import SparkSession
import pyspark.sql.functions as F
#############
# Start Spark.
spark = SparkSession.builde
浏览 12提问于2017-11-15得票数 3
回答已采纳
“对申请公司单位做严格的身份审核验证”。我想知道需要验证哪些方面，需要我司提交什么资料？可开发票吗？
浏览 182提问于2018-08-29
1回答
我使用MulticlassClassificationEvaluator模块计算了朴素贝叶斯模型的适用性，并试图将其舍入到小数点后的2位。下面是相同的代码：
print("Naive Bayes accuracy is: " + str(round(rf_accuracy,2)))
但我所面对的问题如下：
TypeError跟踪(最近一次调用)在() ->1打印(“朴素贝叶斯准确性是：”+str(圆形(rf_accuracy，2)
类型为{1}的1帧( /usr/local/lib/python3.6/dist-packages/pyspark/sql/colu
浏览 2提问于2020-07-01得票数 0
回答已采纳
我正在分析一条SQL语句，在别名方面，我并不十分清楚，所以我想问一下，是否有人可以尝试解释它。所以，这个语句就是这样的
SELECT
a.RecordID
, a.Account
, b.RecordID
, c.SomeField as AlternativeFieldName
FROM TableA a
LEFT JOIN TableB b
ON a.RecordID=b.RecordID
LEFT JOIN TableC c
ON b.RecordID=c.RecordID
WHERE a.DayFrom >= YYYYMMDD a
浏览 5提问于2017-05-29得票数 0
回答已采纳
我在Python中有一个csv，其中有不同的列名：
response['Content-Disposition'] = 'attachment; filename="upload.csv"'
writer = csv.writer(response)
writer.writerow(['whatever1','whatever2','whatever3','whatever4','whatever5'])
我正在尝试按名称获取这些列的值，但只能按已配置的顺
浏览 1提问于2021-07-13得票数 0
回答已采纳
1回答
lambdas没有默认构造函数的原因是什么？这背后有什么技术原因，还是纯粹的设计决策？
浏览 2提问于2016-12-16得票数 7
回答已采纳
我在SharePoint 2013中有一个查找值列，它链接到同一列表中的另一个字段。
当我添加"New“时，这个字段没有显示任何值，而它在同一列表中引用的字段确实有一个值。
请注意，我正在寻找一个解决方案/配置，不涉及任何代码相关的修复。
浏览 3提问于2016-10-04得票数 0
回答已采纳
4回答
我有一个具有下面数据(所有列都有字符串数据类型)的Pyspark (原始Dataframe)。在我的用例中，我不确定输入数据中有哪些列。用户只需将dataframe的名称传递给我，并要求我修剪这个dataframe的所有列。典型数据文件中的数据如下所示：
id Value Value1
1 "Text " "Avb"
2 1504 " Test"
3 1
浏览 2提问于2017-07-31得票数 0
4回答
如何在intellij上设置pySpark。即使在设置了环境变量spark_home和pythonpath之后，导入pySpark仍会给出错误-导入错误:没有名为pySpark的模块
浏览 1提问于2017-05-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
