python spark lambda函数"nameError:名称'x‘未定义“。我做错了什么？
在这个问答内容中，你遇到了一个错误：NameError: 名称 'x' 未定义。这个错误通常发生在使用lambda函数时，当你引用一个未定义的变量时会出现。
要解决这个错误，你需要检查以下几个方面：
- 变量定义：确保你在lambda函数中使用的变量
x已经在当前作用域中定义。如果没有定义，你可以在lambda函数之前或者lambda函数内部定义它。 - 变量作用域：确保你在lambda函数中使用的变量
x在lambda函数内部是可见的。如果x是在lambda函数外部定义的，你需要确保它在lambda函数内部是可访问的。 - 变量命名：确保你在lambda函数中使用的变量
x的名称没有拼写错误或者其他语法错误。检查是否有任何拼写错误或者其他语法错误。
以下是一个示例代码，展示了如何正确使用lambda函数：
x = 10 # 在lambda函数之前定义变量x
my_lambda = lambda y: y + x # 使用变量x在lambda函数中进行计算
result = my_lambda(5) # 调用lambda函数并传入参数
print(result) # 输出结果：15在这个示例中，变量x在lambda函数之前被定义，并且在lambda函数内部可以访问和使用。
总结起来，要解决NameError: 名称 'x' 未定义错误，你需要确保变量x在lambda函数中已经定义，并且在lambda函数内部是可见的。
相关·内容
3回答
我使用的是spark 1.3.0。
我在spark python shell中运行python程序时遇到问题。
这是我提交作业的方式：
/bin/spark-提交progname.py
我发现的错误是，
NameError:未定义名称'sc‘
在那条线上。
有什么想法吗？提前感谢
浏览 0提问于2015-11-17得票数 1
1回答
我在Django控制台中做了一些事情，我意识到全局变量在lambda表达式中是不被识别的，例如，如果在python内部甚至在iPython控制台中执行以下代码，它就能很好地工作：
a = 10
foo = lambda x: x + a
foo(10) # returns 20
但是，如果您使用iPython在Django shell中执行它，它将无法工作：
In [8]: foo = lambda x: x + a
In [9]: a = 10
In [10]: foo(10)
-------------------------------------------------------
浏览 3提问于2015-06-18得票数 0
回答已采纳
使用Python，我试图访问CSV文件中具有字典列表的字符串格式的字段。
一行train['list_of_production_companies']
"[{'name': 'Lions Gate Films', 'id': 35}, {'name': 'Vertigo Entertainment', 'id': 829}, {'name': 'Gotham Group', 'id': 3672}, {'name
浏览 1提问于2019-06-05得票数 0
4回答
我正在尝试理解类如何更好地“在python的引擎盖下”工作。
如果我像这样创建一个类Foo
class Foo:
bar = True
然后可以直接访问Foo，例如print(Foo)或print(Foo.bar)。
但是，如果我动态地创建一个类，并且不将它设置为如下所示的变量
type('Foo',(),{'bar':True})
如果在解释器中完成，它将显示<class '__main__.Foo'>。但是，当我试图打印Foo时，它是未定义的.NameError: name 'Foo' is not def
浏览 1提问于2018-01-27得票数 3
回答已采纳
3回答
正如标题所说的，我试图弄清楚，你是否可以通过点符号将调用的方法参数化。
def funk(x,a_class_method):
return [i.a_class_method() for i in x]
a_class_method = upper
funk(x,a_class_method)
输入
x = ['hi', 'my', 'name', 'is', 'frank']
期望输出
['HI', 'MY', 'NAME', 'IS&#
浏览 5提问于2020-11-28得票数 1
回答已采纳
7回答
在Python 3中，我有一个全局变量，它以“未定义”开头。
然后我把它设置成某种东西。
是否有方法将该变量返回到“未定义”的状态？
@martijnpieters
编辑--这显示了全局变量是如何在未定义状态下启动的。
Python 2.7.5+ (default, Feb 27 2014, 19:37:08)
[GCC 4.8.1] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> x
Tr
浏览 4提问于2014-05-23得票数 35
回答已采纳
1回答
在火花放电中将RDD转换为数据
、、、、
我正试图将我的RDD转换成pyspark中的Dataframe。
我的RDD：
[(['abc', '1,2'], 0), (['def', '4,6,7'], 1)]
我希望RDD以Dataframe的形式出现：
Index Name Number
0 abc [1,2]
1 def [4,6,7]
我试过：
rd2=rd.map(lambda x,y: (y, x[0] , x[1]) ).toDF(["Index", "Name" , "Number"]
浏览 0提问于2018-04-04得票数 2
回答已采纳
我正在尝试使用pySpark执行一些文本挖掘任务。我是星火的新手，我一直在跟随这个例子为我的数据构建单词袋。
最初，我的数据如下所示
df.show(5)
+------------+---------+----------------+--------------------+
|Title |Month | Author | Document|
+------------+---------+----------------+--------------------+
| a | Jan| John
浏览 1提问于2018-11-15得票数 4
回答已采纳
1回答
当我在Python中尝试执行以下操作时：
>>> lambda x: x, x * 2, x * 3
它提供了一个NameError
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'x' is not defined
当它在常规函数中工作时，为什么它不能工作，如下面的代码所示？
def function(x):
return x, x * 2, x * 3
function(1)
浏览 20提问于2021-02-19得票数 1
2回答
我是AWS Glue和Python新手。试图在Filer.apply中为dynamicFrame datasource0应用一个filter3frame函数。作业运行失败，我得到日志中没有定义filter_sex函数。确切错误："NameError: filter_sex未定义“。有人能看出我做错了什么吗？
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglu
浏览 3提问于2020-04-27得票数 1
回答已采纳
7回答
我已经很好地理解了python的try-except子句，但在尝试将它放入函数中时遇到了问题。
>>> def tryAppend(child, parent):
... try:
... parent.append(child)
... except NameError:
... print "WRONG NAME"
>>> var1 = []
>>> var2 = 'test2'
>>> tryAppend(var2, va
浏览 0提问于2010-11-11得票数 4
我想使用内置的eval函数计算一个λ表达式，该函数的变量y定义在'locals‘参数中。遗憾的是，结果函数不起作用：
>>>x = eval('lambda: print(y)',{},{'y':2})
>>>x()
Traceback (most recent call last):
File "<pyshell#75>", line 1, in <module>
x()
File "<string>", line 1, in <
浏览 1提问于2018-05-29得票数 2
1回答
尝试遵循spark教程，但得到以下错误-
“未定义名称'spark‘”
Using Python version 2.6.6 (r266:84292, Nov 22 2013 12:16:22)
SparkContext available as sc.
>>> import pyspark
>>> textFile = spark.read.text("README.md")
Traceback (most recent call last):
File "<stdin>", line 1, in
浏览 0提问于2017-09-12得票数 1
回答已采纳
3回答
#!/usr/bin/python3
def func():
a = 1
print(a+12)
print(a)
结果是：
NameError:未定义名称'a‘
是否可以在函数之外使用？
浏览 5提问于2013-08-19得票数 0
回答已采纳
我有下面的pyspark代码，它会抛出错误
data = sc.textFile("file:///zika-map/cdc_zika/update_clean_zika.csv")
header = data.first()
byCountryNoHeader = data.filter(lambda x: x!=header)
sepColumn = byCountryNoHeader.map(lambda x: x.split(","))
byCountry =sepColumn.map(lambda x: (x[1], x[5])).reduceByKe
浏览 3提问于2016-08-15得票数 0
回答已采纳
我是很新的火花编程。我正在尝试将地图和reduceByKey实现到以下15个字段的数据集。
rdd=sc.parallelize([
("West", "Apple", 2.0, 10,2.0, 10,2.0, 10,2.0, 10,2.0, 10,2.0,2.0, 10),
("West", "Apple", 3.0, 10,2.0, 10,2.0, 10,2.0, 10,2.0, 10,2.0, 10,2.0])
这是我的map函数，在这里我试图创建一个包含多个键和值的元组。
rdd1 = rdd.map(lambda
浏览 1提问于2015-08-27得票数 1
因为rdd是这样的：
[['Tosa de la Llosada', '42.55129', '1.64243'],
['Riu de la Llosada', '42.53619', '1.61625'],
['Obaga de la Llosada', '42.54673', '1.6326'],
['Emprius de la Llosada', '42.5463', '1.6213'],
浏览 24提问于2022-10-08得票数 1
回答已采纳
1回答
在实践中火花放电
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("PopularMovies_Repartition")
sc = SparkContext.getOrCreate(conf)
def f(x,y) :
return x[0]+y[0]
sumRating = ratingRdd.reduceByKey(f) # (movie id , (sum of rating,count of rati
浏览 3提问于2022-01-18得票数 0
1回答
尝试使用以下命令检查某些列中是否有NaN值 ddf_temp = ddf.select('col1', 'col2' ...) # all int type
ddf_temp.select([count(when(isnull(c), c)).alias(c) for c in ddf_temp.columns]).show() 我可以找出哪些列给了我这些错误，但我找不到为什么会出现这样的错误： ---------------------------------------------------------------------------
Py4JJav
浏览 27提问于2019-08-23得票数 0
回答已采纳
当我试图将一个函数传递给Spark的map方法时，我遇到了一些问题。我的问题似乎是在功能，但不确定它。
我的功能是这样的：
def add_h3_hash_column(row):
rowDict = row.asDict()
hash = h3.geo_to_h3(
rowDict["latitude"], rowDict["longitude"], resolution
)
rowDict[f"h3_hash_{res}"] = str(hash)
return rowDict
de
浏览 34提问于2022-10-28得票数 0
1回答
Jupyter PySpark发送错误=> TypeError：()缺少1个必需的位置参数：'y‘ 我正在使用Jupyter中的PySpark，并且有以下代码，它会向我发送以下错误： l = [i for i in range (0,3000)]
rdd = sc.parallelize(l) def check(x,y,k):
if (((2*x+1)**2)+((2*y+1)**2))<(2*k)**2:
return 1
else:
return 0 rdd4 = rdd.cartesian(rdd) rdd5 = r
浏览 12提问于2019-10-13得票数 0
回答已采纳
我用Python3.9.8在我的MacBook Pro中执行了下面的代码，代码产生了我预期的结果。
lista = [{'hello': 'foo'}, {'hello': 'bar'}]
listb = ["a['hello']"]
for a in lista:
print([eval(x) for x in listb])
# result
['foo']
['bar']
但是，如果我在AWS Lambda上执行完全相同的代码，则会出现以下错误：
错
浏览 1提问于2022-02-09得票数 -1
回答已采纳
我的"asdasd.csv“文件具有以下结构。
Index,Arrival_Time,Creation_Time,x,y,z,User,Model,Device,gt
0,1424696633908,1424696631913248572,-5.958191,0.6880646,8.135345,a,nexus4,nexus4_1,stand
1,1424696633909,1424696631918283972,-5.95224,0.6702118,8.136536,a,nexus4,nexus4_1,stand
2,1424696633918,142469663192328885
浏览 0提问于2018-03-07得票数 1
回答已采纳
我有一个使用cythonized使用的Python库。在我的所有星火集群节点上，我已经安装了whl文件如下。
pip install myapi-0.0.1-cp38-cp38-linux_x86_64.whl
当我按照下面的方式向Spark独立提交一个作业时，代码运行良好。
spark-submit \
--master spark://172.18.0.32:7077 \
test.py
当我以客户端部署模式通过纱线提交作业时，代码也运行良好。
spark-submit \
--master yarn \
--deploy-mode client \
浏览 4提问于2021-09-27得票数 0
我正在学习pyspark，我正在尝试下面的代码。有人能帮我弄明白哪里出了问题吗？ >>> pairs=data.flatMap(lambda x:x.split(' ')).map(lambda x:(x,1)).reduceByKey(lambda a,b: a+ b)
>>> pairs.collect()
[(u'one', 1), (u'ball', 4), (u'apple', 4), (u'two', 4), (u'three', 1)]
pair
浏览 23提问于2019-09-25得票数 0
回答已采纳
我用火花放电来处理数据。数据如下：
8611060350280948828b33be803 4363 2017-10-01
8611060350280948828b33be803 4363 2017-10-02
4e5556e536714363b195eb8f88becbf8 365 2017-10-01
4e5556e536714363b195eb8f88becbf8 365 2017-10-02
4e5556e536714363b195eb8f88becbf8 365 2017-10-03
4e5556e536714363b195eb8f88becbf8
浏览 4提问于2017-12-01得票数 0
2回答
我已经安装了Scala和Spark，并且可以正常工作，但是PySpark不工作。下面是我得到的输出：
user@ubuntu:~/spark$ pyspark
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
File "
浏览 3提问于2016-04-18得票数 2
我正在尝试在RDD的分区上运行python。下面是我创建rdd的方法：
text_file = open("/home/zeinab/Desktop/inputFile.txt", "r")
lines = text_file.read().strip().split("\n")
linestofloat = []
for l in lines:
linestofloat.append(float(l))
linestofloat = np.array(linestofloat)
data
浏览 0提问于2018-07-12得票数 3
回答已采纳
我是python的新手，我被这个错误难住了。我有一个包含三个类的python脚本，它在开始时导入re。但是，当我尝试在类中的函数中使用re.search或re.sub时，它给出错误“全局名称re未定义”。当我在方法中编写import re时，这个问题就解决了。
我做错了什么？
import re
class Temp:
def pluginSysLog(self):
import re
folderName= "plugin"
fileName=inspect.stack()[1][1].split("/"
浏览 1提问于2015-09-19得票数 0
我在pyspark中运行了一个python脚本，并得到了以下错误: NameError:名称“火花”未定义
我查了一下，发现原因是还不允许使用spark.dynamicAllocation.enabled。
根据星火的文档()：spark.dynamicAllocation.enabled (默认：false)控制是否启用动态分配。假定spark.executor.instances未设置或为0(这是默认值)。
因为默认设置是false，所以我需要更改Spark设置以启用spark.dynamicAllocation.enabled。
我用brew安装了Spark，并且没有更改它的配置/设置。
浏览 4提问于2016-10-25得票数 7
回答已采纳
我已经从Python中执行了以下操作：
>>> ascii('Łukasz')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
NameError: name 'ascii' is not defined
>>>
为什么内置功能不被识别？
当我用Python解释器执行这个脚本时，也会发生同样的情况：
#!/user/bin/python
# -*- coding: UTF-8 -*-
d
浏览 4提问于2015-10-27得票数 0
回答已采纳
我是python的新手。我试图运行下面的函数，但它显示错误"NameError:名称'linec‘未定义“。我不能理解如何摆脱这个问题。
下面是我的函数：
def problem3_1(txtfilename):
linec = 0
wordct = 0
charct = 0
text_file = open(txtfilename)
for line in text_file:
linec = linec + 1
for word in line.split():
浏览 0提问于2017-03-19得票数 0
我试图在右边默认参数值的下面函数中使用左侧参数的值。
def function(var, vartwo = var*2):
return vartwo
print(function(7)) #should print 14
print(function(7,6)) #should print 6
不过，我得到的是NameError:未定义名称'var‘。在Python中的默认参数值中不能使用参数的值吗？你建议我怎么解决这个问题？
浏览 2提问于2016-08-18得票数 0
回答已采纳
这是一个略带轻浮的问题：
我有一个包含大量filter-map-reduce函数的python代码。
我觉得再打一遍有点痛苦。
filter(lambda x: x['identity'] == 'creosote', skits)
每次都是。我想做些类似的事情
filter(f(x['identity']==creosote),skits)
而不是。我试过：
def f(y):
f = lambda(x: y)
但这似乎行不通。谢谢
我得到了一个NameError: name 'x' is not defined
我
浏览 0提问于2014-11-08得票数 0
回答已采纳
我想优化我的脚本，做一个静音分区，并在Spark2.1中使用持久化()，但是在运行我的代码时，我有一个我不明白的错误。
守则是：
rdd = sc.textFile("path").map(lambdal:l.split(";"))
rdd_pair=rdd.map(lambda a: (a[0], a)).PartitionBy(920).persist()
rdd_pair=rdd_pair.combineByKey(lambda v:[v],lambda x,y:x+[y],lambda x,y:x+y)
def fn(input_bag):
浏览 0提问于2018-03-05得票数 1
回答已采纳
4回答
我在windows 10上安装了Spark，并提供了以下指南：
但是，当我试图用简单的代码运行木星笔记本时，它会给出以下错误：
NameError:未定义名称'sc‘
另外，我还收到了关于cmd的另一个警告：
“IPKernelApp在处理PYTHONSTARTUP文件C：\Spark\bin..\python\pyspark\shell.py时出现未知错误：”
但是我尝试创建一个python函数，它在木星笔记本上运行得很好。
有人能帮忙理解和解决这个问题吗？
浏览 3提问于2017-02-25得票数 2
5回答
我正在尝试使用reduce来格式化sum函数的结果。所以输入的sum_equation(1,5,7)应该返回"1 +5+7= 13“。
下面是我实现的内容：
from functools import reduce
def sum_equation(L):
return reduce(lambda x, y: x+y, L, 0)
def main():
result = sum_equation([1, 5, 7])
print("{} + {} = {}".format(x, y, result))
if __name__ ==
浏览 23提问于2021-06-08得票数 0
我在pyspark /python中有以下代码：
N -->是新列表的itens个数
n = 2
new tuple ( x, y, z )
其中：
x --> index
y --> list [where variable n is a number of itens of list]
z --> value of front value of list
我正在做这段代码：
RDD_Dados = RDD_one.map(lambda x: (x[0],
[list(x[i][1]) for
浏览 2提问于2018-05-06得票数 2
1回答
这是我书中的示例代码：
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("spark://chetan-ThinkPad-
E470:7077").setAppName("FlatMap")
sc = SparkContext(conf=conf)
numbersRDD = sc.parallelize([1, 2, 3, 4])
actionRDD = numbersRDD.flatMap(lambda x: x + x).collect()
for val
浏览 3提问于2018-03-09得票数 1
回答已采纳
在Python中，函数可以访问封闭作用域中的变量。
作为对此范围/一致性的测试，我做了一个创建简单命名空间的实验，但没有得到预期的行为。我不明白为何要以不同的方式处理这个简单的个案，是否有一个很好的解释呢？
下面是一个简单的例子：
import types
bunch = types.SimpleNamespace(
x = 5,
y = 12,
printx = lambda: print(x)
)
在运行上述代码后执行bunch.printx()将导致未定义x的NameError。但是，我们已经定义了一个函数"printx“，它包含在bunch名称空间中，但
浏览 1提问于2018-11-25得票数 2
回答已采纳
1回答
我正在复制并粘贴O‘’Reilly Spark教科书中的完全相同的代码，我收到了一个错误: org.apache.spark.SparkException: Job aborted due failure 我试图理解这段代码在做什么，但我在理解它时遇到了麻烦，因为它不会运行： nums = sc.parallelize([1, 2, 3, 4])
sumCount = nums.combineByKey((lambda x: (x,1)),
(lambda x, y: (x[0] + y, x[1] + 1)),
(lambda x, y: (x[0] + y[0], x[1] + y[
浏览 14提问于2019-10-07得票数 1
回答已采纳
5回答
我正在尝试理解Python中的lambda表达式、闭包和作用域。为什么程序不会在这里的第一行崩溃？
>>> foo = lambda x: x + a
>>> foo(2)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "<stdin>", line 1, in <lambda>
NameError: global name 'a' is not de
浏览 0提问于2010-02-19得票数 5
回答已采纳
我使用python3.6，并尝试使用从.yml文件加载的lambda函数。我有一个str格式的lambda，所以我使用exec('l = lambda x: print(x)')函数将它转换为一个有效的lambda并将它赋值给一个变量，但是当我尝试使用lambda时，它会抛出NameError: name 'l' is not defined异常。
下面的玩具示例演示了我的问题：
import pandas as pd
exec('l = lambda x: x+1')
df = pd.DataFrame(dict(a=[1, 2, 3], b
浏览 4提问于2021-06-03得票数 0
回答已采纳
我有以下代码:对于每个my_id，我尝试根据timestamp字段对amount字段进行排序：
output_rdd = my_df.rdd.map(lambda r: (r['my_id'], [r['timestamp'],[r['amount']]]))\
.reduceByKey(lambda a, b: sorted(a+b, key=(a+b)[0]))\
.map(lambda r: r[1])
但是，我得到了以下错误：
Py4JJava
浏览 14提问于2016-09-28得票数 0
回答已采纳
我已经将下面的Spark Scala代码翻译成了Python版本。
package wscalalearning00
import org.apache.spark._
import org.apache.spark.SparkContext._
import org.apache.log4j._
import org.apache.spark.util.StatCounter
object wtry001 {
def main(args: Array[String]) {
Logger.getLogger("org").setLevel(Level.ERROR
浏览 2提问于2018-09-06得票数 2
1回答
我试图从rdd中筛选值为"01-10-2019“的
print("\n ### Remove duplicates in merged RDD:")
insuredata = insuredatamerged_cache.distinct()
print("insuredata: ",type(insuredata))
print("\n ### Increase partition to 8 in merged RDD:")
insuredata.getNumPartitions()
insuredatarepart = insu
浏览 5提问于2020-02-08得票数 1
回答已采纳
from functools import reduce
li = [5, 8, 10, 20, 50, 100]
sum = reduce((lambda x,y: x*(1/2**li.index(x))) + y*(1/2**li.index(y)) , li)
print(sum)
正在显示的错误是NameError:未定义名称'y‘
浏览 0提问于2020-02-28得票数 0
回答已采纳
如何在cython中调用C语言的内联汇编函数asm()？我尝试了一个简单的asm("mov $eax, 0x1") or __asm__()。它可以很好地运行直到asm-call，然后给出下面的错误：
NameError:未定义名称'asm‘
我将代码编译为python setup.py build_ext --inplace && python runids.py
浏览 2提问于2021-06-19得票数 5
回答已采纳
如何检查函数是否为python中的函数类型？
我这样做了：
print(type(func_1))
python告诉我这是一个<class 'function'>
然而，当我这样做的时候：
print(type(func_1) is function)
我有一台NameError NameError: name 'function' is not defined
浏览 0提问于2021-01-20得票数 0
我正在尝试复制我遇到的一个bug，它显示了以下情况：
NameError:未定义全局名称“sdrent”
但是，如果打开解释器并输入sdrent，则会得到以下错误：
>>> sdrent
NameError: name 'sdrent' is not defined
NameError: global name...和NameError: name...有什么区别，我将如何复制前者？
浏览 0提问于2021-02-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
