我的目标是计算经度数据的半正弦距离，我使用了uci数据集，用于相同的 (go_track_trackspoints.csv)，我使用下面的代码来计算距离 ).alias("dist"))------------------------
浏览 6提问于2018-07-31得票数 0
回答已采纳
我有一个由函数生成的列表。但是，当我想使用以下命令创建一个DataFrame时：我收到一条错误消息：
如果我手动创建列表，我就没有问题。
浏览 1提问于2016-08-07得票数 7
回答已采纳
0.0, -0.5), (2.0, 2.0), (8.0, 7.0)])TypeError: DoubleType can not accept object in type <type 'numpy.float64'>
下面是一个简短的可重复的</e
浏览 2提问于2015-07-16得票数 4
回答已采纳
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。from pyspark import SparkContextfrom pyspark.sql.types import StructTypesqlContext.createDataFrame(rdd, schema
浏览 27提问于2016-07-27得票数 0
回答已采纳
我有一个ELT进程，在数据集创建之后，执行下面的代码来计数行以确定分区的数目。get_provider(spark)这个numofpartitions变量稍后用于在写入分区时对数据进行同样的分区provider_out.repartition(numofpartitions).write.mode("overwrite").parquet(dest_path)
当计算numofpartions变量并抛
浏览 3提问于2022-07-17得票数 2
回答已采纳
当将PySpark与以下代码一起使用时：samples = np.array([0.1,0.2])spark.createDataFrame(samples,dfSchema)
TypeError: StructType不能接受can 64‘>类型为’numpy.Float 64‘
浏览 2提问于2017-07-14得票数 3
回答已采纳
1回答
意外类型：<class‘_
、、、、
当我试图将一个StringType转换为上的一个StringType时出错：.withColumnRenamed("ProductionTmp"，“生产”)
/usr/local/src/spark20master/spark/python/pyspark</em
浏览 5提问于2016-11-20得票数 19
回答已采纳
我正在摄取一个通常是int的数据类型，但也可以是None或inf，并使用它创建一个Spark DataFrame。我试着让它成为一个LongType，PySpark抱怨说，因为inf是一个浮点型： File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.py", line 177, in
浏览 26提问于2020-01-22得票数 0
1回答
一个玩具示例工作得很好，它的模式是使用静态定义定义的。动态定义的模式会引发错误，但是为什么，以及如何修复？他们看起来是一样的。StructField("nfl",IntegerType(),True)])df = sess.createDataFrame(XXX, schema)好的产出username_field + int_fields)df = sess.createDataFr
浏览 0提问于2018-06-15得票数 0
2回答
我试图通过指定列标签和数据类型从现有的RDD创建一个数据框，但是我得到了这个Typeerror：from pyspark.sql.types)]因此，模式如下：我的RDDdatay.take(10)输出如下：
[0.0, 0.0, 0.0,
浏览 0提问于2017-06-10得票数 0
3回答
在使用Spark (RDD上的parallelize)时，我们可以在分发给执行器的代码中使用"apply“吗？
浏览 0提问于2019-10-25得票数 0
我正在尝试从pandas_udf返回一个特定的结构。它在一个集群上工作，但在另一个集群上失败。我尝试在组上运行udf，这需要返回类型为数据框架。from pyspark.sql.functions import pandas_udfimport numpy as np
from pyspark.sql.types\python\pyspark\sql\types.py in to_arrow_
浏览 2提问于2018-03-26得票数 5
回答已采纳
我尝试在一些混合类型的数据上运行梯度增强树算法： [('feature1', 'bigint'), ('label', 'double')] 我尝试了以下几种方法from pyspark.mllib.tree import GradientBoostedTrees, GradientBoostedTreesModel
from pyspark.ml.featu
浏览 17提问于2020-10-28得票数 0
回答已采纳
我试图将csv文件的字符串列(yr_built)转换为Integer数据类型(yr_builtInt)。我尝试过使用"cast()“方法。但我仍然有一个错误：从pyspark.sql.types导入IntegerType从pyspark.sql.functions import house5=house4.withColumn("yr_builtInt"，col("yr_built").cast(IntegerType))
下面的是
浏览 4提问于2022-09-25得票数 0
回答已采纳
1回答
下面是相同的代码：但我所面对的问题如下：
类型为{1}的1帧( /usr/local/lib/python3.6/dist-packages/pysp
浏览 2提问于2020-07-01得票数 0
回答已采纳
from pyspark.sql import SparkSessionfrom pyspark.sql.types import *
rdd = sc.sparkContext.parallelize([1.1,2.3,3,4,5,6,7,8,9,10])
print(rdd.collect: StructType can not accept object 1.1 i
浏览 3提问于2022-04-03得票数 1
回答已采纳
我不能完全理解Python3x中类型错误和值错误之间的区别。
为什么当我尝试float('string')而不是TypeError时我们得到一个TypeError？这难道不应该给出一个TypeError，因为我正在传递一个类型为'str‘的变量，以便将其转换为float？In [169]: float('string
浏览 4提问于2018-01-19得票数 27
回答已采纳
我正在阅读netcdf文件中的一些风速数据。这将产生一个xarray数据集，我可以将其转换为熊猫和/或dask数据格式。最后，由于数据量的原因，我希望将数据转换为dask数据，然后转换为pyspark。然而，当我从达斯克转换为火花时，我收到了一个错误，而当我做同样的熊猫来点燃它的时候，我却没有。有关代码，请参阅下面。float32
浏览 13提问于2022-03-24得票数 0
回答已采纳
编辑:当字符串被传递时，is_number_like将返回True --这是我不想做的。我想要一个函数，它将在任何时候作为参数传递类似文本的值时返回False。有什么办法吗？False
我想要编写一个模块，它将接受表示一维实数的任何行为良好的数字类型(例如，SimpleITK.sitkUInt8数字类型或numpy.int32等)。我担心可能会有库，它们不会在int或float的转换
浏览 8提问于2017-07-12得票数 3
回答已采纳
1回答
我有一个元组的rdd，前两行如下所示：[('t', 3.6243409329763652因此，我想将这个rdd转换成一个dataframe，对于没有出现在原始元组中的列，值应该是0。(obj)
/Users/1/Documents/
浏览 3提问于2017-06-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
