1回答
我正在通过使用spark (批处理，而不是流)从kafka主题读取数据来创建spark数据帧，.I希望使用spark.Dataframe将此数据帧加载到卡桑德拉，格式如下。,MasterCard,6574" ||"8,Maestro,8372" |
+--------------------+ 我尝试使用'，‘分隔符拆分<
浏览 24提问于2019-08-29得票数 0
我有一个从熊猫数据帧创建的样本spark数据帧-from(pdf) # this is spark dfdf.printSchema()
|-- input1: long (nullable = true)
|-
浏览 3提问于2020-09-09得票数 0
在对数据集运行pyspark中的ALS算法后，我遇到了一个最终的数据帧，如下所示 ? 推荐的列是数组类型，现在我想拆分这一列，我的最终数据帧应该如下所示 ? 谁能建议我，哪个pyspark函数可以用来形成这个数据帧？数据帧的模式 root
|-- person
浏览 61提问于2021-07-11得票数 0
回答已采纳
我有一个19.4 GB大小的JSON文件。我尝试了很多方法来读取文件。例如：pandas.read_json(filename)简单地使笔记本崩溃。我正在寻找以惰性方式加载文件的方法。例如，一次1 db，然后将其转储到SQLite或neo4j数据库中以分析数据。任何关于这方面的想法都会非常感谢。
浏览 17提问于2021-01-05得票数 0
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我已经通读了几乎所有其他类似问题的答案，但我还没有找到关于我想要做什么的具体说明。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能推断出CSV的模式。#Load Da
浏览 21提问于2019-04-28得票数 0
我有一个混合类型的数据帧。我正在使用spark.sql('select a,b,c from table')命令从hive表中读取此数据帧。一些列是int、bigint、double，而其他列是string。总共有32列。在pyspark中有什么方法可以将数据框中的所有列转换为字符串类型吗？
浏览 149提问于2017-02-07得票数 12
回答已采纳
无法使用split_frame()拆分帧。dataframe可以显示()，但我不能拆分它。请帮帮忙。 下面是我使用的代码示例。数据分为测试数据帧和训练数据帧。-2.3.0.cloudera2-1.cdh5.13.3.p0.316101/lib/spark2/python/pyspark/sql/dataframe.py", lin
浏览 154提问于2019-06-11得票数 0
回答已采纳
3回答
如何创建动态数据帧
、、、、
我试图创建一个数据框，我之所以以下面的方式指定创建数据框，是为了使其成为动态的，但表达式是作为字符串传递的，并且exec命令无法创建数据框并将其赋值给变量。下面是我的代码： value ='true'
header='header'a= "spark.read.option('"
浏览 18提问于2020-02-08得票数 0
1回答
我有两个不同的(非常大的)数据帧(详细信息如下)。我需要合并他们两个人的数据。由于这些数据帧非常庞大(第一个数据帧有数百万行，第二个数据帧有数千行)，我尝试使用AWS EMR服务。但我不太明白它是如何在那里完成的，我看到的教程大多只显示了一个数据帧的说明。所以，我一直想知道如何使用py
浏览 11提问于2021-06-03得票数 0
回答已采纳
1回答
我有一个固定的文件，需要根据位置和与SchemaFile相同的数据类型进行拆分。如何更改数据类型？我可以转换每一列，但我需要使用pyspark进行动态转换"00120181120xyz1234""00320181203pqr25483"}
{"Column":"salary&qu
浏览 0提问于2021-03-19得票数 0
1回答
我正在使用：从spark --> Pandas的转换很简单，但我正在为如何将Pandas数据帧转换回Spark而苦苦挣扎。from pyspark.sql import SparkSession
import pysp
浏览 1提问于2018-10-23得票数 15
回答已采纳
作为测试，我使用spark NLP解析了50万条tweet。数据帧看起来没问题。我将数组转换为字符串。使用from pyspark.sql.types import StringType
数据
浏览 7提问于2021-07-29得票数 1
由于在spark中没有对读取excel文件的开箱即用的支持，所以我首先将excel文件读取到pandas数据帧中，然后尝试将pandas数据帧转换为spark数据帧，但我得到了以下错误(我使用spark/spark-hadoop/python/pyspark/sql/context.py", line 4
浏览 0提问于2016-01-15得票数 2
1回答
我刚刚开始使用databricks/pyspark。我正在使用python/spark 2.1。我已将数据上载到表中。该表是一个充满字符串的单列。我希望对列中的每个元素应用一个映射函数。我将表加载到数据帧中：我能看到的唯一方法是别人说的是将其转换为RDD以应用映射函数，然后返回到dataframe以显示数据
浏览 1提问于2017-07-31得票数 18
回答已采纳
我正在尝试使用子集(drop_duplicates=‘’，keep=False)在我的数据帧中删除重复项。显然，它在我的Jupyter Notebook中工作正常，但当我试图通过终端以.py文件的形式执行时，我得到了以下错误： Traceback (most recent call last):
File"/home/source/fork/PySpark_Analytics/Notebooks/Krish
浏览 110提问于2019-06-20得票数 1
我是新来齐柏林飞艇的。我有一个用例，其中我有一个熊猫数据帧。我需要使用齐柏林飞艇的内置图表来可视化集合。我在这里没有明确的方法。我的理解是，如果数据是RDD格式，我们可以使用zeppelin可视化数据。首先，我尝试将pandas的数据帧转换为spark的数据帧，但失败了import pand
浏览 0提问于2015-10-06得票数 17
我已经使用以下代码创建了数据框： import pyspark spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A
浏览 12提问于2020-06-15得票数 0
我正在尝试将spark数据框中的列拆分为多个值。因此，我分隔了要拆分的列，并检查了其类型：O: pyspark.sql.dataframe.DataFrame
当我使用以下命令分割字符串时TopicModelVectorSplit = TopicModelVector.select('TopicModelVector').map(lambda line: line.te
浏览 0提问于2016-06-22得票数 0
我有csv数据，并使用read_csv创建了Pandas dataframe，并强制所有列为字符串。然后，当我尝试从Pandas数据帧创建Spark数据帧时，我得到了下面的错误消息。_createFromLocal(data, schema)
File "/usr/hdp/2.4.2.0-258/spark/python/pyspark/sql/context.
浏览 6提问于2016-08-06得票数 33
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
