我有一个具有ArrayType结构字段的数据集，并且我需要过滤与max_stat值一致的stat字段的值。数据结构如下所示： |-- data: array (nullable = true) | |nullable = true) |-- naming: string (nullable = true) 我尝试过这样做，但无法将<
浏览 28提问于2020-11-07得票数 1
回答已采纳
Hobbies []string 我有一个包含另一个结构的Person： Name string
Favorites Favorites对于其他类型的字段，例如字符串或int，我会将该字段与零值(分别为“”或0)进行比较。如果我尝试与零进行比较，如下所示，我得到错误invalid operation: p2.Favorites == zeroValue
浏览 6提问于2016-12-23得票数 3
我有一只熊猫数据"d1“，它有"n”列和"m“行。我有另一个带有一行的dataframe "d2“。我的任务是将d1中的最佳匹配行与d2进行比较，并获取d1中匹配列的计数。d2：0 machine machine learning spark java pythond1数据格式也与更多
浏览 4提问于2022-08-04得票数 1
回答已采纳
可以将一个像2013-06-22 09:46:00这样的datetime字段值添加到一个或多个像1(表示天列)2(表示小时列)这样的整数字段值中，那么将DateTime值添加到整数后得到的结果必须是datetime形式的，以便我可以与另一个datetime字段值进行比较。例如，如果我在与整数字段2013-06-23 11:46:00相加后得到结果，我希望将其<em
浏览 0提问于2013-06-23得票数 2
回答已采纳
Spark notebook必须在文档进入Event Hub时读取文档，并与该集合的spark表进行模式匹配(将文档中的字段与spark表列进行匹配)。如果文档中的字段少于表中的字段，则必须使用Null添加列。我需要提取mongo文档中的各个
浏览 1提问于2019-01-12得票数 0
我需要将一个文本列与另一个日期进行比较，该列包含一个以dd/mm/yyyy格式表示日期的字符串。我需要这样的东西：当然，这不起作用在查询函数中，是否有任何方法<
浏览 1提问于2017-04-10得票数 1
回答已采纳
val df = spark.read.option("multiline","true").json(path)
我需要json文件中的数据，然后将其读入具有键"name“和指定类型值的Map中。
浏览 2提问于2020-05-22得票数 0
回答已采纳
我通读了spark structured streaming文档，我想知道spark structured是如何确定事件已经迟到的？它是否将事件时间与处理时间进行比较？Dataset<Row> kafkadf = spark.readStream().forma(&q
浏览 0提问于2018-02-26得票数 4
我不确定它是否在内部将SparseVector转换为密集数据，因为在这种情况下，它将导致大约25k列，而根据线程，以列格式保存如此大的数据会导致OOM。我应该尝试增加内存还是用CSV而不是Parquet来保存它？任何帮助都是非常感谢的。提前谢谢。那么，它仍然是一些问题与Parquet或我需要一些其他的调试？
浏览 0提问于2019-01-16得票数 2
因此，对于DF1中的每一行，我必须对DF2中的每一行进行迭代，并根据使用索引的计算来寻找最短的距离。(functions.min(distance(col("IndexA"), DF2.col("IndexB"))))线程“主”中的org.apache.spark.sql.AnalysisException
浏览 6提问于2021-10-24得票数 1
回答已采纳
使用Spark 2.2 我已经从spark程序中填充了一个拼图结构列，也填充了另一个拼图列结构数组 当它将其作为外部表从配置单元读取时；结构数组已正确填充，但结构(非数组类型)字段生成为NULL。注意:在拼图中，同时填充了struct和struct数组值。只有在蜂巢里我们才有问题，对此有什么想法吗？
浏览 7提问于2020-01-18得票数 0
2回答
如果我有一个用多级分区创建的表，即包含两列(state，city)，如下所示： state=Texas,city=Houston如果我像这样运行select查询：也就是说，在使用第二个分区列的地方我非常确定Hive是如何运作的，但我热衷于确认Spark中的行为。此外，如果在EMR的Spark中执行，行为是否会有
浏览 17提问于2019-11-12得票数 1
1回答
我有一个dataframe，我有一个名为url的列，我想要的是选择所有不包含单词"www.ebay.com"的url，我尝试过这样做：display(flutten_df.printSchema
浏览 2提问于2022-01-10得票数 -1
回答已采纳
2回答
我需要将一列从一个表复制到另一个表。问题在于将值与正确的行进行匹配。INSERT INTO DestinationTable (money_owed)FROM SourceTable
如何搜索目标表并比较另一个字段，以查看它是否与源表中的字段相同
浏览 0提问于2012-05-08得票数 1
回答已采纳
2回答
每条记录大约有100个字段。当我读取一条记录时，我想确定该记录是否与我之前读取的另一条记录重复。重复检查的标准基于20个字段，并检查是否完全相等。我可以获取新记录，并与20个字段中每个字段的所有先前记录进行比较。
我正在考虑的另一种方法是将20个字段散列到单个字段中，并将散列与所有先前记录的散列进行比较。为此，
浏览 0提问于2016-08-26得票数 0
2回答
我的意思是，当我检查两个struct sockaddr是否具有相同的ip地址和端口号时，我应该比较struct sockaddr的哪些字段？sockaddr_in呢
我是否可以将sockaddr_in转换为sockaddr，并将其与真正的sockaddr进行比较
浏览 2提问于2013-03-17得票数 18
回答已采纳
我想知道是否有可能使用Spark创建自定义的JSONDataset<Row> alerts =
浏览 0提问于2018-03-30得票数 0
回答已采纳
我有一个pyspark格式的dataframe，读起来如下： df = spark.table('db.table')
.select(F.col('key').alias('F.to_date('move_out_date', 'yyyyMMdd').alias('move_out_date')) 现在，我想将move_out_date列与20151231日期进行比较。f
浏览 17提问于2019-08-31得票数 1
回答已采纳
如何将项目追加到dataframe (spark 2.3)中的数组？
这是一个使用整数的示例，但实际情况是使用struct。
浏览 0提问于2019-02-10得票数 1
我正在使用Java开发spark，在这里我将从api下载数据并与mongodb数据进行比较，而下载的json有15-20个字段，而数据库有300个字段。现在，我的任务是将下载的jsons与mongodb数据进行比较，并获取随过去数据更改的任何字段。City2,stark,456,bg@g.com,NY,Nowhere
3,spidy,789,c@g.co
浏览 0提问于2019-08-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
