1回答
我有一个字符串I的大型数据集，可以放入我的spark集群中单个节点的内存中。问题是它消耗了单个节点的大部分内存。HbDckDXCye20kwu0gfeGpLGWnJ2yif我正在寻找写到文件的所有ids对的列表。所以我需要在数据集本身上进行交
浏览 5提问于2017-02-06得票数 8
1回答
优化spark sql笛卡尔连接
、、、、
我必须在两个分别为3M和1M的数据集上执行笛卡尔连接。这意味着3M数据集中的每一行都应该连接到1M数据集中的每一行。在那之后，我必须在笛卡尔积上执行多个其他连接。使用PySpark运行代码大约需要9天。有什么方法可以优化它吗？
浏览 12提问于2019-12-30得票数 0
1回答
我有一个3D数组，比如msh(0:m+1,0:n+1,0:l+1)，它可以代表笛卡尔网格。我想把外层重塑成一维阵列。做这件事的最佳方式是什么(从内存的角度看是高效的)？开始逐平面重塑：array(m*n+1:2*m*n)=reshape(msh(1:m,1:n,l+1),m*n)
我的第一个问题是，这种重塑是否以一种内存高效的
浏览 4提问于2014-02-06得票数 1
我有一个pyspark数据帧，并且我想在其自身上执行笛卡尔连接。我在pyspark中使用了下面的函数 # Cross Join
m_f_1 = m_f_0.withColumnRenamed('value', 'value_x').crossJoin(m_f_0.withColumnRenamed('value', 'value_y')).drop(m_f_0.area).drop(m_f_0.id) 我面临的问题是，还有一
浏览 24提问于2019-05-20得票数 1
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的每一行数据
浏览 2提问于2019-01-21得票数 9
回答已采纳
1回答
在列中对列表中的值进行合并和操作
、、、、
的平均score。因此，person 'u1‘在type 'type1’上的平均值为1.5，因为它有关键字'a‘和'b’，它们的贡献为2+1/2=1.5。我尝试了一种包括连接的方法： .select('person', 'type', 'keywords', 'keyword', 'score') \
.gr
浏览 2提问于2016-03-19得票数 2
回答已采纳
我需要反转我的pyspark数据帧。有没有一种高效的方式在pyspark中做到这一点？？我的datetime列是反转的，所以我需要反转我的dataframe +-------------------+-------++-----28.02||2018-11-30 23:58:24| 28.03|
+------
浏览 33提问于2019-10-18得票数 0
回答已采纳
我正在做一些关于SQL Server性能的阅读：
1)对于前两个表，它将创建一个由两个表的笛卡尔连接组成的虚拟表(VT1我敢肯定它背后还有很多东西，但从表面上看，如果你在处理大表(和
浏览 0提问于2010-02-25得票数 1
回答已采纳
2回答
我正在运行一个创建大量特征向量(作为numpy数组)并将它们堆叠到单个数组中的过程。这个过程目前非常占用内存，我正在寻找一种更高效的方式来运行它。目前，我每批生成100000个特征向量，并将它们连接在一起。，然后删除中间的features对象比一次生成所有特征并一次连接它们更有效。也就是说，在接近循环末尾运行连接时，仍然需要大约30 GB的内存(在连接运行后，这些内存</e
浏览 2提问于2020-05-05得票数 0
3回答
SELECT * FROM `groupon-spain-6sep-2011`, `Hoja1`,`GroupaliaJuly2011` OR `Hoja1`.`code` = "5654
浏览 3提问于2011-09-16得票数 2
回答已采纳
在调试某人的代码时，我发现其中一个查询导致mysql的临时表内存不足。我发现，即使'ON‘条件没有与字段匹配的equals，查询仍在执行。我在想..。这实际上会做什么，因为这似乎会导致可怕的性能滞后？(我运行了explain命令，但似乎没有帮助)"SELECT testfieldLEFT JOIN bar b ON b.testid
浏览 2提问于2013-02-19得票数 0
回答已采纳
1回答
spark.createDataFrame(df1)在这个例子中，但是，对于我的问题，我想为每个用户做一个交叉连接，并且用户是两个数据格式中的另一列，例如：
df1 = pd.DataFrame({'user':[1,1,1,1,2,2,2,2],'subgroup'np.array(pd.date_range(date_today
浏览 0提问于2019-04-19得票数 2
回答已采纳
我正在PySpark上开发一个Apache应用程序。我寻找了这么多资源，但无法理解有关内存分配的几件事。from pyspark.sql import SparkSession .builder\ .appName("q1 Tutorial") \我也
浏览 9提问于2022-06-26得票数 0
3回答
我有一个spark python应用程序，因为超过内存限制而被yarn杀死。我有一个步骤，需要加载一些有点重的资源(500+ MB)，所以我使用mapPartitions。：我试着把memoryOverhead调得非常高，但还是有同
浏览 3提问于2016-06-25得票数 10
加入表总是会创建这些表的笛卡尔乘积吗？哪一种是快速和节省内存的？所有的问题都是紧密相连的，所以请不要告诉我打开另一个线程：
MySQL 5
浏览 3提问于2011-04-12得票数 0
回答已采纳
我正在处理大量的数据，这些数据无法通过PySpark中的可用内存进行处理，这会导致内存不足。为此，我需要使用MEMORY_AND_DISK选项。我的问题是:如何在PySpark朱庇特笔记本中启用这个标志？我在找这样的东西： .master('lo
浏览 3提问于2020-06-09得票数 0
回答已采纳
我在SQL Server2008上工作，想知道笛卡尔乘积和交叉连接之间的区别。有人能帮我澄清一下这个概念吗？
浏览 1提问于2012-08-08得票数 23
回答已采纳
1回答
我有一个卡桑德拉表，这是相当大的，现在我有火花-卡桑德拉与以下代码连接。import pandas as pdfrom pyspark import *from pyspark.sql import SQLContextload()将整个表加载到内存中，这是我想避免的。我得到的一种方法是使用过滤器 .format(&qu
浏览 2提问于2021-07-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
