将pandas数据帧列划分为n个存储桶
是一种数据处理技术，用于将数据按照一定的规则分割成多个存储桶，以便更高效地处理和分析数据。
存储桶是一种数据结构，可以将数据按照某种规则进行分组，并将每个分组的数据存储在不同的桶中。这种分组可以基于数据的某个特征或属性进行，例如数值范围、类别等。
优势：
- 数据分析效率提升：将数据划分为存储桶后，可以更高效地对每个存储桶中的数据进行分析和处理，避免了对整个数据集的遍历操作。
- 并行处理能力提升：将数据划分为存储桶后，可以并行处理每个存储桶中的数据，从而提高数据处理的速度和效率。
- 数据存储优化：存储桶可以根据数据的特征进行划分，使得每个存储桶中的数据具有相似的特征，从而可以针对每个存储桶进行不同的数据存储优化，例如压缩、索引等。
应用场景：
- 大规模数据处理：当需要处理大规模数据集时，将数据划分为存储桶可以提高数据处理的效率和性能。
- 数据分析和挖掘：在进行数据分析和挖掘任务时，将数据划分为存储桶可以更方便地对每个存储桶中的数据进行分析和挖掘。
- 数据仓库和数据湖：在构建数据仓库和数据湖时，将数据划分为存储桶可以更好地组织和管理数据。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与数据处理和存储相关的产品，以下是其中几个推荐的产品：
- 腾讯云对象存储（COS）：腾讯云对象存储（COS）是一种高可用、高可靠、可扩展的云存储服务，适用于存储和处理各种类型的数据。详情请参考：腾讯云对象存储（COS）
- 腾讯云数据万象（CI）：腾讯云数据万象（CI）是一种全能的云端图片处理服务，提供了丰富的图片处理和管理能力。详情请参考：腾讯云数据万象（CI）
- 腾讯云数据湖分析（DLA）：腾讯云数据湖分析（DLA）是一种快速、弹性、无服务器的交互式分析服务，适用于大规模数据湖的数据查询和分析。详情请参考：腾讯云数据湖分析（DLA）
以上是关于将pandas数据帧列划分为n个存储桶的完善且全面的答案。
相关·内容
我已经加载了一个包含json文件的s3存储桶，并将其解析/平整成一个pandas数据帧。现在我有了一个175列的数据帧，其中有4列包含个人身份信息。
我正在寻找一个快速解决方案匿名这些列(名称和地址)。我需要保持信息的倍数，以便如果同一个人的姓名或地址出现多次具有相同的哈希。
pandas或其他包中是否有我可以利用的现有功能？
浏览 4提问于2017-12-28得票数 7
我有一个按日期分区的S3存储桶列表。第一个存储桶标题为2019-12-1，第二个存储桶标题为2019-12-2，依此类推。 这些存储桶中的每一个都存储我正在读取到pyspark dataframe中的拼图文件。从每个存储桶生成的pyspark dataframe具有完全相同的模式。我想要做的是迭代这些存储桶，并将所有这些拼图文件存储到一个单独的pyspark dataframe中，该数据框有一个date列，表示dataframe中的每个条目实际来自哪个存储桶。 因为单独导入每个存储桶时生成的数据帧的模式是多层的(即每一行都包含结构数组的结构等)，所以我认为将所有存储桶合并到一个数据帧中的唯一
浏览 13提问于2019-12-16得票数 0
回答已采纳
2回答
在pandas中使用read_sql时，该函数需要确定哪些列应该被视为日期(参见下面的代码片段)。但是我事先不知道哪些栏是日期。 给定一条select语句，我需要检索它的列类型并将结果集加载到pandas数据帧中。我期望pandas在从select创建dataframe时标识date类型的列并分配类型。 在select语句或数据帧中标识date类型的最佳方法是什么？我尽量避免使用pyodbc运行语句来检测类型。 import pyodbc
import pandas as pd
conn = pyodbc.connect....
sql_df = pd.read_sql(
&#
浏览 60提问于2020-10-03得票数 1
我正在尝试将一些文件读取到Pandas数据帧中，它们看起来像这样：
287212,xxxanxxxxx
5466029,xxxxxxxxxx
324561,nnnnxnnnna
687811,xxxxxxxxxn
67454,nnnaxnnnnn
或者像这样：
287226,0010100000
5466089,1110100000
324561,0010101000
687811,0000000000
67404,0010000000
我想要的是使用第一个多位数字作为索引列，并且对于'，‘分隔符之后的值，我希望将其拆分为每个字符的一列。
例如：
浏览 0提问于2019-06-05得票数 0
我在HIVE中有一个表结构，如下所示-
create table if not exists cdp_compl_status
(
EmpNo INT,
RoleCapability STRING,
EmpPUCode STRING,
SBUCode STRING,
CertificationCode STRING,
CertificationTitle STRING,
Competency STRING,
Certification_Type STRING,
Certification_Group STRING,
Contact_Based_Program_Y_N STRING,
ExamD
浏览 12提问于2018-08-25得票数 1
1回答
提高非常大的数据帧上的迭代性能
、、、、
我有一个pandas数据帧，它由300万行和50列组成，所有列都包含整数(正数或负数)。我想创建一个名为'feature‘的新列，它从现有的50列中提取最大的负数。
例如，如果对于给定行，50列包含以下值
-25,-24,-23,...,-1,1,...,23,24,25
“feature”列应返回-1。
因为我的数据帧太大了，所以我尝试的解决方案花费的时间太长了。例如，我尝试过使用列表理解，但是因为我求助于iterrows()，所以它太慢了(itertuples()的性能并没有明显的提高)：
import numpy as np
import pandas as pd
from tq
浏览 3提问于2019-07-17得票数 1
回答已采纳
1回答
我有一个关于并行化的问题：
我有两个数据集。Dataset1有m行和k列，Dataset2有n行和k列。(M> n)我的程序从文件中读取这些数据集并将它们存储在内存中。任务是获取Dataset1的每个实例(让我们调用这个查询实例)，并与Dataset2的所有实例进行比较。
现在我的问题是：
(Option1)Should i将Dataset2划分为x个分区，并将这些分区分配给Dataset1或(Option2)Should的x个工作线程数(这意味着与Dataset2中的查询实例相比)--我从Dataset 1获取x个实例，分配x个工作线程数来查询Dataset2 simultaneous
浏览 5提问于2009-09-25得票数 0
回答已采纳
1回答
假设我计算了熊猫数据帧中的行数。我使用以下代码来完成此操作：
df.shape
它给出了以下结果：(1700，12)
如何将1700值添加到现有的pandas数据帧中？我们将把与该值相关联的列称为D。
当前数据帧：
A B C
30 40 text
所需数据帧：
A B C D
30 40 text 1700
浏览 2提问于2018-04-18得票数 0
我有一个10列N行的pandas数据帧。我想从我的数据框中选择两列，并将它们放入一个维数为(N，2)的NumPy 2D数组中。如何做到这一点？
浏览 0提问于2020-06-08得票数 1
我有一个大型的pandas数据帧，它在整个数据帧中包含不同数量的列。下面是一个示例：Current dataframe example 我想根据数据帧的列数将其拆分成多个数据帧。 示例输出图像如下：Output image 谢谢。
浏览 12提问于2019-10-13得票数 1
我有一个包含3m+ (有序)行和100列的数据集，我可以使用Pandas将其加载到我的笔记本中。我想追加大约900列，这些列是使用100个现有的列计算得出的。最终目标是训练几个机器学习模型(NN，随机森林)。
当我尝试使用Pandas添加列时，由于RAM不足(我有25 to )，我的机器崩溃了。因此，我尝试使用Dask，它允许我毫无问题地计算900列。然而，Dask数据帧不能用作随机森林(Sklearn)和Keras模型的输入，所以我猜在某些时候您必须将其转换回pandas数据帧。
在这一点上我被卡住了。速度是相当重要的，因为我需要经常改装模型。有没有人有好的建议？
浏览 18提问于2021-05-22得票数 1
1回答
将直播流解析为数据帧
、、、、
我有一些通过TCP端口传入的数据，我正在尝试将其解析为不断更新的数据帧。到目前为止，我用来读取流的python代码如下。
import socket
import pandas as pd
import numpy as np
TCP_IP = '127.0.0.1'
TCP_PORT = 5005
BUFFER_SIZE = 1024
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind((TCP_IP, TCP_PORT))
s.listen(1)
conn, addr = s.accept()
浏览 0提问于2018-05-12得票数 0
3回答
我正在解决我的家庭作业，不能理解问题，请解释我的问题，以便我可以解决的解决方案。问题是。
编写一个递归函数来计算阶乘，使用除法和征服，就像合并排序一样。即，假设n，写一个函数阶乘(n，m)，计算n(n−1)(n−2)··(m + 1) m，顶层调用为阶乘(n，1)。
帮助我了解以下问题：-
为什么在阶乘函数中有两个论点？
对于给定的问题，如果选择n=8，那么m=5的执行将只像8x7x6x5那样执行。对吗？
就我所读到的解阶乘的方法而言。迭代与递归它们只需输入一个数，即阶乘( n )，即可计算n的值。告诉我怎么开始。
**
浏览 9提问于2014-02-16得票数 2
回答已采纳
1回答
我想找出一个位置敏感的散列算法，以便将我的空间数据分成多个存储桶(reducer任务)。空间数据实际上是轨迹，所以从我对LSH的轻描淡写来看，一个轨迹将表示为一组二维点。
谢谢，亚当
浏览 4提问于2014-03-20得票数 2
1回答
我得到了一个具有多列的pandas数据帧和一个具有列索引(0，1，...，n)的列表，该列表索引数据帧的列的子集。如何创建恰好包含这个列子集的新数据框？
浏览 3提问于2021-11-30得票数 0
我将链接嵌入到Pandas数据帧(下表)的一列中，并将数据帧写入hmtl。
数据框表中的链接格式如下所示(索引表中的第一个链接)：
In: table.loc[0,'Links']
Out: u'<a href="http://xxx.xx.xxx.xxx/browser/I6.html">I6</a>'
如果我查看(而不是索引特定行)数据帧(在notebook中)，链接文本将被截断：
<a href="http://xxx.xx.xxx.xxx/browser/I6.html...
我将数据帧写入htm
浏览 1提问于2014-08-01得票数 6
回答已采纳
1回答
所以我有一个pandas数据帧，它每10分钟接收一次输入/输出接口流量。我想将这两个时间序列聚合到每小时一次的存储桶中进行分析。看似简单的事情实际上对我来说却是相当具有挑战性的！只需要把桶放到每小时的垃圾桶里
times = list()
ins = list()
outs = list()
for row in results['results']:
times.append(row['DateTime'])
ins.append(row['Intraffic'])
outs.append(row['Outtr
浏览 9提问于2019-08-09得票数 0
是否可以将任意numpy数组存储为Pandas的数据帧中单个列的值
这些数组都是二维的，我打算使用它们来计算同一数据帧中其他列的值。
为了提供一些我想要做的事情的背景：
每个数组是某个网络的邻接矩阵，对于每个网络，我要计算它的各种特性(例如密度、集中度、聚类系数等)，它们实际上是同一数据中的其他列。
浏览 4提问于2013-10-24得票数 17
回答已采纳
1回答
我有一个pandas数据框架，其中包括下面的日期列，其中包含1000多个raw，格式如下: YearMonth Date:
_____
201801
201802
201910 我如何才能将2018年划分为一个月和另一个列。我试着拆分，但很难得到正确的计数设置。 感谢您的帮助
浏览 10提问于2019-03-06得票数 0
回答已采纳
3回答
我理解pandas导入csv文件相对较慢的原因之一是，在猜测类型之前，它需要扫描一列的整个内容(请参阅关于pandas.read_csv的low_memory选项的讨论)。我的理解正确吗？
如果是这样的话，什么样的格式才是存储数据帧的好格式，哪些格式显式地指定了数据类型，这样pandas就不必去猜测了(SQL暂时不是一个选项)？
有什么特别的选择吗？
我的数据帧有浮点数、整数、日期、字符串和Y/N，所以只支持数字值的格式是行不通的。
浏览 0提问于2017-11-15得票数 2
1回答
我已经编写了以下Python/Pandas代码，将M行x N列数据帧(A)的每一列乘以M x 1数据帧(b)，得到M x N数据帧C：
def multiply_columns(A, b):
C = pd.DataFrame(A.values * b.values, columns=A.columns, index=b.index)
return C
换句话说，它将矩阵的每一列乘以长度相等的列向量。
代码运行良好，但是我想不起这个操作的正式名称了。有什么想法？
浏览 12提问于2015-03-17得票数 1
我想把数据帧转换成R中的矩阵。数据帧有30多个不同类型的变量，一些是数字的，一些是因子的，还有一些是字符的。在将其转换为矩阵时，我希望保持所有类型与数据帧中的类型完全相同。 我尝试使用as.matrix()对其进行转换，请参见下面的代码(这只是一个只有两个变量的简单示例数据帧)。 test_df <- data.frame(a = c(1:10), b = c(letters[1:10]))
test_df <- as.matrix(test_df)
typeof(test_df[,1])
typeof(test_df[,2]) 示例中的列'a‘的类型为整型，而列'
浏览 15提问于2019-06-10得票数 0
回答已采纳
有没有办法创建一个由两列组成的pandas数据帧？第一列的数据类型是int，第二列的数据类型是字典。然后迭代地将数据插入到数据帧中。
浏览 0提问于2018-07-29得票数 0
我有一个脚本，可以将系统日志文件读取到pandas数据帧中，并从这些数据帧生成图表。图表适用于较小的数据集。但当我面对更大的数据集时，由于更长的数据收集时间框架，图表变得太拥挤而无法辨别。
我计划对数据帧进行重采样，以便如果数据集超过一定大小，我将对其进行重采样，以便最终只有SIZE_LIMIT行数。这意味着我需要过滤数据帧，这样每个n= actual_size/SIZE_LIMIT行都会聚集到新数据帧中的一行。agregation可以是平均值，也可以是第n行。
我对熊猫不是很熟悉，所以可能错过了一些明显的方法。
浏览 2提问于2013-01-30得票数 4
回答已采纳
1回答
我对pyspark/bigdata有点陌生，所以这可能不是一个好主意，但我有大约一百万个单独的CSV文件，每个文件都与一些元数据相关联。我想要一个pyspark dataframe所有元数据字段的列，但也有一个列，其条目是(整个) CSV文件与每组元数据相关联。
我现在不在工作，但我几乎记得确切的代码。我试过一个玩具的例子，比如
outer_pandas_df = pd.DataFrame.from_dict({"A":[1,2,3],"B":[4,5,6]})
## A B
## 0 1 4
## 1 2 5
## 2 3 6
如果你这样
浏览 2提问于2016-11-17得票数 0
我有一个糟糕的CSV文件，里面有多个头文件。它看起来是这样的：
File1:
#HEADER COL1 COL2
data
data
data
#HEADER COL1 COL2 COL3
data
data
data
data
data
#HEADER COL1 COL2 COL3 COL4
data
data
...
由于文件头的原因，我不能用pandas加载它，所以我希望将每个头上的数据拆分到一个单独的文件中(或者pandas中的单独数据帧)。有没有办法做到这一点？
此CSV由
浏览 0提问于2019-11-13得票数 0
我在列表中有n-dataframe
df=[df_1, df_2, df_3, ...., df_n]
其中df_n是pandas (python)中的数据帧。df_n是我的keras模型的一个变量。
X_train=[df_1_1,df_2_1,...,df_n_1]
其中：
df_1_1是列表的第一个数据帧(第一个变量)，也是这个数据帧的第一列，他的数据帧有m列。
如果此变量应用不同类型的平滑或过滤器，则此数据帧的每一列。
我在每个数据帧中有100列，我想选择(不同数据帧的)列的组合，我的模型的得分中的X_train比最小值。
score = model.evaluate(X_test,
浏览 11提问于2018-08-17得票数 0
长话短说，我一直在与内存问题(以及执行时间) dask / pandas来编写大型数据帧to_sql或to_csv作斗争，如果有人能给我指出正确的方向(下面有更多详细信息)？
我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。
在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内存的情况下简单地将这个东西放到.csv中。然后，我计划使用S
浏览 25提问于2020-06-12得票数 0
想知道当列类型是分类的(特别是h2o enum类型)时，在h2o dataframe GroupBy对象中求和列时会发生什么。
将pandas数据帧转换为H2o数据帧。然后，我按某一列对行进行分组，并对其他列求和。
location_id price store
------------------
1 10 JCP
1 15 SBUX
3 20 HOL
then after grouping and summing; df.group_by('location_id').sum(['
浏览 26提问于2019-04-02得票数 0
回答已采纳
我有以下数据框： df1： Name Tis Exr Name_2 Exr_2
A1FH derm 3.4 GHJK brn:2.4
N4RT lng 0.1 PP2DS Lvr:3.4;hup:2.3
GHJK Pap 2.2 KLM3 tet:2.0
4HHR stm 1.4 LSDR NaN
PP2DS skl 3.7 PMRT van:3.7;epth:23.5
LSDR lym 2.1 exty N
浏览 16提问于2020-09-28得票数 1
回答已采纳
1回答
在这里花了很长时间寻找正确的问题后，我似乎找不到正确的答案。
所以，我有sites = df_sim1['site_id'].unique()
['XXX092' 'XXX093']
我用它从一个大数据中创建两个数据文件
for site in sites:
exec(f"{site} = df_sim1[df_sim1['site_id']==site].reset_index(drop=True)")
f"{site} = {site}.drop(['site_id'], axis=
浏览 4提问于2022-02-14得票数 0
回答已采纳
10回答
在pandas中按行或按列混洗数据帧的简单而有效的方法是什么？即如何编写一个函数shuffle(df, n, axis=0)，该函数接受一个数据帧、多个随机n和一个轴(axis=0是行，axis=1是列)，并返回已经被随机n次的数据帧的副本。
编辑：关键是在不破坏数据帧的行/列标签的情况下执行此操作。如果你只是混洗df.index，就会丢失所有的信息。我希望生成的df与原始的相同，只是行的顺序或列的顺序不同。
Edit2：我的问题不清楚。当我说对行进行混洗时，我指的是独立地对每一行进行混洗。因此，如果您有两列a和b，我希望每一行都按自己的顺序排列，这样您就不会像将每一行作为一个整体重新排序时那
浏览 114提问于2013-04-03得票数 82
回答已采纳
1回答
我正在使用to_sql将pandas数据帧写入SQL server数据库。数据帧很小(1列，100行)。然而，我得到了一个错误：
cursor.executemany(statement, parameters)
MemoryError
该列的dataType为object (即string)。如果我将dataType转换为INT，则代码执行时不会出现错误。
为什么对象数据会导致内存不足错误?我如何修复它？
浏览 3提问于2020-09-19得票数 0
我生成具有许多"y“列(y1、y2、y3...)的pandas数据帧。和一个"x“列。X列始终是相同的。我希望将所有这些x-y线/曲线绘制在同一张图上。 我可以让bokeh将行数作为数据帧中有多少"y“列的函数来绘制吗？以使脚本的绘图部分不依赖于固定数量的"y“列，并且可以处理具有'n‘#列的任何数据帧？
浏览 24提问于2019-06-25得票数 0
回答已采纳
我正在尝试使用以下代码将位于亚马逊网络服务S3存储桶中的CSV文件作为pandas数据帧读取到内存中：
import pandas as pd
import boto
data = pd.read_csv('s3:/example_bucket.s3-website-ap-southeast-2.amazonaws.com/data_1.csv')
为了提供完整的访问权限，我在S3存储桶上设置了存储桶策略，如下所示：
{
"Version": "2012-10-17",
"Id": "statement1",
&
浏览 1提问于2015-06-13得票数 18
1回答
下面的链接是我试图解析的数据源示例。
我有一个专栏，里面有有价值的词。我想要解析该行的每个单词，并将amount列附加到它们后面。例如：
原始数据帧
字数(第1列)、金额(第2列)
Words = ' Google‘，'Google太棒了’，'Hi Google‘
数量= 5，10，5
新数据帧
Word1 (第1列)、Word2 (第2列)、Word3 (第3列)、Amount (第4列)
Word1 =‘谷歌’，‘谷歌’，‘嗨’
Word2 = ''，'is'，'Google‘
Word3 = ''，‘棒极了
浏览 0提问于2018-03-01得票数 0
我是python的新手。在Python版本3.7.4中，我有一个pandas数据帧，如下所示(有4列)：
df = pd.DataFrame({'Patient_Key': [2333836, 2319735],
'DX1': ["N184", 'Z6827'],
'DX2': ['D649', 'N184'],
'DX3': ['E785'
浏览 4提问于2021-07-24得票数 0
我想从一个目录中读取几个excel文件到pandas中，并将它们连接成一个大的数据帧。不过，我还没能弄明白。所有文件都有5列，它们是： C N S R Q 除了一个包含7列的文件，这些列是 D I C N QI P L 如何才能获得一个包含这些列的大型数据帧 C N S R Q 代码： import pandas as pd
import glob
path = #path
all_files = glob.glob(path + "/*.csv")
li = []
for filename in all
浏览 18提问于2021-08-04得票数 0
在sql中，从表中选择a.*，count(a.id) as N。group by a.name将给我一个新列‘N’，其中包含符合我的group by规范的计数。
然而，在pandas中，如果我尝试df‘’name‘.value_counts()，我得到的是计数，而不是原始数据帧中的列。
有没有办法在单个步骤/语句中将计数作为原始数据帧中的一列？
浏览 2提问于2017-07-30得票数 2
回答已采纳
1回答
我有一个下面的熊猫数据框。我需要一个使用3X3窗口将这个数据帧分割成多个数据帧的代码。 import pandas as pd
d= {1: [5, 5, 5, 5, 4, 6,11,11], 3: [4, 5, 15, 25, 40, 10,25,33],6: [77, 47, 55, 59, 32, 5,9,22],
7: [15, 21, 40, 33, 30, 6,14,14],9: [10, 11, 12, 45, 14, 15,13,76],15: [3, 5, 32, 12, 11, 12,17,45],18: [3, 6, 23, 22, 21, 32,19,65
浏览 13提问于2021-07-10得票数 2
回答已采纳
我正在从CSV文件中读取数据，该文件包含位于爱尔兰海岸外的浮标网络的天气数据。它是一个时间序列数据集，每个浮标都有每小时的读数。我想创建一个3D结构，其中每个浮标都有一个数据帧，其中包含按日期和时间索引的天气条件列。
我希望能够通过以下语法访问数据：
df['column']['anotherColumn']
我知道pandas有一个被弃用的Panel类，但是我不知道该怎么做。
如有任何帮助，将不胜感激，谢谢！
浏览 1提问于2019-03-27得票数 2
我有一个spark表，我想在python中读取(我在databricks中使用的是python3)，实际上结构如下。日志数据存储在单个字符串列中，但它是一个字典。 我如何拆分字典中的条目来阅读它们。 dfstates = spark.createDataFrame([[{"EVENT_ID":"123829:0","EVENT_TS":"2020-06-22T10:16:01.000+0000","RECORD_INDEX":0},
{"
浏览 39提问于2020-07-01得票数 1
回答已采纳
我在一本书中读到，如果一个散列函数为每个不同的对象返回唯一的散列值，那么它的效率是最高的。如果一个类中的hashcode()方法为每个不同的对象提供了一个唯一的hash值，并且我想在Hashmap中存储该类的n个不同的实例，那么将有n个存储桶来存储n个instances.The时间复杂度将为O(n)。那么，每个哈希值的单个条目(实例)如何产生更好的性能?这与存储桶的数据结构有关吗？
浏览 1提问于2017-04-08得票数 3
1回答
我正在寻找最好的方法来计算存储在数据帧中的许多dask delayed指令。我不确定是否应该将pandas数据帧转换为包含delayed对象的dask数据帧，或者是否应该对pandas数据帧的所有值调用compute调用。
我非常感谢大家的建议，因为我在通过嵌套的for循环传递delayed对象的逻辑上遇到了问题。
import numpy as np
import pandas as pd
from scipy.stats import hypergeom
from dask import delayed, compute
steps = 5
sample = [int(x) for x
浏览 10提问于2019-08-10得票数 0
我有一个数据帧，它基本上看起来如下所示： X1 X2
A 1000
B 976
C 800
. .
. .
. .
X 89
Y 45
Z 26 现在，我想根据X2列中的值从我的数据框中提取一个子样本，其中包含顶部的x%、中间的y%和底部的z%。我的数据帧已经根据X2进行了降序排序。目前，我有这样的代码： a = subset(data, X2 > quantile(X2, prob = 1 - n/100)) 但是，根据X2中的值，这只返回数据帧的前n%。有人知道如
浏览 19提问于2019-01-20得票数 0
2回答
我正在用python3构建一个网络x图。我使用一个pandas数据帧来为这个图提供边和节点。以下是我所做的工作：
test = pd.read_csv("/home/Desktop/test_call1", delimiter = ';')
g_test = nx.from_pandas_edgelist(test, 'number', 'contactNumber', edge_attr='callDuration')
我想要的是pandas数据帧的"callDuration“列作为网络x图的边的权重，
浏览 0提问于2018-09-19得票数 7
回答已采纳
我有一个大文件，导入到Pandas中的单个数据帧中。我使用pandas根据数据帧中的行数将文件拆分成多个段。
例如: 10行:文件1获取0:4文件2获取5:9
有没有一种方法可以做到这一点，而不必创建更多的数据帧？
浏览 0提问于2017-11-22得票数 2
sktime库需要一个非常“特殊”的data format。对于n个时间序列，每个序列的T值需要存储在长度为T的pandas序列的pandas Dataframe中，如下所示： DataFrame： index | Data
0 | pd.Series
1 | pd.Series
... | ...
n-1 | pd.Series 我试图通过读取另一个数据帧来填充循环中n=2和T=3的空数据帧，但没有成功。下面是我的简化版本，在每一行中使用一个常量pd.Series： import pandas as pd
df = pd.DataFrame(
浏览 14提问于2020-06-17得票数 1
回答已采纳
6回答
在pandas数据框中，我使用以下代码来绘制列的直方图：
my_df.hist(column = 'field_1')
有没有什么东西可以在pyspark数据帧中实现同样的目标？(我在Jupyter Notebook中)谢谢！
浏览 5提问于2016-08-26得票数 35
我有一堆parquet文件，每个文件都包含我的数据集的一个子集。假设文件名为data-N.parquet，其中N是一个整数。 我可以全部读取它们，然后将其转换为pandas数据帧： files = glob.glob("data-**.parquet")
ds = pq.ParquetDataset(
files,
metadata_nthreads=64,
).read_table(use_threads=True)
df = ds.to_pandas() 这个很好用。它希望在最终数据帧中有一个额外的列，指示数据来自哪个文件。 据我所知，ds数据是分区的，每
浏览 48提问于2021-09-29得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
