嗨，我有一个带有pandas数据帧属性的类。我如何编码成json，这样pandas的dataframe属性也能被正确序列化？
class MachineObject(dict):
def __init__(self, *args, **kwargs):
self._MachineName = ''
self._propsDataFrame = None # Pandas dataframe
我是这样序列化的：
print(json.dumps(machine_objects[0].__dict__))
但这给了我错误：
Ty
浏览 2提问于2021-04-10得票数 0
用df.to_pickle(file_name)保存Pandas DataFrame后，可以用df = pd.read_pickle(file_name)加载它。但有时，您可能只想在特定时间加载一个系列的数据，并且加载整个DataFrame的效率很低。有没有一种方法可以从一个酸洗过的DataFrame中只加载一个系列？
浏览 13提问于2020-05-22得票数 1
回答已采纳
使用pyarrow将包含Player对象的pandas.DataFrame转换为具有以下代码的pyarrow.Table
import pandas as pd
import pyarrow as pa
class Player:
def __init__(self, name, age, gender):
self.name = name
self.age = age
self.gender = gender
def __repr__(self):
return f'<{self.name} (
浏览 3提问于2020-01-07得票数 20
1回答
如何将非常大的ndarray保存到磁盘？
请注意，包括复制数据在内的任何解决方案都是不可接受的。
例如，下面的代码
x = pandas.HDFStore("some_file.hdf")
x.append("a", pandas.DataFrame(a))
包括
pandas.DataFrame(a)
这是不可批准的，重复了内存使用。
显而易见的代码
pickle.dump(a, f)
挂了。
浏览 0提问于2017-07-14得票数 1
我有一个Pandas DataFrame，它的列用Python tuples标记。
这些列标签元组可以不包含任何内容。
当我尝试使用以下任一方法向数据框添加列时，标记元组中的None被隐式转换为numpy.nan。
方法1-使用dataframe[ NewColumn ] = ...语法添加列
>>> import pandas
>>> df = pandas.DataFrame()
>>> column_label = ( 'foo', None )
>>> df[column_label] = [ 1,
浏览 1提问于2016-01-05得票数 1
1回答
我试着用熊猫创建一个excel文件，作为我生成的一个数据库。
我两次都试过：
import pandas as pd
# write database to excel
df = pd.DataFrame(database)
# Create a Pandas Excel writer using XlsxWriter as the engine.
writer = pd.ExcelWriter('fifa19.xlsx', engine='xlsxwriter')
# Convert the dataframe to an XlsxWriter Exce
浏览 1提问于2018-11-03得票数 1
我们可以使用iron python在.NET空间中加载一个熊猫DataFrame吗？如果没有，我正在考虑将pandas df转换为csv文件，然后在.net空间中读取。
浏览 2提问于2013-01-21得票数 10
回答已采纳
1回答
我正在尝试使用pandas DataFrame创建一个字典。
import pandas as pd
df = pd.DataFrame({'name': ["p1","p1","p2","p2","p2"],
'val': [0, 1, np.nan, 1, 0] })
我想创建一个字典，其中name列为key，val列为values。值将是一个列表。我使用的是for loop，因为DataFrame只有100行。
mydict = dict
浏览 2提问于2022-02-06得票数 0
回答已采纳
如何让dask中的所有其他工作节点都可以访问一个8 GB的大文件？我已经在chunksize和client.scatter上尝试过pd.read_csv()，但这需要很长时间。我正在macOS上运行它。
这是我的代码：
import time
import pandas as pd
import dask as dask
import dask.distributed as distributed
import dask.dataframe as dd
import dask.delayed as delayed
from dask.distributed import Client, pr
浏览 4提问于2018-07-24得票数 1
1回答
我创建了一个Pandas dataframe
scores = pd.DataFrame(
{"batch_size" : list(range(64)),
"learning_rate" : list(range(64)),
"dropout_rate" : list(range(64)),
"accuracies" : [[0]]*64,
"loss" : [[0]]*64,
"training_t
浏览 2提问于2020-07-07得票数 1
回答已采纳
我想将一个pandas dataframe对象作为参数传递给一个芹菜任务。有什么办法可以做到这一点吗？我知道dataframe对象不是JSON可序列化的，因此根据我当前的设置不能用作参数。
浏览 7提问于2018-01-30得票数 5
回答已采纳
我知道我可以将像Series，DataFrame这样的熊猫对象转换成json，如下所示：
series1 = pd.Series(np.random.randn(5), name='something')
jsonSeries1 = series1.to_json() #{"0":0.0548079371,"1":-0.9072821424,"2":1.3865642993,"3":-1.0609052074,"4":-3.3513341839}
但是，当该系列被封装到其他数据结构中时，我应该做什么
浏览 1提问于2016-09-29得票数 2
我已经得到了一个城市列表，其中包含与DataFrame相关的lon值、lat值，但我不想从CSV文件中读取这些值，而是希望让用户修改或添加到这些城市、lat、lon值到IPython笔记本中的一个单元格中。现在，我有了一个可行的解决方案，但它看起来有点难看：
import pandas as pd
sta = array([
('Boston', 42.368186, -71.047984),
('Provincetown', 42.042745, -70.171180),
('S
浏览 1提问于2013-04-15得票数 0
回答已采纳
1回答
我想计算Pandas Dataframe上的分位数/百分位数。但是，该函数的执行速度非常慢。我用Numpy重复了一遍，我发现在Pandas中计算它需要大约10000倍的时间！
有人知道为什么会这样吗？我是否应该使用Numpy计算它，然后创建一个新的DataFrame，而不是使用Pandas？
请看下面的代码：
import time
import pandas as pd
import numpy as np
q = np.array([0.1,0.4,0.6,0.9])
data = np.random.randn(10000, 4)
df = pd.DataFrame(data, col
浏览 2提问于2015-11-17得票数 6
1回答
将数据帧转换为字符串
、、、、
我希望将Pandas数据帧转换为string，以便在regex中使用。
输入数据：
SRAVAN
KUMAR
RAKESH
SOHAN
import re
import pandas as pd
file = spark.read.text("hdfs://test.txt")
pands = file.toPandas()
schema: pysark.sql.dataframe.DataFrame
result = re.sub(r"\n","",pands,0,re.MULTILINE)
print(result)
SRAVAN
浏览 5提问于2022-06-10得票数 0
1回答
早上好,
我在将soap API数据放入google sheets时遇到了麻烦。当我运行Soap请求时，我获得了如图所示的数据。输出数据
然后我尝试用不同的方法将这些数据放到google sheets中，不幸的是到目前为止还没有解决方案。我尝试过的解决方案是提取数据，将其设置在不同的文件中，然后将该文件推送到google sheets中。
我目前的解决方案是在熊猫数据框中设置output_data，然后像这样推送，这是当前的代码，但似乎也不起作用。我将只省略使用API进行身份验证的凭据。
def pandas_to_sheets(pandas_df, sheet, clear = True):
浏览 1提问于2020-09-15得票数 1
我使用Pandas DataFrame是为了在一个大表中进行搜索，基于一些条件，比如df['start_date' > datetime.now()]等。未对DataFrame进行排序或索引。
pandas是否为批处理操作提供了类似的性能，就像使用WHERE子句时的SQL一样？
浏览 1提问于2018-08-14得票数 1
我有一个dask dataframe，它有一个ListMyClass类型的列。我想将这个数据帧保存到拼图文件中。Dask使用pyarrow作为后端，但它只支持原始类型。 import pandas as pd
import dask.dataframe as dd
class MyClass:
def __init__(self, a):
self.a = a
def transform(v):
return [MyClass(v)]
a = [[1], [2], [3]]
pdf = pd.DataFrame.from_dict(a)
ddf
浏览 28提问于2019-01-11得票数 3
1回答
我的问题需要将行增量添加到排序的DataFrame (带有DateTimeIndex)中，但我目前无法找到一种有效的方法来实现这一点。似乎没有任何“不排序”的概念。
我尝试过附加行并就位，我还尝试使用searchsorted获取插入点，并将其切片和连接以创建一个新的DataFrame。都“太慢了”。
Pandas只是不适合于那些没有同时拥有所有数据，而是以增量方式获取数据的工作吗？
我尝试过的解决方案：
串连
def insert_data(df, data, index):
insertion_index = df.index.searchsorted(index)
new_
浏览 3提问于2015-01-15得票数 5
回答已采纳
如何在同一CSV中打印两个pandas数据帧上的不同标题？我尝试了打印命令，但标题打印在终端中，而不是CSV。
if __name__ == "__main__":
V = result
W = reference
H = np.random.random([5,5100])
basis_mat, coef_mat = nmf_nimfa(V, W, H)
basis_df = pd.DataFrame(data=basis_mat)
coef_df = pd.DataFrame(data=coef_mat)
with open('NMF_nimfa.
浏览 0提问于2017-04-15得票数 1
在dataframe中，我尝试对包含系列数据元素的列进行拆分-应用-组合。(我已经搜索过了，但没有在数据帧中找到任何与系列有关的内容。)
数据框架：
import pandas as pd
from pandas import Series, DataFrame
import numpy as np
ex = {'account': [1, 1, 1, 2, 2],
'subaccount': [1, 2, 3, 1, 2],
'account_type': ['A', 'A', &#
浏览 1提问于2017-09-06得票数 1
回答已采纳
2回答
我正在尝试将属性添加到pandas.DataFrame的子类中，它们在酸洗和取消酸洗后消失：
import cPickle
import pandas as pd
class MyClass(pd.DataFrame):
def __init__(self):
super(MyClass, self).__init__()
self.bar = 1
myc = MyClass()
with open('myc.pickle', 'wb')as myfile:
cPickle.dump(myc,myfile)
w
浏览 0提问于2012-11-06得票数 5
回答已采纳
1回答
加载大型Json文件的另一种方法
、、、、
我正在尝试加载一个大的json文件(大约4G)作为pandas dataframe，但以下方法不适用于大于2G的文件。有没有其他的方法？
data_dir = 'data.json' my_data = pd.read_json(data_dir, lines = True)
我尝试过ijson，但不知道如何将其转换为dataframe。
浏览 3提问于2017-07-11得票数 2
1回答
我知道dask的主要用途是用于内存中不合适的数据，但我仍然很好奇。
为什么在创建Pandas dataframe和Dask dataframe时时间上的差异？(我读过关于开销的文章，但它是否应该如此重要？)
浏览 1提问于2018-07-03得票数 2
回答已采纳
1回答
是否有方法从火花中的员工/执行器中检索局部变量(甚至全局变量)？比方说，我想检索名为ph_list的列表，并具有以下代码：
from typing import Iterator
import pandas as pd
df = spark.createDataFrame([(1, 21), (2, 30)], ("id", "age"))
def pandas_filter(iterator: Iterator[pd.DataFrame]) -> Iterator[pd.DataFrame]:
ph_list = []
i = 0
浏览 11提问于2021-01-19得票数 1
回答已采纳
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。 df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。这是怎么回事？
浏览 7提问于2019-03-06得票数 0
回答已采纳
我对Exasol v.6.0.4中的熊猫出口数据有问题。我可以与Exasol连接，但当我想要将数据传输到pandas DataFrame时，我就会出错。我使用的是库pyexasol。我的代码如下：
from pyexasol import ExaConnection
con = ExaConnection(dsn=dns, user=user, password=password)
con.execute('OPEN SCHEMA SCHEMATEST1') #to this moment everything works correct
data = con.export_t
浏览 2提问于2018-05-23得票数 0
4回答
我有以下问题。我有一个巨大的csv文件，并希望加载它与多处理。熊猫需要19秒的例子文件，有500000行和130个列的不同类型。我试过达斯克是因为我想多处理阅读。但这需要更长的时间，我想知道为什么。我有32个核心。并尝试了这个：
import dask.dataframe as dd
import dask.multiprocessing
dask.config.set(scheduler='processes')
df = dd.read_csv(filepath,
sep='\t',
blocksize=
浏览 1提问于2019-02-22得票数 4
回答已采纳
2回答
如何创建COO格式的稀疏矩阵，并使pandas数据帧不解嵌到密集布局，而是保留COO格式用于row,column,data import numpy as np
import pandas as pd
from scipy.sparse import csr_matrix
from scipy.sparse import coo_matrix
a = np.eye(7)
a_csr = csr_matrix(a)
a_coo = a_csr.tocoo()
print(a_coo)
(0, 0) 1.0
(1, 1) 1.0
(2, 2) 1.0
(3,
浏览 55提问于2021-08-06得票数 0
回答已采纳
我正在使用请求从Rest API下载数据，并使用Data frame将其下载为平面文件。我收到以下内存错误。对解决这个问题有什么建议吗？ File "C:\Python\Python37-32\my_script.py", line 74, in <module>
df1= pd.DataFrame(my_list)
File "C:\Python\Python37-32\lib\site-packages\pandas\core\frame.py", line
435,
in __init__
arrays, columns = to_arra
浏览 16提问于2019-05-21得票数 0
1回答
这里有三个数据帧，详情如下： first = pd.DataFrame(columns=['id', 'type', 'year'])
second = pd.DataFrame(columns=['id', 'type', 'year'])
third = = pd.DataFrame(columns=['id', 'type', 'year']) 和： first.info()
second.info()
third.info() 输出： &
浏览 23提问于2021-01-04得票数 1
回答已采纳
2回答
我已经找了两天了，看来我无法掌握解决办法。对于机器学习回归模型，我需要对某些列进行热编码。培训数据和模型拟合正在我的本地PC上进行。在此之后，模型将上传到服务器进行预测。
问题是新的数据不是初始编码的一部分，所以我需要像在我的PC上学习数据一样对它进行热编码。我发现我可以保存编码器(sklearn.preprocessing -> OneHotEncoder)。但我无法将数据转换成正确的格式。
为了更容易理解这里，我刚刚创建了一个笔记本与一些非常简单的虚拟数据。
# Import pandas library
import pandas as pd
# initialize list
浏览 3提问于2019-12-28得票数 4
回答已采纳
1回答
Parquet是否支持在单个文件中存储不同宽度(列数)的各种数据帧？例如，在HDF5中，可以存储多个这样的数据帧并通过密钥访问它们。到目前为止，从我的来看，Parquet不支持它，所以可以选择将多个Parquet文件存储到文件系统中。我有一个相当大的数字(比如10000)的相对较小的帧~1-5MB的处理，所以我不确定这是否会成为一个关注？
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
dfs = []
df1 = pd.DataFrame(data={"A": [1, 2, 3],
浏览 0提问于2018-05-21得票数 13
回答已采纳
晚上好!
我有一个类似的代码，我将粘贴下面，它有更多的数据，但前提是相同的。从这两个DataFrames中，我必须提取前五个值，但是当我处理数以千万计的条目时，我无法承受等待，有时长达一个小时的时间来计算整个DataFrame并返回前五个值。我也不能使用简单的Pandas DataFrames，因为它们超过了我的内存限制。有解决办法吗？
import random
import pandas
import dask.dataframe as dd
import time
# Random list from 1 to 10,000,000.
random_pool = [random.ran
浏览 1提问于2021-10-28得票数 2
回答已采纳
模块允许将熊猫DataFrame送到kdb+/q的桌子上。
让我们准备数据：
import pandas.io.data as web
import datetime
import numpy
start = datetime.datetime(2010, 1, 1)
end = datetime.datetime(2015, 2, 6)
f = web.DataReader(["F","MSFT"], 'yahoo', start, end) # download stock data from Yahoo Finance
f = f.to_
浏览 1提问于2015-04-08得票数 2
回答已采纳
在熊猫中，我们可以直接做以下事情
import pandas as pd
df = pd.DataFrame()
这里，熊猫是一个包裹。DataFrame是一个类。所以，这是如何工作的，因为，DataFrame实际上是在一个pandas.core.frame中定义的(它是在熊猫的核心文件夹中的frame.py中定义的)。
注意:我在想，这种行为可以通过在__init__.py文件中做一些事情来实现。有人能帮我理解这件事吗。
浏览 3提问于2018-06-22得票数 3
回答已采纳
2回答
我有一个非常简单的Pandas dataframe，每个单元格都包含一个列表。我想将列表中的每个元素拆分到它自己的列中。我可以通过导出值，然后创建一个新的dataframe来完成此操作。这似乎不是一个好方法，尤其是如果我的dataframe除了list列之外还有一个列。
import pandas as pd
df = pd.DataFrame(data=[[[8,10,12]],
[[7,9,11]]])
df = pd.DataFrame(data=[x[0] for x in df.values])
所需输出：
0 1 2
浏览 1提问于2016-12-02得票数 21
回答已采纳
我必须创建一个函数，该函数将所提供的数据帧分割成所需大小的块。例如，如果dataframe包含1111行，我希望能够指定400行的块大小，并获得三个较小的dataframe，大小分别为400、400和311。有没有方便的函数来做这项工作？存储和迭代切片数据帧的最佳方式是什么？
示例DataFrame
import numpy as np
import pandas as pd
test = pd.concat([pd.Series(np.random.rand(1111)), pd.Series(np.random.rand(1111))], axis = 1)
浏览 0提问于2015-10-27得票数 35
回答已采纳
我想把dataframe和datetime结合起来。这是我的尝试。
import pandas as pd
from pandas import DataFrame
import numpy as np
# create df
df = pd.DataFrame(np.random.uniform(low=10.00, high=32.5, size=(5,2)), columns=['reference', 'target'])
df.head()
reference target
0 13.559319 24.057471
1 13
浏览 8提问于2019-07-24得票数 0
回答已采纳
简短问题
当Pandas在HDFStore (例如：.mean()或.apply() )上工作时，它是将内存中全部数据作为DataFrame加载，还是以序列的形式逐个处理记录？
详细说明
我必须处理大型数据文件，并且我可以指定数据文件的输出格式。
我打算使用Pandas来处理数据，并且我想设置最佳格式，使其性能最大化。
我已经看到panda.read_table()已经走了很长的路，但它仍然至少需要与我们想要读取的原始文件大小一样多的内存(实际上至少是内存的两倍)才能转换为DataFrame。这可能适用于最大1 GB的文件，但大于1 GB的文件？这可能很难，特别是在在线共享机器上。
然而，我已
浏览 0提问于2013-03-29得票数 6
回答已采纳
1回答
当我使用Pandas DataFrame时，内存有一些不一致之处。
下面是我的代码框架：
import pandas as pd
import numpy as np
columns_dtype = {'A': np.int16, 'B': np.int8, ...}
df = pd.read_csv('my_file.csv', dtype=columns_dtype)
这基本上就是用熊猫读取csv文件，同时控制列数据类型。但是，当我在寻找有多少内存分配给我的程序时，信息似乎不一致。
信息1:
df.info(memory_usage=
浏览 1提问于2018-09-04得票数 6
我熟悉使用UDF将自定义函数逐行应用于DataFrame。但是，我想知道如何将自定义函数并行应用于我的DataFrame的不同子集。
下面是一个简化的例子：
import numpy as np
import pandas as pd
dummy_data = pd.DataFrame({'id':np.random.choice(['a','b','c'],size=100),
'val':np.random.normal(size=100)})
我的自定义
浏览 1提问于2018-07-20得票数 2
2回答
我用scrapy抓取了一个网站，并将数据存储在一个json文件中。
指向json文件的链接：
但是json不是标准的json，并且会给出错误：
>>> import json
>>> with open("/root/code/itjuzi/itjuzi/investorinfo.json") as file:
... data = json.load(file)
...
Traceback (most recent call last):
File "<stdin>", line 2, in <
浏览 2提问于2016-08-19得票数 5
回答已采纳
1回答
我一遍又一遍地试图用OOP编写一个“超市”应用程序。
这个应用程序应该对超市的员工有用。该应用程序从CSV文件中读取数据，该文件如下所示：
name,amount
soap,4
rice,5
bread,10
超市里有收银员和经理。出纳员只能查看产品的数量。经理可以查看，但也可以更改金额。
下面是我想出的代码：
import pandas
class Data:
"""Creates a pandas dataframe out of a text file"""
def __init__(self, datafile = &#
浏览 0提问于2018-07-30得票数 4
回答已采纳
1回答
熊猫添加方法无法生存序列化
、、、、
我正在尝试给熊猫添加一个方法，这样我就可以很容易地使用它，如果我可以访问数据。但是，序列化“杀死”了方法，如下面的示例所示
import dill
class Foo:
def sayhello(self):
print("hello")
f = Foo()
dill.dump(f, open("./foo.pickle", "wb"))
f1 = dill.load(open("./foo.pickle", "r"))
f1.sayhello()
def addto(instanc
浏览 5提问于2016-10-11得票数 0
回答已采纳
1回答
我有一个用Python scikit-learn构建的模型。我知道模型可以保存为Pickle或Joblib格式。是否有任何现有的方法可以将作业保存为JSON格式？请参考下面的模型构建代码作为参考：
import pandas
from sklearn import model_selection
from sklearn.linear_model import LogisticRegression
import pickle
url = "https://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-dia
浏览 16提问于2018-01-19得票数 7
回答已采纳
我很难搞清楚这件事。我试图创建一个实时卫星跟踪器，并使用天空场python模块。它读取TLE数据，然后给出LAT和LON相对于地球的位置。sky模块创建不能被腌制的satrec对象(甚至尝试使用dill)。我使用for循环来循环所有的卫星，但是这非常慢，所以我想使用多处理和池方法来加速它，但是如上所述，这是不起作用的，因为多处理使用泡菜。是否有任何方法可以避免这种情况，或者是否有人对使用多重处理的其他方式有建议，所以加快这个for循环的速度？
from skyfield.api import load, wgs84, EarthSatellite
import numpy as np
impo
浏览 5提问于2022-07-26得票数 0
我想用一个通用的dataframe (仅举一个例子)：
my_data_frame = pandas.dataFrame({"numeric":5}, index=[0])
只需获取[{"numeric": 5}]，然后将其序列化并通过有线发送。
我试过这样做：
values = my_data_frame.to_dict('records')
它确实将其转换为[{"numeric": 5}]，但该5是一个‘numpy.int 64’，是不可序列化的。是否有什么方法可以将数据文件转换成这种格式，但是使用Python类型而不是Num
浏览 3提问于2017-04-12得票数 1
回答已采纳
我试图将python数据框架加载到Watson Function。我得到了以下错误。
{“错误”：“内部错误.类型模块的对象不是JSON序列化”}
我正在加载Watson Notebook Dataframe在Watson Function中创建一个返回Json的函数，我从笔记本上测试它，如果Json返回，它会工作，但是我不知道函数中是否需要一些东西
Dataframe码
dfData = dfData[['SOURCE','NUMBER_ID','DATE_OPEN','DATE_CLOSE','COMPANY&
浏览 0提问于2019-05-24得票数 0
我正在尝试将时间序列数据从Python传递到q/kdb+。
有一个解决方案是，它提供从q表/字典到Pandas的无缝转换。
问题在于，当试图将从 Pandas传递到q时，DataFrame中的时间索引(列Date中的时间索引)并不能很好地将其传递到q端。可复制代码：
import pandas.io.data as web
import datetime
import numpy
import qpython.qconnection as qconnection # requires installation of qPython module from https://github.com/
浏览 4提问于2015-02-07得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
