我正在使用psycopg2.extras.execute_values(cursor, query, data, page_size=100)将大量记录写入postgres数据库
我知道page_size参数的作用，但实际上不知道将其设置为什么值才是合理的。(以上使用默认值100。)简单地将其设置为非常大的值有什么缺点？
浏览 18提问于2018-09-06得票数 6
我已经用熊猫清理了python中的数据，现在我需要将数据输入到PostgreSQL中，但是，我的数据有9m+行，这是不可能作为一个CSV文件输出的。要将数据从python导出到PostgreSQL，需要哪些选项？感谢你的帮助。谢谢
浏览 6提问于2022-09-22得票数 1
因此，我正在使用Python (v3.6)更新Postgres DB中的数千行。在清理数据并准备好数据之后，我遇到了行更新时间的问题。我已经为用于执行查询的列建立了索引。在创建列之后，我使用psycopg2在表上执行"execute_batch“更新，但是时间没有任何意义。更新10k行需要40秒，让我头疼的是，更改函数的"page_size“参数似乎不会改变更新的速度。.extras.execute_batch(self.cursor, query, field_list, page_size<
浏览 49提问于2019-10-22得票数 1
我定义了以下函数，使用Psycopg2和PostgreSQL 11在Python中插入几行带迭代的行。当我收到相同的obj (具有相同的id)时，我想更新它的日期。def insert_execute_values_iterator( objs: Iterator[Dict[str, Any]], obj['id'],
obj['date
浏览 2提问于2021-02-17得票数 2
回答已采纳
我正在尝试循环ndarray以将索引和值记录到postgresql中。下面是我的代码： for idx, val in enumerate(data):
cur.execute("INSERT INTO public.spams(review_id, label, confidence_level, aoc, created_at) VALUES (%s, %s, %s, %s, %s)", (idx+1, spamlabel, 0, 0, dt.now())) ndarray的大小是762k，插入这些值需要超过8h。有没有更有效的方法来做到这一点？
浏览 12提问于2019-03-24得票数 1
回答已采纳
1回答
我正在尝试使用psycopg2和piccopg2.interas更新Redshift表，但是它失败了，出现了以下错误。有人能帮忙解决这个错误吗？110, in lambda_handler\n psycopg2.extras.execute_values (cursor, update_query, row, template=None, page_size=2000)\n",
" File \"/opt/python/lib/python3.8/
浏览 7提问于2021-05-20得票数 0
回答已采纳
我试图使用psycopg2将一些csv文件的内容加载到postgres数据库中。jsonpickle.decode(string)
import psycopg2
浏览 2提问于2020-11-23得票数 0
1回答
我使用psycopg2从Postgres服务器进行查询，这是查询的代码： self, query_paramsyield from cursor self.disconnect()我不确定处理这些具体异常的正确方法是否是重试： self,
浏览 0提问于2021-04-06得票数 1
回答已采纳
我们需要对Postgres中的许多行进行批量更新，并希望使用下面的SQL语法。我们如何使用psycopg2来做到这一点？update_payload(id, msg)RETURNING *我们需要将嵌套的可迭代格式传递给psycopg2我按照的指令编写了这样的代码，但很明显，我做错了什么。例如，在这种方法中，我必须处理表中所有值的引用，这将很麻烦，而且容易出错。__repr__()
编辑:
浏览 2提问于2019-09-20得票数 8
回答已采纳
我使用的是django 1.3，我有一个采用分页查询集的视图(设置为使用50个对象)。否则我可以只使用django和html吗？这可能真的很简单，我只是相当缺乏经验，在任何地方都没有找到答案或例子。
谢谢!
浏览 6提问于2011-07-21得票数 1
回答已采纳
1回答
我正在使用python脚本在postgresql中插入或更新大约3到4百万个数据。请看下面的代码。如果它的新键已经存在，则需要插入它的新键，或者用新值更新键。
浏览 3提问于2017-11-07得票数 2
使用python中的熊猫，我需要能够从dataframe生成高效的查询到postgresql。不幸的是DataFrame.to_sql(.)只执行直接插入，我想要进行的查询相当复杂。我们使用的是SQLAlchemy，但是绑定参数似乎只适用于数量有限的参数，理想情况下，我希望以C速度将数据序列化为文本。
浏览 0提问于2019-06-03得票数 3
回答已采纳
我正在使用psycopg2将一只熊猫数据插入postgres。%s(%s) VALUES (%%s,%%s,%%s,%%s,%%s)" % (table , cols)
问题是，为此，我需要硬编码%s，列的次数。在本例中，它的5列，因此我使用%%s,%%s,%%s,%%s,%%s。
浏览 3提问于2021-07-12得票数 0
下面的代码不起作用，因为page_size不是常量。int page_size = 4096;
}
由于我正在构建和随机访问页面数组，因此如果能将页面视为大小为page_size的固定长度结构，那就太好了。如果可能，我希望在程序开始时从配置文件中读取page_size，或者从操作系统(例如，Windows上的GetDiskFreeSpace() )获取它。
浏览 1提问于2010-07-16得票数 3
回答已采纳
1回答
manage.py collectstatic --noinputdjango.core.exceptions.ImproperlyConfigured: Error loading psycopg2module: No据我所知，这是与Postgresql绑定的，但我在本地使用sqlite3，并希望在生产中使用Postgresql。
浏览 2提问于2015-09-24得票数 1
回答已采纳
为什么他们使用这个公式而不是简单地：作为猜测，我认为上面公式的问题在于大小是PAGE_SIZE对齐的(PAGE_SIZE的倍数)，因为在这种情况下，它报告的页面比需要的多一页，因此我们也必须这样做：if (!(size & (PAGE_SIZE-1))) /* is size a multiple of PAGE
浏览 3提问于2021-03-18得票数 1
回答已采纳
. */ if (*n) { } return 0;例如，在第一个比较中，它们为什么不只是与这似乎是上述评论的意图，为什么他们要从*n中减去1，我认为(*n-1)被比较为无签名而不是签名，所以他们正在处理*n
浏览 2提问于2018-02-06得票数 2
回答已采纳
我正在编写一些使用psycopg2连接到PostGreSQL数据库的代码。string1 = (value11, value21, value31), (value12, value22, value32)
string1变量将通过使用带有值的字典创建
浏览 1提问于2017-05-23得票数 0
回答已采纳
我从mongodb获取一个集合，并尝试使用psycopg2.extras.execute_values将其加载到postgresql。execute_values(cur, query, values[:5])
/Users/<me>/.virtualenvs/ipython/lib/python2.7/site-packages/psycopg2/extras.pyc in execute_values(cur, sql, argslist, templ
浏览 14提问于2020-10-14得票数 2
回答已采纳
1回答
2022-11-15T13:04:18.844Z'))
cur, query, args, template=None, page_sizetype timestamp with time zone but expression is of type record如何在psycopg2
浏览 10提问于2022-11-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
