我使用以下命令将数据批量插入到crateDB中 pandas.to_sql(tableId, 'crate://xxxxxxx:4200', if_exists='append', index=False, chunksize=20000) 数据包含一些有问题的行，其中一列'numeric‘类型包含一个'object’/ 'string
浏览 51提问于2021-08-31得票数 0
回答已采纳
处理需要转储到PostgreSQL表中的大型pandas DataFrame。据我所知，一次转储所有内容并不是一个好主意(我也锁定了db)，而是使用参数。index=False, chunksize=10000)
当参数设置得更高或更低时，
浏览 1提问于2016-02-04得票数 23
sqlalchemy.create_engine('mssql+pyodbc://<Username>:<password>@<DBServername>/<DBName>', pool_pre_ping=True)
我使用连接字符串将数据加载到DataFrame中，当我循环遍历DF中的每一行时，我能够将数据插入到表中(
浏览 1提问于2018-05-05得票数 1
我使用以下SQL语句将大量数据批量插入到另一个表中，例如： SELECT col1, col2 通常，大约有5000行插入到table2中。但是，如果2行在批处理中无效，并且在插入数据时
浏览 2提问于2016-02-22得票数 2
回答已采纳
使用MSSQL (2012版)，我使用SQLAlchemy和pandas (在Python2.7上)将行插入Server表中。在使用特定的服务器字符串尝试pymssql和pyodbc之后，我正在尝试一个odbc名称：
engine = sqlalchemy.create_engine然而，熊猫to_sql方法不起作用。
浏览 0提问于2015-07-28得票数 3
回答已采纳
我能够通过使用由ExecutorService执行池的25个线程池将50k记录插入到tibco活动空间中。
BoundStatement bind = statement.bind(i, "John", "Tester");
s
浏览 2提问于2015-09-11得票数 0
我试图使用sproc通过Python将文档批量插入到CosmosDB中。我正在用这里建议的sproc进行测试
{"id":"Hello1"}，{"id":"Hello2"}
使用DataExplorer执行工具。但是，当我试图通过Python或Postman进行同样的操作时，我会得到以下
浏览 0提问于2018-06-25得票数 0
回答已采纳
我想使用to_sql函数将数据写入到MariaDB数据库中。PyCharm中的Python代码如下所示：import mysql.connector
myd.to_sql(name='[tablename]', con=engine, if_exists='replace&#x
浏览 5提问于2016-07-01得票数 1
回答已采纳
3回答
我需要每天多次将几千行推入Redshift。但出于管理上的原因，我不能使用S3中的批量插入。最快的方法是什么？有三种方法(我可以看到)将行插入到中的表中：
以上每一种方法都比前面的方法快一个数量级。我希望使用bulk ins
浏览 2提问于2018-06-01得票数 3
我将两个较大的.csv文件附加到一起，使用dask形成一个更大的.csv文件(27M行x 52列)，以便节省内存，而不是使用pandas，因为我在pandas中内存不足或接近内存。在此基础上，我只是简单地尝试写入.csv，但是在尝试使用.compute()将dask数据帧转换为pandas数据帧并写入文件时，我再次耗尽了内存。我想把这个问题集中在如何在不耗尽内存的情况下简单地<em
浏览 25提问于2020-06-12得票数 0
3回答
我使用python将数据(约800万行)从oracle传输到vertica。我编写了一个python脚本，它在2小时内传输数据，但我正在寻找提高传输速度的方法。我正在使用的过程：
逐个迭代数据中的行并插入到vertica (cursor.execute)中，我想使用dataframe.t
浏览 7提问于2015-09-18得票数 4
在我的代码中，我使用python将数据从excel文件导入到SQLite数据库中。当我使用python代码将这些文件数据导入SQLite数据库时，它会将每个列标题名转换为一个表。import sqlite3
import pandas</e
浏览 13提问于2019-07-20得票数 0
我是pandas的新手，所以如果我忽略了一些显而易见的事情，请原谅我，但我似乎在前面的问题中找不到答案。当我这样做时，我会得到以下错误：
"C:\Python27\lib\site-packages\pandas\io\parsers.py"，文件第187行，在rea
浏览 6提问于2012-06-12得票数 1
我使用Python从网络上抓取了一些棒球数据，并将其保存在中。其中一个列包含数字播放器标识代码，但通常为null。因为Pandas整数列不能包含NaNs，所以当我将数据导出到csv时，该列已转换为浮点数并保存为浮点数。当我尝试在MS SQL Server数据库中运行批量插入时，这会导致问题，因为相关列被定义为'INT‘类型(并且还包含对另一个表的外键约束)。引发以下错误消息：
大容量加载
浏览 0提问于2018-01-29得票数 0
回答已采纳
我有一个python脚本，它使用executemany将行批量插入到MySQL表中。数据是从不同的API检索的，所以时不时会有意外的数据导致一行导致异常。如果我理解正确的话-当调用有1000行的executemany时，其中一行是有问题的-整个块都不会插入。
我想要找到一种方法来提交1000条记录，并成功地加载那些没有问题的记录。例如，如果一千个
浏览 29提问于2018-12-04得票数 2
我正在自定义我的python代码中的异常。我继承了exception类到其他类中，现在将一些自定义错误定义为从自定义exception类派生的类，如下所示：class函数中引发了这些异常，如下所示： try:
浏览 3提问于2013-05-28得票数 3
回答已采纳
我正在编写一个类，它的__init__使用id或slug参数，但不能同时使用这两个参数。我想验证一下参数是否符合预期。将assert用于验证关于参数的假设的特定目的，或者如果参数不像预期的那样，我应该引发异常，这是正确的、良好的做法吗？
浏览 0提问于2012-11-24得票数 4
回答已采纳
我使用以下命令将CSV导入到中："ColA"], encoding我尝试使用它将该列转换为浮动：但是，会<
浏览 0提问于2018-02-19得票数 2
回答已采纳
0回答
我正在尝试将Pandas Dataframe的值填充到MS Access表中。我使用下面的Pandas内置DF.iterrows()遍历DataFrame的每一行，并将每一行插入Access表中。, row['Vote_date']) pyodbc.DataError: ('22008', '[22008]
浏览 10提问于2017-12-07得票数 0
1回答
操作系统错误代码1326
、、、
我们试图通过记录本地SQL Server帐户在SSMS中运行批量插入，但在运行查询时出现以下错误。错误：
第1行无法大容量加载，因为文件"\AppserverIpAddress\SharedPath\Insert.TXT"could未打开。操作系统错误代码1326 (用户名或密码不正确)。\SharedPath\Insert.TXT' (
FIELDTERMIN
浏览 7提问于2020-10-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
