我使用bulk_create将1MIO记录插入到一个新表中。这需要80秒。Django只使用一个CPU核心(大约25%的CPU,但没有核心达到100%),我相信有改进的潜力。class Stock(models.Model): name = models.CharField(max_length=8)
date = models.DateField(db_index=True)
stock
我正在尝试用pandas读取一个相当大的CSV (2 GB),以执行一些数据类型操作,并与我之前已经加载的其他数据帧连接。因为我想对记忆稍微小心一点,所以我决定分块阅读它。这里的问题是我的CSV布局的一个摘录,带有虚拟数据(不能真正分享真实数据,对不起!):1141414141,4141414141,JOHN,SMITH,0.7,TEMP PLACE TOWN
10123131114,4141414141,JOHN,SMITH,0.7,TEMP