在一个以制表符分隔的文件中,我有1800列和大约400万行。我正在尝试将它加载为mysql关系。Mysql给了我ERROR 1117 (HY0000): Too many columns。我在网上查了一下,发现MySQL无法处理这么大的数据,一些建议是对表进行垂直分区。
我正在寻找一个关于如何对其进行分区以及如何在已分区的表上执行select查询的示例。
谢谢
我试图通过以下命令将95 GB的文件上载到数据库(MySQL 5.1.36):
CREATE TABLE MOD13Q1 (
rid INT UNSIGNED NOT NULL AUTO_INCREMENT,
gid MEDIUMINT(6) UNSIGNED NOT NULL ,
yr SMALLINT(4) UNSIGNED NOT NULL ,
dyyr SMALLINT(4) UNSIGNED NOT NULL ,
ndvi DECIMAL(7,4) NOT NULL comment 'NA value is 9',
reliability TINYINT(4) NO
我正在尝试使用load DATA INFILE (from CSV)将大约1200万条记录批量加载到(本地) mysql中的InnoDB表中,并且发现这需要很长时间才能完成。
主键类型为UUID,并且数据文件中的键未排序。
我已经将数据文件拆分为包含100000条记录的文件,并将其导入为:
mysql -e 'ALTER TABLE customer DISABLE KEYS;'
for file in *.csv
mysql -e "SET sql_log_bin=0;SET FOREIGN_KEY_CHECKS=0; SET UNIQUE_CHECKS=0;