首页
学习
活动
专区
圈层
工具
发布

关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....` bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt

5.2K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    PHP利用phpexcel导入Excel表到Mysql数据库

    最近在搞PHP项目,后台很多课题信息需要导入数据库,考虑过一条条导入,但是这样太费时费力。...所以找了下phpexcel的资料,打算利用这个工具把excel表导入数据库,但是发现很多教程都太久远,拿来主义用不了,所以就自己着手搞了一下,对有数据导入需求的可能有帮助。...excel文件,读取一条,插入一条 //j表示从哪一行开始读取 //$a表示列号 $conn = mysqli_connect($servername, $username, $password,...> 核心代码就上面这点,最重要的就是导入phpexcel库,然后轮询导入的数据,再存入数据库。...» 本文链接:PHP利用phpexcel导入Excel表到Mysql数据库 » 转载请注明来源:刺客博客

    18.7K40

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv()导出的csv是带标题的,如下: 不需要标题导入到数据库...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...") mysqlcur.execute("SET SESSION sql_log_bin = 1") “DISABLE KEYS” 然后 “ENABLE KEYS”,笔者实际测试没什么用,只是导入数据更快...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.4K11

    MySQL 数据库的导入导出

    目录 ---- 目录 导出数据库 导出数据和表结构 只导出表结构 导入数据库 首先建空数据库 导入数据库 ---- 导出数据库: 导出数据和表结构: 格式: mysqldump -u用户名 -...p密码 数据库名 > 数据库名.sql 举例: /usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输入密码 只导出表结构...注:/usr/local/mysql/bin/ —> mysql的data目录 导入数据库 首先建空数据库 mysql>create database abc; 导入数据库 方法一: 选择数据库...mysql>use abc; 设置数据库编码 mysql>set names utf8; 导入数据(注意sql文件的路径) mysql>source /home/abc/abc.sql;...方法二: mysql -u用户名 -p密码 数据库名 数据库名.sql mysql -uabc_f -p abc < abc.sql

    21.6K20

    PHP操作mysql数据库

    步骤: 1、连接数据库函数 mysqli_connect(主机名,用户名,密码) 返回值是我们一个连接的对象,如何连接失败,报错并且返回false 2、判断错误 mysqli_connect_error...(连接对象) 错误信息,返回错误信息 mysqli_connect_errno(连接对象) 错误号,0代表连接成功,没有错误 3、选择连接数据库函数 mysqli_selecr_db(连接对象,要选择的数据库名...false 6、处理结果 6.1获取条目数 a、mysqli_num_rows(结果集对象) 用来获取查询得到的集录条数 仅对select有效 b、mysqli_affected_rows(连接对象) 前一次MySQL...mysqli_fech_object(结果集对象) 返回的是对象,其中键名是对象成员属性名 6.3获取上一次插入的ID mysqil_insert_id(连接对象) 将上一次插入的数据id返回 7、关闭数据库...mysqli_close(连接对象) 关闭数据库 汇总 面对对象 面对过程 说明 free()、close()、free_result() mysqli_free_result() 释放结果集占用的内存

    6.9K20

    PHP 操作 MySQL 数据库

    PHP 作为服务器端脚本语言,能够与 MySQL 数据库无缝连接,进行数据的增、删、改、查操作。MySQL 是一个高效、可靠的开源数据库管理系统,广泛用于 web 开发领域。...本篇博客将详细讲解如何使用 PHP 连接 MySQL 数据库,执行常见的数据库操作,包括数据库的创建、连接、数据的增、删、改、查等操作,以及如何在开发过程中处理常见的错误和安全问题。...PHP 与 MySQL 的连接1.1 使用 mysqli 扩展连接数据库在 PHP 中,mysqli 是最常用的扩展,用于连接 MySQL 数据库并执行 SQL 查询。...常见数据库操作2.1 创建数据库与表在实际开发中,创建数据库和表是操作 MySQL 数据库的第一步。通过 SQL 语句,PHP 可以自动创建数据库和表,以下是基本的操作。...总结在本篇博客中,我们详细讲解了如何使用 PHP 连接 MySQL 数据库并进行常见的数据库操作。

    2.5K00

    Mysql数据库导入excel和乱码问题

    mysql数据库和sqlite数据库是我们做开发最常用到的两种数据库,在我们使用mysql数据库开发时,导入excel出现中文乱码,下面的name、channel和msg这三个字段都出现了乱码的情况,只有数字是正常的...1、首先,先得到一个excel表,里面有需要我们导入的数据。 2、导入数据库,需要先把excel表转成csv格式,这样数据库才可以导入此后缀名。...4、进入mysql首先创建一个表,然后选中该表。使用工具中“导入csv文件”,注意字段分隔符改为“,”,在目标 -> 表 ->新建表;随后一直点击确定就行了。...改成utf8编码,这样再重新导入就没问题了。 先记事本打开.csv文件,在另存里会看到文件的编码格式(ANSI)。 所以上面的步骤成功导入数据库,文件的编码是ANSI格式。...再使用相同步骤把.csv导入数据库,修改后再查看就不会出现乱码情况。

    12.7K10

    MySQL数据库(七):数据导出与导入

    一、数据导入 1.什么是导入:把系统文件的内容保存到数据库服务器的表里 2.导入数据时的注意事项?...二、数据导出 1.什么是导出:把数据库表里的记录保存到系统文件里 吧mysql库下user表的所有记录保存到系统/tmp/user.txt文件里 2.导出的注意事项?...导出的内容有sql语句决定,若不指定路径,默认会放在执行导出命令时所在库对应的数据库目录下,应确保mysql用户对目标文件夹有写权限 3.导出数据命令格式:(不指定路径的话,默认文件保存在当前所在数据库的目录下...; 4.例子 导出mysql.user表到/tmp/user.txt mysql> select * from mysql.user into outfile '/tmp/user.txt'; Query...OK, 15 rows affected (0.00 sec) 把usertab表的所有记录都保存在/mydbdir/user.txt文件里 mysql> use db100; Database

    13.7K50

    PhpMyAdmin创建导入导出MySQL数据库教程

    内容提要 PhpMyAdmin是网站管理员必须懂得使用的程序,很多新手都不会操作,笔者将图文演示使用PhpMyAdmin创建、导入、导出MySQL数据库的全过程。...一、创建MySQL用户及数据库 注:一般而言,只有PhpMyAdmin的超级管理员才可以直接使用PhpMyAdmin来创建用户和数据库,一般的虚拟主机用户是无法操作这一步的。...1.使用超级管理员账号(一般为root)登录后,点击【权限】>【添加新用户】 2.按照下图填写信息,一步步操作,最后点击【执行】就创建成功了: 二、导入MySQL数据库 注:接下来的导入和导出数据库的功能...1.点击左边栏数据库,然后点击【导入】>浏览选择你的数据库文件,最后点击【执行】 2.导入成功 三、导出MySQL数据库 在左边栏点击你要导出的数据库,然后点击【导出】>【全选】>勾选【另存为文件】...使用PhpMyAdmin创建、导入、导出MySQL数据库的教程就到这里,PhpMyAdmin的功能很强大,需要大家慢慢学习,如果你有疑问,欢迎在下面留言告知我们;

    14.3K20
    领券