前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >mysql如何批量添加数据_mysql如何批量insert数据

mysql如何批量添加数据_mysql如何批量insert数据

作者头像
全栈程序员站长
发布于 2022-11-01 01:20:42
发布于 2022-11-01 01:20:42
10.4K0
举报

mysql批量insert数据的方法:1、循环插入;2、减少连接资源,拼接一条sql;3、使用存储过程;4、使用【MYSQL LOCAL_INFILE】。

本教程操作环境:windows7系统、mysql8.0.22版,该方法适用于所有品牌电脑。

mysql批量insert数据的方法:

方法一:循环插入

这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。

大致思维如下

(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)for($i=1;$i<=100;$i++){

$sql = ‘insert……………’;

//querysql

}

foreach($arr as $key => $value){

$sql = ‘insert……………’;

//querysql

}

while($i <= 100){

$sql = ‘insert……………’;

//querysql

$i++

}

因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说

方法二:减少连接资源,拼接一条sql

伪代码如下//这里假设arr的key和数据库字段同步,其实大多数框架中在php操作数据库的时候都是这么设计的

$arr_keys = array_keys($arr);

$sql = ‘INSERT INTO tablename (‘ . implode(‘,’ ,$arr_keys) . ‘) values’;

$arr_values = array_values($arr);

$sql .= ” (‘” . implode(“‘,'” ,$arr_values) . “‘),”;

$sql = substr($sql ,0 ,-1);

//拼接之后大概就是 INSERT INTO tablename (‘username’,’password’) values

(‘xxx’,’xxx’),(‘xxx’,’xxx’),(‘xxx’,’xxx’),(‘xxx’,’xxx’),(‘xxx’,’xxx’),(‘xxx’,’xxx’)

…….

//querysql

这样写正常插入一万条基本问题不大,除非数据很长,应付普通的批量插入够用了,比如:批量生成卡号,批量生成随机码等等。

方法三:使用存储过程

这个我手里正好再用这个就把sql付出来,具体业务逻辑大家自己组合一下就可以。delimiter $$$

create procedure zqtest()

begin

declare i int default 0;

set i=0;

start transaction;

while i<80000 do

//your insert sql

set i=i+1;

end while;

commit;

end

$$$

delimiter;

call zqtest();

这个也只是个测试代码,具体参数大家自行定义

我这里是一次插入8万条,虽然不多但是,每一条数据量都很大,有很多varchar4000 和text字段

耗时 6.524s

方法四:使用MYSQL LOCAL_INFILE

这个我目前正在使用,所以顺便把pdo的代码也复上来,以便大家参考//设置pdo开启MYSQL_ATTR_LOCAL_INFILE

/*hs96.cn@gmail.com

public function pdo_local_info ()

{

global $system_dbserver;

$dbname = ‘hs96.cn@gmail.com’;

$ip = ‘hs96.cn@gmail.com’;

$user = ‘hs96.cn@gmail.com’;

$pwd = ‘hs96.cn@gmail.com’;

$dsn = ‘mysql:dbname=’ . $dbname . ‘;host=’ . $ip . ‘;port=3306’;

$options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];

$db = new PDO($dsn ,$user ,$pwd ,$options);

return $db;

}

//伪代码如下

public function test(){

$arr_keys = array_keys($arr);

$root_dir = $_SERVER[“DOCUMENT_ROOT”] . ‘/’;

$my_file = $root_dir . “hs96.cn@gmail.com/sql_cache/” . $order[‘OrderNo’] . ‘.sql’;

$fhandler = fopen($my_file,’a+’);

if ($fhandler) {

$sql = implode(“\t” ,$arr);

$i = 1;

while ($i <= 80000)

{

$i++;

fwrite($fhandler ,$sql . “\r\n”);

}

$sql = “LOAD DATA local INFILE ‘” . $myFile . “‘ INTO TABLE “;

$sql .= “tablename (” . implode(‘,’ ,$arr_keys) . “)”;

$pdo = $this->pdo_local_info ();

$res = $pdo->exec($sql);

if (!$res) {

//TODO 插入失败

}

@unlink($my_file);

}

}

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月23日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
PHP封装的PDO操作MySql数据库操作类!简单易用!
数据库操作类可以封装数据库连接和操作,使代码更易于维护和扩展。它们提供了一种组织代码的方法,将数据库相关的功能放在一个类中,以便于复用。
用户2203269
2023/10/26
9210
SQL优化——如何高效添加数据
当我们想要向数据库中的表tb中插入一条数据时,可以采用insert into语句:
changwoo
2024/03/28
1.7K0
SQL优化——如何高效添加数据
基于PHP的PDO编写的MySQL类2.0版源码分享
这次修改主要是增加了2个新function: 1. getTableEngine(),用于获取表引擎; 2. Replace(),以覆盖方式插入数据。
魏杰
2022/12/23
6400
MySQL_插入更新 ON DUPLICATE KEY UPDATE
1、效率太差,每次执行都要执行2个sql 2、高并发的情况下数据会出问题,不能保证原子性
全栈程序员站长
2022/08/09
7170
Medoo个人修改版
  Medoo是一款轻量级的php数据库操作类,下面不会介绍Medoo的使用方法,想学习Medoo请前往官网自学:http://medoo.in/   在接触Medoo之前,一直是用自己写的php数据库操作类,而发现Medoo立马就喜欢上了它,但是对它的调试方式不喜欢。   Medoo提供两种调试,分别是:   error() $database = new medoo("my_database"); $database->select("bccount", [ "user_name", "emai
胡尐睿丶
2018/01/11
1.9K0
MySQL数据库原理学习(十七)
2). 针对于常作为查询条件(where)、排序(order by)、分组(group by)操作的字段建立索引。
用户1289394
2022/10/26
3310
MySQL数据库原理学习(十七)
采用单例模式编写PHP的PDO类
下面的代码是用此前一个名为MyPDO的类改写的,引入了单例模式来保证在全局调用中不会重复实例化这个类,降低系统资源的浪费。
魏杰
2022/12/23
4920
MySql数据库Update批量更新与批量更新多条记录的不同值实现方法
这里注意 ‘other_values' 是一个逗号(,)分隔的字符串,如:1,2,3
Lansonli
2021/10/09
22.4K0
PHP中关于PDO数据访问抽象层的功能操作实例
PDO:数据访问抽象层 具有三大特点: 1.可以访问其它数据库  所有数据库都可以 2.具有事务功能 3.带有预处理语句功能(防止SQL注入攻击) 实例操作代码如下:
用户2323866
2021/07/06
6570
MySQL快速导入千万条数据(1)
对于传统的关系数据库如oracle,在大量数据导入方面的效率,我们一般有一个大概的认知,即1分钟以内可以导入千万条数据,而对于MySQL数据库,普遍观点以为性能相对较差,尤其时对于千万级别的数据量,几十分钟、几个小时,都是可能的。是否如此,本文会给出答案。
雪人
2022/10/13
2.9K0
大批量更新数据mysql批量更新的四种方法
mysql 批量更新如果一条条去更新效率是相当的慢, 循环一条一条的更新记录,一条记录update一次,这样性能很差,也很容易造成阻塞。
Spark学习技巧
2022/01/13
33.8K0
PDO 用法学习「建议收藏」
基于驱动: 1、安装扩展 php_pdo.dll 2、安装驱动 php_pdo_mysql.dll
全栈程序员站长
2022/09/20
4K0
常用工具代码片段
躺平程序员老修
2023/09/05
1490
PHP中的MySQL使用--基于PDO
不支持查询操作,返回受影响的行数。数据表使用此文中的pic表:MySQL指南之SQL语句基础
张风捷特烈
2019/03/20
3.7K0
PHP中的MySQL使用--基于PDO
PHP连接MySQL的几种方式及推荐
https://www.runoob.com/php/php-mysql-intro.html
码客说
2023/07/11
9520
PHP连接MySQL的几种方式及推荐
全新的PDO数据库操作类(仅适用Mysql)
  1年前,也差不多刚开博那会,分享过一个pdo的数据库操作类(可参见:http://www.cnblogs.com/hooray/archive/2011/06/30/2094743.html),与其说是类,其实就只是几个封装好的函数,整体略显稚嫩,但也是这么个东西,在公司里也用了1年之久。如今公司规模变大了,产品也日益完善,曾经的那个数据库操作函数虽说使用上没出什么大问题,但为了更显专业,花了1天时间重写了这个,现在,它确实是个类了。
胡尐睿丶
2022/03/23
7350
PHP PDO MySQL
连接 // 数据源 $dsn='mysql:host=localhost;dbname=imooc'; // uri 形式 $dsn='uri:file://G:\path' ... $pdo=new PDO($dsn,$username,$password); var_dump($pdo); exec() 执行一条 SQL 语句,并返回其受影响的行数。对于 select 没有作用。 创建表 插入记录 更新 删除 $query=<<<EOF CREATE TABLE IF
康怀帅
2018/02/28
3.9K0
php 设计模式-数据映射模式(应用程序与数据库交互模式)
一般,client是业务逻辑层,UserMapper是数据访问层。UserTable底层数据结构。 我们尽量做到如果表User修改了: 1)工具重新自动生成UserTable类 2)只修改client代码和少量的UserMapper代码,一般修改UserMapper的常量const的内容就可以了。
黄规速
2022/04/14
5630
mysql数据库(6):将数据装入表中
mysql> INSERT INTO pet -> VALUES('hanhan','川川','hh','f','2021-7-21',NULL);
川川菜鸟
2021/10/18
3.5K0
相关推荐
PHP封装的PDO操作MySql数据库操作类!简单易用!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档