首页
学习
活动
专区
圈层
工具
发布

使用shell脚本批量插入数据到MySQL中

经常会踫到这样的场景需求:批量向MySQL数据库插入数据,显然手工INSERT成千上万条数据是不现实的,所以自己写了这个shell脚本来处理。...1 具体需求 shell脚本批量插入10万条数据到MySQL中,其中对应表唯一索引是用户uid。因此在程序循环1万次数时,每次都使uid自增1就行了。.../bin/bash # FileName: batchinsertmysqlshell1.sh # Description: 使用shell脚本批量插入数据到MySQL中 # Simple.../batchinsertmysqlshell1.sh # mysql db name. db_name="gamedata" # mysql table name. table_name="test_user_skin...endTime} ====" 3 脚本管理 目前已经把这个脚本放在Github了,地址是https://github.com/vfhky/shell-tools,以后脚本的更新或者更多好用的脚本也都会加入到这个工程中

1.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    将文件导入到数据库中_将csv文件导入mysql数据库

    如何将 .sql 数据文件导入到SQL sever中? 我一开始是准备还原数据库的,结果出现了如下问题。因为它并不是备份文件,所以我们无法进行还原。...1、用户DSN会把相应的配置信息保存在Windows的注册表中,但是只允许创建该DSN的登录用户使用。...2、系统DSN同样将有关的配置信息保存在系统注册表中,但是与用户DSN不同的是系统DSN允许所有登录服务器的用户使用。...3、与上述两种数据库DSN不同,文件DSN把具体的配置信息保存在硬盘上的某个具体文件中。文件DSN允许所有登录服务器的用户使用,而且即使在没有任何用户登录的情况下,也可以提供对数据库DSN的访问支持。...此外,因为文件DSN被保存在硬盘文件里,所以可以方便地复制到其它机器中。这样,用户可以不对系统注册表进行任何改动就可直接使用在其它机器上创建的DSN。

    19.1K10

    mysql 中json函数的使用

    mysql中json函数: 方法 函数 描述 补充 创建json json_array 创建json数组 json_object 创建json对象 json_quote 将json转成json字符串类型...->path json_extract的简洁写法,MySQL 5.7.9开始支持 json_keys 提取json中的键值为json数组 json_search 按给定字符串关键字搜索json,返回匹配的路径...修改json json_append 废弃 MySQL 5.7.9开始改名为json_array_append json_array_append 末尾添加数组元素,如果原有值是数值或json对...象,则转成数组后,再添加元素 json_array_insert 插入数组元素 json_insert 插入值(插入新值,但不替换已经存在的旧值) json_merge 合并json数组或对象...去除json字符串的引号,将值转成string类型 返回json属性 json_depth 返回json文档的最大深度 json_length 返回json文档的长度 json_type 返回

    4K10

    问与答119:如何使用文件浏览按钮插入文件路径到单元格中?

    Q:如果我想在包含文件路径的单元格右侧添加一个文件浏览按钮,以便直接将所选的文件路径输入到该单元格,而无需手动复制粘贴文件路径,该如何实现?...图2 此时,在单元格C3中将输入新的文件路径和文件名,如下图3所示。 ? 图3 A:下面是实现方法。 首先,对包含文件路径和文件名的单元格定义名称。这虽然不是必需的,但能够减小出错风险。...因为如果编写的代码中直接引用单元格C3,在插入新行或新列后,代码没有改变但可能会引用错误的单元格。 我们将包含文件路径和文件名的单元格,本例中是单元格C3,命名为“filePath”。...Excel\我的文章\示例文件夹" '清除对话框筛选器 dialogBox.Filters.Clear '应用文件筛选 - 使用 ; 对相同名称分隔筛选器 dialogBox.Filters.Add...单击功能区“插入”选项卡“插图”组中的“图标”按钮,在弹出的“插入图标”对话框中搜索“文件夹”,然后选择文件夹图标,如下图4所示。 ? 图4 文件夹图标插入到工作表中后,调整其位置、大小和颜色。

    2.5K30

    Python:将一个 csv 文件转为 json 文件存储到磁盘

    编程完成以下功能: 1.读取a.csv文件的数据内容 2.最后增加一列,名称为‘排名’ 3.根据总分得到正确的排名并打印输出 4.将包含排名列的所有数据保存为a.json文件 5.提交代码和运行截图。...# f1 负责读入文件, f2 负责写入文件 + 代表同时具备读写功能 f1 = open('..../a.json', 'w+', encoding='utf-8') # 使用列表推导式, 获取二维结构 table = [i.strip('\n').split(',') for i in f1.readlines..., dump 直接写入文件, dumps 返回 json 数据 json.dump(toJson, f2, ensure_ascii=False, indent=4) # 释放资源 f1.close(...我也不是一次编写完成的,是在不断的试错中一步一步的解决这个问题的,令我印象最深刻的就是这个sort函数的用法,需要传入一个回调函数,这里是以列表元素的最后一个值作为key,我之前在做的时候忘记了题目中已经给了总分,还使用了

    3.1K20

    如何使用Hutool插入图片到Excel中?

    但是,在Excel中插入图片并不是一件很容易的事情,需要借助于一些工具来实现。本文将介绍如何使用Hutool插入图片到Excel中,并给出详细的代码示例。...使用Hutool插入图片到Excel的方法Hutool提供了非常方便的API,可以帮助我们将图片插入到Excel中。具体步骤如下:1. 创建Excel对象首先,我们需要创建一个Excel对象。...插入图片在前面的步骤中,我们已经将Employee对象的数据写入到Excel中。现在,我们需要将照片插入到Excel中。具体步骤如下:获取Employee对象的照片URL地址。...tempFileName); // 下载照片到临时文件 HttpUtil.downloadFile(photoUrl, tempFile);将临时文件中的图片插入到Excel中。...(tempFileName);总结在这篇文章中,我们介绍了如何使用Hutool插入图片到Excel中。

    3.6K30

    mysql创建临时表,将查询结果插入已有表中

    我记得学数据库理论课老师说可以创建临时表,不知道mysql有没有这样的功能呢?临时表在内存之中,读取速度应该比视图快一些。然后还需要将查询的结果存储到临时表中。...下面是创建临时表以及插入数据的例子,以供大家参考。...A、临时表再断开于mysql的连接后系统会自动删除临时表中的数据,但是这只限于用下面语句建立的表: 1)定义字段   CREATE TEMPORARY TABLE tmp_table (      ...2)直接将查询结果导入临时表   CREATE TEMPORARY TABLE tmp_table SELECT * FROM table_name B、另外mysql也允许你在内存中直接创建临时表,...1、可以使用A中第二个方法 2、使用insert into temtable (select a,b,c,d from tablea)”;

    12.3K50

    如何将 Matplotlib 可视化 插入到 Excel 表格中?

    大家好,我是小五 在生活中工作中,我们经常使用Excel用于储存数据,Tableau等BI程序处理数据并进行可视化。...我们也经常使用R、Python编程进行高质量的数据可视化,生成制作了不少精美优雅的图表。 但是如何将这些“优雅”延续要Excel中呢?...今天就为大家演示一下,如何将Matplotlib绘制的可视化图片,插入到Excel中。...在本文中,我们会使用xlwings模块来控制Excel插入图表。 首先,使用Pandas模块读取数据,并随机预览5行。...这样,我们就实现了将Matplotlib绘制的可视化图片插入到Excel中。 如果你对今天的分享感兴趣,想获得本文的代码+数据 动手试一试。

    4.9K20

    【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中

    放弃不难,但坚持很酷~ 最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现。...符合过滤条件的数据,增加常量,并将其导入到 mongoDB 中。 不符合过滤条件的数据,增加常量,将其导入到 Excel 表中记录。...2、表输入 设置 mysql 数据库 jdbc 连接后,填好 SQL 语句之后,在下方的“从步骤插入数据”下拉列表中,选中“MongoDB input”。...3、字段选择 如果查询出来的列名需要更改,则可以使用“字段选择”组件,该组件还可以移除某字段,本次应用中,主要使用该组件将字段名进行修改。如下图所示: ?...可以在 linux 上写一个定时任务去执行这个转换,每次转换 mysql 都会将大于 mongoDB 集合中 business_time 字段最大值的数据增量导入到 MongoDB 中。

    6.8K30

    Mysql实现获取自增id插入到其他表中

    现在有这样一个需求,就是我向A表中插入一条数据,id是自增的。...插入之后,还需要向B表中插入一条数据,但是B表中需要保存的数据中要使用刚刚A表自增后的id, 这个其实是一个比较常见的需求,就是两张表之间的一个关联,如果用程序来执行也是很容易实现。...比如我就在用sql执行之后,获取A的id插入到B表中 实现方式如下: insert into A (id,name,code) values (null, "zhagnsan", "zs"); // 注意...A表的id要设置为自增,给null值即可 set @id = @@IDENTITY; // 使用id变量保存刚刚自增生成的id insert into B (id,a_id,name) values...(null, @id, "lisi"); // 使用变量获取A表Id 上面是用自定义变量的形式进行保存的,如果你只是想查一下是多少,可以直接使用: select @@IDENTITY; 好了,如果对你有帮助

    5.3K30

    mysql实现获取自增id插入到其他表中

    现在有这样一个需求,就是我向A表中插入一条数据,id是自增的。...插入之后,还需要向B表中插入一条数据,但是B表中需要保存的数据中要使用刚刚A表自增后的id, 这个其实是一个比较常见的需求,就是两张表之间的一个关联,如果用程序来执行也是很容易实现。...比如我就在用sql执行之后,获取A的id插入到B表中 实现方式如下: insert into A (id,name,code) values (null, "zhagnsan", "zs"); // 注意...A表的id要设置为自增,给null值即可 set @id = @@IDENTITY; // 使用id变量保存刚刚自增生成的id insert into B (id,a_id,name) values...(null, @id, "lisi"); // 使用变量获取A表Id 上面是用自定义变量的形式进行保存的,如果你只是想查一下是多少,可以直接使用: select @@IDENTITY; 好了,如果对你有帮助

    4.7K20

    将文件夹中的文件信息统计写入到csv中

    今天在整理一些资料,将图片的名字信息保存到表格中,由于数据有些多所以就写了一个小程序用来自动将相应的文件夹下的文件名字信息全部写入到csv文件中,一秒钟搞定文件信息的保存,省时省力!...下面是源代码,和大家一起共享探讨: import os import csv #要读取的文件的根目录 root_path=r'C:\Users\zjk\Desktop\XXX' # 获取当前目录下的所有目录信息并放到列表中...for dir in dirs: path_lists.append(os.path.join(root_path, dir)) return path_lists #将所有目录下的文件信息放到列表中...def get_Write_file_infos(path_lists): # 文件信息列表 file_infos_list=[] for path in path_lists..."]=filename1 #追加字典到列表中 file_infos_list.append(file_infos) return

    12.7K20
    领券