首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MYSQL 数据库归档归档设计

我见到过的,听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理,直接将表换名字,然后在重建一个新的表,承接数据。...2 数据通过MYSQL dump 或者其他的备份方式,将数据备份出来,在将数据恢复到数据归档库中,然后将备份的数据直接手动清理掉,这样的做法速度也很快,对业务的影响也比较小,基本上可以算是透明的方式了...下面就是一个MYSQL 针对一个数据库归档的案例(这个案例也是有缺陷的,但目前是秉承着够用就好,以及时间成本的原则) 首先设计一个归档要考虑的问题如下 1 归档表的大小,以及每日最大,或最小的归档数据量...以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库MYSQL 所以考虑了归档一次是多大的批量,避免归档数据量过大的时候将生产库hang 死,另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...这样归档有没有缺点,当然有,缺点马上就可以说出几个 1 为什么还要在本地机归档数据,不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制(每次限制操作的行数),这对MYSQL不是很用吗,为什么要写死

5K41

知行EDI平台文件归档功能

在帮助大家运维EDI平台的这几年中,常常有些客户反馈: “为什么之前发送的数据在知行EDI平台的页面上都没有了呢?” “我想查询下之前的数据是否有成功发送给我们的客户应该如何确认呢?”...同时,每个端口可以在高级设置页面设置是否对消息副本和Sent文件夹下的文件进行保留,如下图是AS2端口的设置页面: 知行之桥每个端口处理数据时,会将处理记录存入自带的数据库(默认Java版本使用的是...Derby数据库,Windows版本是SQLite数据库),同时会显示在UI页面上,通过Web页面访问便可以查看数据的处理过程,但是当数据量达到一定程度后,比如百万条、千万条甚至更多时,通过Web页面登录知行之桥...针对上述情况,知行之桥提供了文件归档功能,通过在个人设置→高级设置→清理选项中设置: 类型:勾选“归档日志”,启动归档功能。默认是归档日志。 周期(天):归档周期,即每次归档指定天数前的数据。...如果未设置归档文件夹,默认将文件归档在每个端口下的Archive文件夹中;如果设置了归档文件夹,将在设置的目录下按照“端口名称/Archive”自动创建归档文件夹。

50320
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    连仕彤博客Mysql数据库归档利器之pt-archiver

    前言 数据库管理员或者运维人员经常需定期对数据进行归档和清除,我们可以使用percona的pt-archiver工具能完成这一功能,使得数据归档变得方便简单。...归档之前准备 pt-archiver归档前,需要先建立归档表(备份表)且表结构要一样。 pt-archiver操作的表必须有主键。...1.查询表、数据信息 MySQL [pttest1]> show table status like 'demo_table'\G; *************************** 1. row...general_ci        Checksum: NULL Create_options:         Comment: 1 row in set (0.03 sec) 2.查看表DDL(表结构) MySQL...归档常用方法 归档(复制)数据到归档表,且不删除源表的数据(指定字符集),删除源数据的话把--no-delete选项换成--purge就可以了。

    2.4K60

    MySQL8.0 redo log归档功能

    我们知道,在MySQL中,redo log是一个文件组,一般是3个文件,循环写入,写满的时候会做redo log层面的checkpoint,然后覆盖之前的redo log;而binlog是有归档功能的...MySQL8.0.17中引入了redo log的归档功能,如果我们开启归档功能,redo log会持续不断的生成,而不会覆盖掉之前的redo log。这个功能主要在哪种场景下应用呢?...试想这样一种情况,在对一个高并发的数据库进行备份的时候,备份速度很慢而redo log生成的速度很快,备份的速度跟不上redo log的生成速度,导致redo log被覆盖了,此时备份的一致性就无法得到保证了...有了redo log的归档功能,就可以在备份启动的时候同步启动redo log 归档,而在备份结束的时候同步停止redo log归档,这样就可以避免这个备份的问题了。...这个用户,并修改用户属性为700 sudo chown -R mysql.mysql /tmp/20200713 mysql >>system chmod 700 /tmp/20200713 mysql

    1.2K52

    蓝鲸平台MySQL数据库管理规范建议

    蓝鲸平台MySQL数据库管理规范建议.jpg MySQL作为蓝鲸平台存取数据的主要数据库,其稳定性关系到蓝鲸平台的使用体验,而其数据安全性则可能关系到企业IT资产相关信息,在安装和维护蓝鲸平台的过程中应引起足够重视...蓝鲸平台MySQL数据库会在安装平台时自动安装,其版本为5.5.24,架构为主从复制(5台服务器情况下),下文分别对提到的几个问题进行描述。...MySQL升级 1.问题分析 蓝鲸平台默认安装的MySQL版本为5.5.24,一般不符合安全扫描的版本要求,为了避免在使用过程中由于安全问题需要重新升级数据库,建议在完成平台安装后及时进行数据库升级,此时数据库还没存入业务数据.../bkcec start mysql [root@paas-1 install]# ps -ef |grep mysql 检查蓝鲸平台,查看数据库调用是否正常。到此,整个升级过程完成。...问题分析 数据库最重要的就是数据,数据的安全高于一切,而完善的备份是数据安全的最后一道防线,蓝鲸平台是一个企业级的平台,其存储的数据也是至关重要的,所以备份策略必须合理制定。

    2.6K20

    MySQL 8.0 数据库审计日志平台部署

    数据库审计平台(简称DB Audit),实时记录用户操作数据库的行为,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。...使管理人员对用户的行为一目了然,真正做到数据库操作行为可监控,违规操作可追溯。本文以第二种方案介绍,借助LogAnalyzer打造轻量级数据库审计日志平台。...使用ommysql模块,将所期望的日志信息记录于MySQL数据库中。...的模块3) 配置RULES,将所期望的日志信息记录于专用存放syslog审计日志的MySQL数据库服务器。...syslog审计日志的MySQL数据库服务器1)在专用存放syslog审计日志的MySQL数据库准备syslog的用户账号mysql> CREATE USER 'rsyslog'@'%' IDENTIFIED

    1.1K80

    MySQL数据归档小工具推荐及优化--mysql_archiver

    一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过pt-archiver工具进行归档。...pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。...MySQL_archiver基本上实现了数据归档的自动运转,统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力,提高了运维效率。"...--databases,-d 指定连接的数据库 --source 指定需要进行归档操作的表,该选项是必须指定的选项,使用DSN方式表示。...--file 指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。

    2.5K00

    sql server 与mysql平台数据库操作

    由于公司的短信数据库mysql 5.1(linux)上,所以要把sql server表中的数据插入到mysql表中。...@subject = @subject;--标题 功能2详细 (1)分布式事务问题处理      要实现短信功能,需要把数据insert到mysql数据库表中。...由于mysql部署在linux系统的机器上,sql server是在windows平台上,由于操作系统不同无法采用windows平台上的MSDTC服务,所以为避免产生分布式事务,通过 loopback...Sql代码 --loopback调用有insert操作的存储过程 exec loopback.有insert操作的存储过程   (2)无法向mysql插入中文字符      本次mysql数据库版本为...mysql数据库是UTF-8的编码,理论上是可以支持中文字符的,但是插入中文字符为空。

    2.7K40

    Oracle数据库恢复:归档日志损坏案例一则

    链接:http://www.eygle.com/archives/2010/11/recover_archivelog_corruption.html 最近在紧急故障处理时,帮助用户恢复数据库遇到了一则罕见的归档日志损坏案例...在进行归档recover时,数据库报错,提示归档日志损坏: *** Corrupt block seq: 37288 blocknum=1....如果这个归档日志损坏了,其实我们仍然有办法跳过去,继续尝试恢复其他日志,但是客户数据重要,不能容忍不一致性,这时候就只能放弃部分数据,由前台重新提交数据了。这在业务上可以实现,也就不是大问题了。...在这个归档日志文件中,被写入了大量的跟踪文件内容,其中开头部分就是一个跟踪文件的全部信息。...这是一种我从来没有遇到过的现象,也就是说,当操作系统在写出跟踪文件时,错误的覆盖掉了已经存在的归档文件,最后导致归档日志损坏,非常奇妙,从所未见。

    1K20

    Oracle数据库设置为归档模式的操作方法

    Oracle归档模式非常非常重要! 对于有些数据库刚装好后可能是非归档模式,这是很危险的!...为了安全起见,一定要谨记:对于Oracle数据库,一定要设置为归档模式,尤其是生产库,只有这样才能实现数据库的有效完全恢复!...下面介绍下将Oracle数据库设置为归档模式的操作方法: 1)以sysdba身份连接数据库 [root@kevin ~]# su - oracle 以DBA的身份登录数据库(oracle用户下执行) [...4)修改数据库归档模式 ? 数据库归档模式设置已经完成,查询其归档模式除了ARCHIVE  LOG  LIST方法外,也可以通过v$database来查询,LOG_MODE为ARCHIVELOG。...5)打开数据库 SQL> alter database open; Database altered. 至此,Oracle数据库已经设置为归档模式了!

    1.1K70

    数据库PostrageSQL-连续归档和时间点恢复(PITR)

    要使用连续归档(也被很多数据库厂商称为“在线备份”)成功地恢复,你需要一个从基础备份时间开始的连续的归档WAL文件序列。为了开始,在你建立第一个基础备份之前,你应该建立并测试用于归档WAL文件的过程。...为了向数据库管理员提供灵活性,PostgreSQL不对如何归档做任何假设。取而代之的是,PostgreSQL让管理员声明一个shell命令来拷贝一个完整的段文件到它需要去的地方。...因为被归档的一系列WAL文件实际上包含你的数据库里的所有东西,所以你应该确保自己的归档数据不会被别人窥探; 比如,归档到一个没有组或者全局读权限的目录里。...在某些Unix平台上,cp具有诸如-i的开关,可用来更简洁地完成这一切,但是在没有验证返回的退出状态正确之前你不能依赖它们(特别地,GNU的cp在使用-i时将对已存在的目标文件返回状态零,这并不是我们所期望的行为...不会有未提交事务被丢失,但是数据库将会保持离线直到你释放一部分空间)。 归档命令的速度并不要紧,只要它能跟上你的服务器生成 WAL 数据的平均速度即可。即使归档进程稍微落后,正常的操作也会继续进行。

    98010

    一次生产环境mysql迁移操作(一)数据归档

    背景 在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案 mysqldump 该命令可以指定导出数据库,该命令可能用时很久 cp 直接拷贝mysql数据文件,这里会影响业务需要下线...4、移除mysql原有数据,并挂载 mv /var/lib/mysql /var/lib/mysql_bak mount /dev/vgssd/mysql /var/lib/mysql 5、 拷贝线上数据到本地...cp -af remotepath /var/lib/mysql chown mysql:mysql /var/lib/mysql 执行完上面步骤后,再开始进行归档操作 归档步骤 1、停止mysql...-p /mnt/mysql_temp mount -o ro,nouuid /dev/vgssd/mysql_backup /mnt/mysql_temp ls /mnt/mysql_temp 6、.../mnt/mysql_temp lvremove /dev/vgssd/mysql_backup 定时归档 暂定为30天,这样才能备份所有数据。

    1.8K10
    领券