首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql数据库做归档

MySQL数据库做归档是指将数据从活动的主数据库中迁移到归档数据库中以进行长期存储和保留的过程。这种做法可以减轻主数据库的负载,并提供了更大的存储容量。

分类: 归档数据库可以分为物理归档和逻辑归档两种类型。

  1. 物理归档:将整个数据库的备份文件迁移到归档数据库中。这种方法比较简单,但在恢复数据时可能需要较长的时间。
  2. 逻辑归档:将数据按表、分区或其他逻辑方式进行归档。这种方法可以选择性地归档数据,从而更有效地管理存储空间。

优势:

  • 减轻主数据库负载:归档可以将主数据库中的历史数据迁移到归档数据库中,减轻主数据库的负载,提高性能和响应速度。
  • 长期存储和保留:归档数据库提供了额外的存储容量,可以长期保留历史数据,以满足合规性和法规要求。
  • 数据分析和报告:归档数据库可以用于数据分析、生成报告和历史趋势分析,为业务决策提供支持。
  • 备份和恢复:归档数据库可以作为主数据库的备份,提供数据恢复的功能。

应用场景:

  • 金融行业:归档数据库可以用于长期存储交易数据、客户信息和资金流水记录,以满足监管和审计要求。
  • 医疗行业:归档数据库可用于保存病历、诊断结果、医疗图像和实验数据,以支持临床研究和数据分析。
  • 零售行业:归档数据库可用于存储销售数据、库存信息和客户订单,以供后续分析和业务报告使用。

推荐的腾讯云相关产品: 腾讯云提供了多个与MySQL归档相关的产品和服务,以下是其中一些产品的介绍链接:

  1. 云数据库TDSQL:提供稳定可靠的MySQL数据库服务,支持自动备份和灾备恢复,适合作为主数据库和归档数据库的组合使用。
  2. 云存储COS:提供高可靠、低延迟的对象存储服务,适合存储归档数据库的备份文件和归档数据。
  3. 数据万象:提供强大的图片和视频处理能力,适合归档数据库中多媒体数据的处理和转换。
  4. 人工智能平台:提供丰富的人工智能算法和模型,可与归档数据库中的数据进行深度学习和数据挖掘。
  5. 物联网平台:提供全面的物联网解决方案,可以与归档数据库集成,实现设备数据的采集、存储和分析。

以上产品和服务链接仅作为参考,具体的选择和配置应根据实际需求进行决策。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

MYSQL 数据库归档归档设计

我见到过的,听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理,直接将表换名字,然后在重建一个新的表,承接数据。...4 自己设计数据归档 自己设计数据归档的面就广了,有使用程序来的,例如JAVA ,Python等等,也有使用存储过程来进行的。...下面就是一个MYSQL 针对一个数据库归档的案例(这个案例也是有缺陷的,但目前是秉承着够用就好,以及时间成本的原则) 首先设计一个归档要考虑的问题如下 1 归档表的大小,以及每日最大,或最小的归档数据量...以下以最简单的自动化的方案来讲 下图是基于案例来讲的 因为数据库MYSQL 所以考虑了归档一次是多大的批量,避免归档数据量过大的时候将生产库hang 死,另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...3 为什么要用MYSQL 存储过程来,使用python不是更灵活 其实一言难尽,都和需求有关,所以很多设计出来的东西,外人一看一堆毛病,如果你进入到他的内部,一段时间估计你就懂得为什么会设计出这样或那样的东西

5K41
  • MySQL审计数据归档演示

    作者:Mike Frank 译:徐轶韬 在此博客中,我将演示如何在许多mysql实例之间将审计日志进行合并归档。...将这些行从已审计的数据库插入到审计数据归档MySQL数据库中。如您所见,mysqlx API将使事情变得更加简单。 一些事实。...由于安全性、分析等多种原因,最佳做法是经常从MySQL服务器上获取审计数据,并将其收集到一些中央数据存储中,您可以在其中查看所有MySQL服务器上的活动。为什么会这样?...首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。...步骤1 –审计归档数据库设置。

    88240

    连仕彤博客Mysql数据库归档利器之pt-archiver

    前言 数据库管理员或者运维人员经常需定期对数据进行归档和清除,我们可以使用percona的pt-archiver工具能完成这一功能,使得数据归档变得方便简单。...归档之前准备 pt-archiver归档前,需要先建立归档表(备份表)且表结构要一样。 pt-archiver操作的表必须有主键。...1.查询表、数据信息 MySQL [pttest1]> show table status like 'demo_table'\G; *************************** 1. row...general_ci        Checksum: NULL Create_options:         Comment: 1 row in set (0.03 sec) 2.查看表DDL(表结构) MySQL...归档常用方法 归档(复制)数据到归档表,且不删除源表的数据(指定字符集),删除源数据的话把--no-delete选项换成--purge就可以了。

    2.4K60

    MySQL8.0 redo log归档功能

    我们知道,在MySQL中,redo log是一个文件组,一般是3个文件,循环写入,写满的时候会做redo log层面的checkpoint,然后覆盖之前的redo log;而binlog是有归档功能的...MySQL8.0.17中引入了redo log的归档功能,如果我们开启归档功能,redo log会持续不断的生成,而不会覆盖掉之前的redo log。这个功能主要在哪种场景下应用呢?...试想这样一种情况,在对一个高并发的数据库进行备份的时候,备份速度很慢而redo log生成的速度很快,备份的速度跟不上redo log的生成速度,导致redo log被覆盖了,此时备份的一致性就无法得到保证了...有了redo log的归档功能,就可以在备份启动的时候同步启动redo log 归档,而在备份结束的时候同步停止redo log归档,这样就可以避免这个备份的问题了。...这个用户,并修改用户属性为700 sudo chown -R mysql.mysql /tmp/20200713 mysql >>system chmod 700 /tmp/20200713 mysql

    1.2K52

    MySQL数据归档小工具推荐及优化--mysql_archiver

    一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过pt-archiver工具进行归档。...pt-archiver是Percona-Toolkit工具集中的一个组件,是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。...MySQL_archiver基本上实现了数据归档的自动运转,统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力,提高了运维效率。"...--databases,-d 指定连接的数据库 --source 指定需要进行归档操作的表,该选项是必须指定的选项,使用DSN方式表示。...--file 指定表数据需要归档到的文件。使用类似MySQL DATE_FORMAT()格式化命名方式。

    2.5K00

    mysql中的数据库对用户权限限制

    mysql中限定用户对数据库的权限 默认的MySQL安装之后根用户是没有密码的 先用根用户进入: # mysql -u root 执行: mysql> GRANT ALL...PRIVILEGES ON *.* TO root@localhost IDENTIFIED BY “123456”; 用的是123456做为root用户的密码,我这里是做个例子,要是用123456密码...那还不象不设置密码了:) 建立一个用户对特定的数据库有所有权限 mysql>CREATE DATABASE test; 建立test库 mysql>GRANT...ALL PRIVILEGES ON test.* TO username@localhost IDENTIFIED BY “654321”; 这样就建立了一个username的用户,它对数据库test...以后就用username来对test数据库进行管理,而无需要再用root用户了,而该用户的权限也只被限定在test数据库中。

    4K20

    Oracle数据库恢复:归档日志损坏案例一则

    链接:http://www.eygle.com/archives/2010/11/recover_archivelog_corruption.html 最近在紧急故障处理时,帮助用户恢复数据库遇到了一则罕见的归档日志损坏案例...在进行归档recover时,数据库报错,提示归档日志损坏: *** Corrupt block seq: 37288 blocknum=1....如果这个归档日志损坏了,其实我们仍然有办法跳过去,继续尝试恢复其他日志,但是客户数据重要,不能容忍不一致性,这时候就只能放弃部分数据,由前台重新提交数据了。这在业务上可以实现,也就不是大问题了。...在这个归档日志文件中,被写入了大量的跟踪文件内容,其中开头部分就是一个跟踪文件的全部信息。...这是一种我从来没有遇到过的现象,也就是说,当操作系统在写出跟踪文件时,错误的覆盖掉了已经存在的归档文件,最后导致归档日志损坏,非常奇妙,从所未见。

    1K20

    数据库PostrageSQL-连续归档和时间点恢复(PITR)

    为了向数据库管理员提供灵活性,PostgreSQL不对如何归档任何假设。取而代之的是,PostgreSQL让管理员声明一个shell命令来拷贝一个完整的段文件到它需要去的地方。...为了便于你这些,基础备份过程会创建一个备份历史文件,它将被立刻存储到WAL归档区域。该文件以文件系统备份中你需要的第一个WAL段文件命名。...当你这些 时,不需要也不值得停止正常的数据库操作。在这类备份期间要考虑的事情 请见小节Section 25.3.3.3。...你没法这样,在你的数据库在线运行期间,它重写了某些WAL段文件,而这些文件本来可以将你引向你希望回到的时间。...依靠你的系统硬件和软件,页断裂的风险可能会小到可以忽略,在此种情况下你可以通过使用full_page_writes参数关闭页快照来显著降低归档日志的总容量(在这样之前阅读Chapter 30中的注解和警告

    98010

    Oracle数据库设置为归档模式的操作方法

    Oracle归档模式非常非常重要! 对于有些数据库刚装好后可能是非归档模式,这是很危险的!...为了安全起见,一定要谨记:对于Oracle数据库,一定要设置为归档模式,尤其是生产库,只有这样才能实现数据库的有效完全恢复!...下面介绍下将Oracle数据库设置为归档模式的操作方法: 1)以sysdba身份连接数据库 [root@kevin ~]# su - oracle 以DBA的身份登录数据库(oracle用户下执行) [...4)修改数据库归档模式 ? 数据库归档模式设置已经完成,查询其归档模式除了ARCHIVE  LOG  LIST方法外,也可以通过v$database来查询,LOG_MODE为ARCHIVELOG。...5)打开数据库 SQL> alter database open; Database altered. 至此,Oracle数据库已经设置为归档模式了!

    1.1K70

    一次生产环境mysql迁移操作(一)数据归档

    背景 在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作,现在描述下几种方案 mysqldump 该命令可以指定导出数据库,该命令可能用时很久 cp 直接拷贝mysql数据文件,这里会影响业务需要下线...4、移除mysql原有数据,并挂载 mv /var/lib/mysql /var/lib/mysql_bak mount /dev/vgssd/mysql /var/lib/mysql 5、 拷贝线上数据到本地...cp -af remotepath /var/lib/mysql chown mysql:mysql /var/lib/mysql 执行完上面步骤后,再开始进行归档操作 归档步骤 1、停止mysql...-p /mnt/mysql_temp mount -o ro,nouuid /dev/vgssd/mysql_backup /mnt/mysql_temp ls /mnt/mysql_temp 6、.../mnt/mysql_temp lvremove /dev/vgssd/mysql_backup 定时归档 暂定为30天,这样才能备份所有数据。

    1.8K10

    高版本mysql审计

    需求mysql 8.0.33 环境需要审计:审计内容:要求记录DBA账号的所有操作, 业务账号的DDL操作(dml太多了.)...Percona Audit Log Plugin 不兼容mysql社区版当然还有mysql企业版的审计, 但没钱....那就只能自己写脚本了呗, 可以参考我之前写的审计脚本 https://...(pyinstaller -F auditmysql_by_ddcw.py), 这里旧直接使用二进制文件了模拟连接不支持SSL.我这里演示的是mysql-router的....因为mysql-router没得审计功能. 但又想要审计功能.随便执行点SQL随便跑点SQL后, 查看审计日志内容. 我这里旧只测试下dba账号的. 执行的sql都记录下来了....跑不了了(不是)配置文件说明FILENAME 审计日志的文件名INTERFACE_NAME 网卡名字, 就是应用的流量到mysql的时候经过的网卡INTERFACE_PORT 目标端口, 如果是mysql

    41510

    Oracle数据库重做日志及归档日志的工作原理说明

    Oracle数据库重做日志及归档日志的工作原理: lgwr进程将redo log buffer中的重做数据写入到redo log中,此时的redo log分组,每当一个redo log group写满时...然而arc进程是将重做日志文件写入到归档文件,是磁盘读磁盘写。...显然lgwr进程的读写效率或者读写速度比arc进程要快,而频繁发生DML操作的数据库中,可能会发生归档慢,而重做日志写入速度快的情况,这就会导致数据库被HANG住,此时数据库什么也不做就是等待arc进程将当前重做日志数据写入到归档文件...这时候就要考虑启动更多的归档进程了,通过修改参数log_archive_max_processes来实现。该参数是动态参数,直接修改即可。...1)查看当前该参数值(命令结果中的VALUE显示的是:当前最大归档进程数) 2)修改归档最大进程数为5 3)通过命令验证一下 ?

    1.9K90
    领券