前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MHA 清理relay log(purge_relay_logs)

MHA 清理relay log(purge_relay_logs)

作者头像
Leshami
发布于 2018-08-08 09:58:30
发布于 2018-08-08 09:58:30
1.9K0
举报
文章被收录于专栏:乐沙弥的世界乐沙弥的世界

    MySQL数据库主从复制在缺省情况下从库的relay logs会在SQL线程执行完毕后被自动删除,但是对于MHA场景下,对于某些滞后从库的恢复依赖于其他从库的relay log,因此采取禁用自动删除功能以及定期清理的办法。对于清理过多过大的relay log需要注意引起的复制延迟资源开销等。MHA可通过purge_relay_logs脚本及配合cronjob来完成此项任务,具体描述如下。

1、purge_relay_logs的功能   a、为relay日志创建硬链接(最小化批量删除大文件导致的性能问题)   b、SET GLOBAL relay_log_purge=1; FLUSH LOGS; SET GLOBAL relay_log_purge=0;   c、删除relay log(rm –f  /path/to/archive_dir/*)

2、purge_relay_logs的用法及相关参数 用法 # purge_relay_logs --help Usage:     purge_relay_logs --user=root --password=rootpass --host=127.0.0.1

参数描述 --user mysql              用户名,缺省为root --password mysql          密码 --port                    端口号 --host                    主机名,缺省为127.0.0.1 --workdir                 指定创建relay log的硬链接的位置,默认是/var/tmp,成功执行脚本后,硬链接的中继日志文件被删除                           由于系统不同分区创建硬链接文件会失败,故需要执行硬链接具体位置,建议指定为relay log相同的分区 --disable_relay_log_purge 默认情况下,参数relay_log_purge=1,脚本不做任何处理,自动退出                           设定该参数,脚本会将relay_log_purge设置为0,当清理relay log之后,最后将参数设置为OFF(0)

3、定制清理relay log cronjob pureg_relay_logs脚本在不阻塞SQL线程的情况下自动清理relay log。对于不断产生的relay log直接将该脚本部署到crontab以实现按天或按小时定期清理。 $ crontab -l  # purge relay logs at 5am  0 5 * * * /usr/bin/purge_relay_logs --user=root --password=PASSWORD --disable_relay_log_purge >> /var/log/masterha/purge_relay_logs.log 2>&1            更正,移除多余字符app @20150515

4、手动清理示例 # purge_relay_logs --user=mha --password=mha --disable_relay_log_purge 2015-04-23 14:33:20: purge_relay_logs script started.  relay_log_purge is enabled. Disabling..  Found relay_log.info: /data/mysqldata/relay-log.info  Opening /data/mysqldata/vdbsrv3-relay-bin.000001 ..  Opening /data/mysqldata/vdbsrv3-relay-bin.000002 ..  Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log files (if it keeps up);  SET GLOBAL relay_log_purge=0; .. ok. 2015-04-23 14:33:23: All relay log purging operations succeeded.

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2015年05月13日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
2 条评论
热度
最新
UriPathname = 到文本 ('Key(对象键)') 请问这个是什么意思啊
UriPathname = 到文本 ('Key(对象键)') 请问这个是什么意思啊
回复回复点赞举报
...
...
回复回复点赞举报
推荐阅读
袋鼠云:基于Flink构建实时计算平台的总体架构和关键技术点
数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star!
袋鼠云数栈
2021/07/16
1.9K0
袋鼠云:基于Flink构建实时计算平台的总体架构和关键技术点
伴鱼实时计算平台 Palink 的设计与实现
在伴鱼发展早期,出现了一系列实时性相关的需求,比如算法工程师期望可以拿到用户的实时特征数据做实时推荐,产品经理希望数据方可以提供实时指标看板做实时运营分析。这个阶段中台数据开发工程师主要是基于「Spark」实时计算引擎开发作业来满足业务方提出的需求。然而,这类作业并没有统一的平台进行管理,任务的开发形式、提交方式、可用性保障等也完全因人而异。 伴随着业务的加速发展,越来越多的实时场景涌现出来,对实时作业的开发效率和质量保障提出了更高的要求。为此,我们从去年开始着手打造伴鱼公司级的实时计算平台,平台代号「Pa
深度学习与Python
2023/04/01
6370
伴鱼实时计算平台 Palink 的设计与实现
Flink on K8s 企业生产化实践
为了解决公司模型&特征迭代的系统性问题,提升算法开发与迭代效率,部门立项了特征平台项目。特征平台旨在解决数据存储分散、口径重复、提取复杂、链路过长等问题,在大数据与算法间架起科学桥梁,提供强有力的样本及特征数据支撑。平台从 Hive 、Hbase 结合关系型数据库等大数据 ODS ( Operational Data store ) 层、DWD、DWS层进行快速的数据 ETL ,将数据抽取到特征平台进行管理,并统一了数据出口,供数据科学家、数据工程师、机器学习工程师做算法模型的数据测试、训练、推理及其他数据应用。
house.zhang
2022/03/02
2.2K0
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践
以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器,比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同,以及对于应用到生产环境我们还需要做些什么。
legendtkl
2021/08/20
2.3K0
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践
flink实战-实时计算平台通过api停止流任务
今天我们主要讲一下如何通过api的方式来停止一个通过per job模式部署在yarn集群上的任务。
大数据技术与应用实战
2020/09/15
2.9K0
flink实战-实时计算平台通过api停止流任务
日均百亿级日志处理:微博基于Flink的实时计算平台建设
黄鹏,微博广告实时数据开发工程师,负责法拉第实验平台数据开发、实时数据关联平台、实时算法特征数据计算、实时数据仓库、实时数据清洗组件开发工作。
Spark学习技巧
2019/11/15
1.7K0
flink教程-flink 1.11 集成zeppelin实现简易实时计算平台
随着flink的蓬勃发展,zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。
大数据技术与应用实战
2020/09/15
1.2K0
有赞实时计算 Flink 1.13 升级实践
随着有赞实时计算业务场景全部以Flink SQL的方式接入,对有赞现有的引擎版本—Flink 1.10的SQL能力提出了越来越多无法满足的需求以及可以优化的功能点。目前有赞的Flink SQL是在Yarn上运行,但是在公司应用容器化的背景下,可以统一使用公司K8S资源池,同时考虑到任务之间的隔离性以及任务的弹性调度,Flink SQL任务K8S化是必须进行的,所以我们也希望通过这次升级直接利社区的on K8S能力,直接将FlinkSQL集群迁移到K8S上。特别是社区在Flink 1.13中on Native K8S能力的支持完善,为了紧跟社区同时提升有赞实时计算引擎的能力,经过一些列调研,我们决定将有赞实时计算引擎由Flink 1.10升级到Flink 1.13.2。
有赞coder
2021/12/20
1.6K0
有赞实时计算 Flink 1.13 升级实践
Dlink 实时计算平台——部署篇
github 地址:https://github.com/DataLinkDC/dlink
文末丶
2021/12/27
2.8K0
Dlink 实时计算平台——部署篇
Flink源码分析之Flink on YARN - Per Job
用户的应用程序是一个分布式程序,需要按照YARN的规范来写才能提交到YARN集群被调度运行起来。
楞头青
2022/07/09
2.3K0
Apache Flink 在移动云实时计算的实践
本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分:
从大数据到人工智能
2022/03/07
5680
Apache Flink 在移动云实时计算的实践
Dlink ?一款FlinkSQL交互式开发平台
目前 Flink 社区正如火如荼的发展,但苦于没有一款适合 Flink SQL 界面化开发的工具,于是增加了 Flink 的门槛与成本。虽然官方提供了 SQL Client,但仍有很多局限与不方便。
文末丶
2021/12/27
2.2K0
Dlink ?一款FlinkSQL交互式开发平台
Flink 在有赞实时计算的实践
其次是在调研阶段我们为什么选择了 Flink。在这个部分,主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。
Fayson
2019/11/27
1K0
2021年大数据Flink(九):Flink原理初探
它扮演的是集群管理者的角色,负责调度任务、协调 checkpoints、协调故障恢复、收集 Job 的状态信息,并管理 Flink 集群中的从节点 TaskManager。
Lansonli
2021/10/11
1.2K0
SQL 开发任务超 50% !滴滴实时计算的演进与优化
摘要:Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化,也增加了更多的功能,比如扩展 DDL、内置消息格式解析、扩展 UDX 等,使得 Flink 能够在滴滴的业务场景中发挥更大的作用。本文中,滴滴出行实时计算负责人、高级技术专家梁李印分享了 Apache Flink 在滴滴的应用与实践。主要内容为:
全栈程序员站长
2022/09/05
5630
SQL 开发任务超 50% !滴滴实时计算的演进与优化
进击大数据系列(九)Hadoop 实时计算流计算引擎 Flink
Apache Flink 是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行,并能以内存速度和任意规模执行计算。目前市场上主流的流式计算框架有Apache Storm、Spark Streaming、Apache Flink等,但能够同时支持低延迟、高吞吐、Exactly-Once(收到的消息仅处理一次)的框架只有Apache Flink。
民工哥
2023/08/22
1.8K0
进击大数据系列(九)Hadoop 实时计算流计算引擎 Flink
Flink深入浅出: 应用部署与原理图解(v1.11)
Flink在1.11版本新增了一种部署模式,目前支持三种:Session 模式、Per job 模式、Application 模式,这三种模式主要在集群管理、资源隔离、用户main方法执行位置几个方面有所不同。
用户1154259
2020/10/26
1.3K0
Flink深入浅出: 应用部署与原理图解(v1.11)
详解flink 1.11中的新部署模式-Application模式
目前对于flink来说,生产环境一般有两个部署模式,一个是 session模式,一个是per job模式。
大数据技术与应用实战
2020/09/15
2.4K0
腾讯实时计算平台Oceanus建设实践
2019年4月1-2日,Flink Forward 2019 San Francisco会议在旧金山召开。Flink Forward会议邀请了来自Google, Uber, Netflix和Alibaba等公司在实时计算领域的顶尖专家和一线实践者,深入讨论了Flink社区的最新进展和发展趋势,以及Flink在业界的应用实践。随着近年来对Flink技术的广泛应用以及对Flink社区的活跃贡献,腾讯也受邀参加了会议并以主题Developing and Operating Real-Time Applications at Tencent介绍了腾讯大数据在实时计算平台建设上的工作。
腾讯大数据
2019/05/16
2.5K0
腾讯实时计算平台Oceanus建设实践
vivo 实时计算平台建设实践
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
2020labs小助手
2023/01/04
1.1K0
推荐阅读
相关推荐
袋鼠云:基于Flink构建实时计算平台的总体架构和关键技术点
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档