首页
学习
活动
专区
圈层
工具
发布
首页标签数据一致性

#数据一致性

MySQL分页结果重复怎么解决?排序稳定性与游标分页实战

数据库小学妹

上个月同一周来了两个投诉。运营说订单列表翻到第三页,看到了第一页的订单。财务说月度导出少了几十单,金额对不上。

13810

数据同步延迟怎么排查?AI应用答旧数据的3个根因

路远的数据库笔记

上个月,一个做客服系统的团队找我。他们的知识库接了AI问答,数据靠一条同步链路送过去。用户问退款时效,回答的还是老政策。截图甩到群里,客服主管第一句话是:模型是...

9000

MySQL binlog格式怎么选?ROW、STATEMENT、MIXED的代价对照

数据库小学妹

有回对账,主从两边的总额差了十几万。行数也少了,主库明明有那么多。我先怀疑复制断了。SHOW REPLICA STATUS 一看,延迟是 0,线程都正常。查到最...

12910

同城外卖选SaaS还是私有化:用恢复状态与订单反例核对交接

微订技术团队

同城外卖系统选SaaS还是私有化,先看是否需要独立环境,再看谁承担维护和恢复。前期没有运维人员但希望保留品牌与数据,应分别核品牌主体、导出范围、退出安排和维护责...

15810

MySQL主从数据不一致排查:从checksum到修复的安全流程

数据库小学妹

有一次对账,两边总额差了一笔。我先怀疑是数据出错,翻了半天流水,主库那笔是好端端的。问题不在主库,在从库:同一个订单号,从库读出来的状态,跟主库写进去的不是一回...

20010

备份成功却恢复出错数据:页校验和与双写检测,让备份真正可恢复

数据库小学妹

刚入行那会儿,我特别信备份任务后面那个绿色对勾。它每天按时变绿,我就当数据没事了。直到有次恢复演练,备份导出来,服务是起来了。可一核对才发现,某张表的一批关键行...

15010

如何守住数据一致性底线?数据一致性如何前置防控?

用户12772660

深耕多源数据集成与数据质量管控工作多年,参与过大量集团数据中台落地项目。在项目实施过程中我发现,很多企业投入大量资源搭建数据同步链路,却忽视数据一致性的前置管控...

19810

改了 0 处却报成功:舞台工艺 Word 海量表格的 python-docx 安全改写实战

ZhuoAIStage

你手里有一份篇幅不短的技术 Word——机械参数表、电气回路表、灯具点位表、验收记录表、材料清单一层层摞下来,表格数量上百。现在要统一一处表述:把散落在各张表里...

20310

同城双活上线三个月用户投诉数据回退:异地多活写冲突的三种来源与四种解法

数据库小学妹

去年一个同城双活的项目上线三个月,客服开始集中收到一类投诉。用户说,我上午改过的收货地址,下午又变回旧的了。让他再改一次,过两天可能又回去。运维把链路查了个遍。...

18810

舞台工艺 140 张合订表"前后矛盾"怎么破?一个智能体编排 + python-docx 的审平闭环

ZhuoAIStage

你是业主方技术把关人。分包单位递来一份舞台工艺体系 docx,里面140 张表格——机械载荷、灯光回路、电气接地、扩声参数散落各章。你要在会签页落笔,但有个前提...

19510

异构数据集成衔接实战:位点锚定+分片校验,割接不再丢两小时数据

数据库小学妹

异构数据集成做落地,全量初始化跑完只算走了一半。真正定成败的是下一步:增量怎么接上,接上之后怎么证明两边真的一致。这篇就按"锚位点—并行追—判追平—分片校验—熔...

20910

数据库实时同步工具选型:六类方案 + Oracle 迁国产库复盘

数据库小学妹

上个月我被拉进一个选型会。客户要换掉跑了六年的 Oracle 同步链路。会议室里摆着三份方案,报价差了三倍。业务方只问一句:明天早上八点前,报表能不能拿到今天的...

34110

数据库迁移后如何校验数据一致性?大表分片、异构数据库与自动复核实践

石头1678

项目地址:https://github.com/elison2000/db-check | 开源项目:db-check

37810

主从延迟一小时?从binlog复制原理到延迟根因定位的完整排查

数据库小学妹

周三下午,运营跑来说报表数据不对。一看,从库上的报表比主库少了一个小时的数据。查主从状态,Seconds_Behind_Master显示0,从库却明明落后。当时...

24310

PostgreSQL迁移实战:200G库pg_dump翻车,四套方案选型与踩坑复盘

数据库小学妹

上周五晚上十点,电话把我从床上拽起来。朋友公司做PostgreSQL迁移,200G的库。pg_dump跑了一整夜没跑完,第二天业务直接卡死。他们问我第一句话,P...

44210

全量迁移时源库还在写,数据一致性怎么保证?

这个DBA有点耶

全量迁移时源库还在持续写入、增量同步时事务顺序可能错乱、异构数据库的日期精度可能丢失——这些问题,在POC阶段很难暴露,一上生产就变成事故。

22710

如何保证Mysql和Redis双写一致性

Rain的Java大神之路

这个问题本质上是分布式系统中的数据一致性问题。因为 MySQL 和 Redis 是两个独立的存储系统,无法做到原子性更新,所以我们只能通过合理的更新策略来尽可能...

34910

PostgreSQL迁移实战:跨服务器、上云、异构三种场景的工具选型与踩坑记录

数据库小学妹

上周有个朋友找我帮忙。他们公司要把跑了三年的PostgreSQL数据库从本地机房迁到云上,200G数据,业务不能停。他先用了pg_dump导出,跑了一晚上没跑完...

50510

财务对账差十几万排查实录:从脏数据溯源到数据质量体系搭建

数据库小学妹

我打开数据库查订单表,发现有一批金额字段是负数。正常情况下金额不可能是负的。追查下去,发现这批数据是三个月前一次批量导入进来的。导入的时候没报错,日志显示全部成...

28510

缓存一致性问题拆解思路

用户7046722

v1.0:第一版可满足一致性的架构,“一致性 = 多副本数据必须单线演化”。只需要一个状态:缓存行是否为最新值。

12803
领券