首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

慢SQL探秘之为什么我的SQL很慢却没记录在慢查询日志里

在MySQL数据库中,想了解数据库运行情况的重要指标之一是慢SQL。而并非如某些人所说的所有运行慢的SQL都会被记录在慢SQL日志(或日志表)里,抑或是没有慢SQL就代表没有运行慢的SQL。...本文将总结一些比较常见的运行比较慢但不会被记录在慢SQL日志里的情况。...SQL运行时间小于慢SQL监控阈值时间 第一部分已经介绍了和慢SQL相关的参数中的long_query_time,即慢SQL阈值。...SQL监控的阈值,例如TP业务的实例且配置相对较好时,建议阈值设置的较低;如果是AP类型业务,则适当放宽慢SQL的阈值。...其他SQL 除了以上的情况外,复制线程的查询、被DBAkill的正在运行的SQL或部分未运行完毕的SQL也不会记录在慢SQL日志中(不过部分情况再MySQL8.0中有所变更),因此需要大家根据实际情况多总结及测试

37610

为什么我的sql没问题但还是这么慢|MySQL加锁规则

当然导致数据库访问速度变慢的原因有很多:sql语句编写不规范、数据库服务器的性能差、网络状况不佳等,但是本文所侧重的点在于探究MySQL的锁机制,在其中发挥了什么作用。...或许此时你已经对于为什么多人调试程序时数据库访问不时出现卡顿有了一些自己的想法,当然这只是锁机制的冰山一角。...关于多版本并发控制(MVCC)这里我没有过多深入讲解,详情给出我的另一篇文章:https://juejin.cn/post/7085185961239248927 快照读 对于普通的查询操作,你大致了解...上面讲解死锁检测的时候我用更新语句获得了行记录的写锁,而这里,通过增加for update后缀,可以使得当前读操作也获取行记录的写锁。...• 此时事务B并发插入了一条(2,1)的记录,并且成功。 • 事务A的第二个sql依旧查询c=1的记录,获得(1,1)、(2,1)两条记录,从语义上违背了第一条sql的目的。

83630
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    为什么我说 ETL 是 SQL 人重启辉煌之光的必经之路

    SQL 在行业内还是相当重要的,当然你说 CRUD 那点东西玩几个月就会了,没有新奇感。从技术角度来看,是这样,我承认。但换成业务角度来说,这又不是一回事了。...这要细讲,我可以讲上三天三夜,所以留到以后的文章再说。 在 OLTP 系统中,CRUD 能做的事情,越来越少了。大部分都由前端框架封装好了。...真正能让 SQL 人凭手艺,还在 CRUD 行当里吃香的,喝辣的,技术上取决于你掌握了多少种数据库,SQL写得多快,要不然就是要享受福报了。 好在上帝关闭一扇窗的同时,他又打开了一道门。...熟悉数据仓库的朋友,都知道上图是 Kimball 理论的实现。Kimball 理论之所以这么流行,我想和他这种概念清晰好懂是分不开的。...所以 ETL 是 SQL 人重启辉煌之光的必经之路。

    90721

    TableauPowerBI的“割裂”和帆软BI的“集成”

    Tableau 更好吧‍‍‍‍‍‍‍‍‍‍‍‍‍ - 建模和性能优化,改进关系模型、共享维度,推出各种 Salesforce、SAP、Oracle 的主题模板,以及“性能加速器”,加速业务开发‍‍‍‍‍‍‍‍‍‍‍‍‍...支持自定义 SQL,且支持数据世系‍‍‍‍‍‍‍‍‍‍‍‍ - 可以复制节点,可以任意改变次序 ……‍ 我的各种企业级别项目,Prep 都是我了解业务、快速交付的最佳伴侣,特别是我不熟悉的业务领域,比如第一次完成应收...即便是市面上的不少 MVP,我看在解释相关概念上也多是“鹦鹉学舌”,深陷两位意大利大佬的话语体系不可自拔,为这个伟大的工具遮上了一层厚厚的围栏。 为什么 PowerBI 如此“割裂”呢?...其实在批评 Tableau 和 PowerBI 割裂的时候,帆软应该想反思,为什么迟迟到6.0版本,才把数据和组件作为一个文件出现?...业务可视化分析:从问题到图形的Tableau方法》2021.7 《数据可视化分析:分析原理与Tableau、SQL实践》2023.9‍‍‍ ………… MORE …………

    21310

    《周处除三害》之遇到数据库害虫(Bug)怎么破

    大家好,我是 JiekeXu,江湖人称“强哥”,很高兴又和大家见面了,今天和大家一起来看看《周处除三害》之遇到数据库害虫(Bug)怎么破,欢迎点击上方蓝字“JiekeXu DBA之路”关注我的公众号,标星或置顶...如果你遇到的可能是 Bug 首次发现官方还没有发现,你同样也可以通过 SR 的方式提交 Bug,目前为止我还没有遇到过首次发现 Bug 的情况,这里就先不讨论了。...Oracle 19.15 事情是这样的,在一套 Oracle 19c RAC + ADG 架构的数据库中,数据分析师经常使用 ADG 去做一些报表汇总等相关的查询,只要能通过 SQL 实现业务逻辑,则完全不会理会是否有性能问题...于是在使用 ADG 备库的情况下,通过 Tableau 工具做报表时出现了如下图的错误:ORA-03170:可读物理备用上已出现死锁(还原段 584) 然后询问数据分析师说是在原来的 SQL 代码段中新增了一段查询...SQL,运行时出现了上面的错误,等待了一段时间后继续运行还是报错一样,他在原 SQL 的基础上添加了如下的一段 SQL 才导致的这个问题。

    13010

    tableau桌面版连接spark sql的测试

    Tableau是一款优秀的数据可视化分析软件,这几天安装之后,感觉它不仅可以实现对各种数据的可视化绘制操作,并支持多个视图按照故事进行组织,同时具有强大的数据连接操作。支持各种数据源。...当然最强大的肯定还是它的server版,可以实现与desktop版的无缝对接。 Tableau支持多种数据源的对接,从其官方文档上可以看出,它几乎支持当前主流的各种工具。...Server on page 1298 MonetDB on page 1302 MySQL on page 1304 - 329 - OData on page 1306 Oracle...on page 1308 Oracle Essbase on page 1311 Pivotal Greenplum Database on page 1314 PostgreSQL on...的对接,于是从其官网上找到相应的spark sql插件,安装,并进行连接,果然可以实现。

    97930

    Oracle与Sql server的区别 一直搞不明白Oracle数据库和sql server的区别,今天我特意查资料把他们的区别整理出来

    一直搞不明白Oracle数据库和sql server的区别,今天我特意查资料把他们的区别整理出来 Oracle数据库:Oracle Database,又名Oracle RDBMS,或简称Oracle。...但SQL Sever在Window平台上的表现,和Windows操作系统的整体结合程度,使用方便性,和Microsoft开发平台的整合性都比Oracle强的很多。...从操作平台这点上Oracle是完全优胜于SQL Server的了。...(4)安全性           Oracle的安全认证获得最高认证级别的ISO标准认证,而SQL Server并没有获得什么安全认证。这方面证明了Oracle的安全性是高于SQL Server的。...(5)性能不同 SQL Server 多用户时性能不佳 Oracle 性能最高, 保持windowsNT下的TPC-D和TPC-C的世界记录。

    5.3K30

    赠书|机器学习、数据科学、数据分析,到底有啥区别?

    之前我是数据分析师的时候,我想继续深造成为一名数据科学家,我意识到两者有很大不同。...现在有很多SQL的分支,比如PostgreSQL、MySQL、Microsoft SQL Server T-SQL,以及Oracle SQL。它们都属于同一种查询语言,形式接近,但平台不同。...数据分析师需要具备的一些主要技能有: SQL Excel Tableau(或者其他可视化工具,比如Google Data Studio) SQL——前文提到过数据科学家如何使用SQL,数据分析师也会进行类似的操作...在Tableau中可以拖放数据到预设图表,简单强大;还有更多复杂的高级功能,比如计算字段,连接到一个实时的SQL数据库而非基于静态的Excel表单进行分析。...一部分差异主要在分析的自动化上——数据科学家专注于使用Python等语言编写算法,进行自动化分析和预测;而数据分析师则使用静态的或者过往的数据,在某些情况下会使用Tableau和SQL等工具去做预测。

    95810

    数据科学家vs数据分析师,到底有啥区别?

    一起来看看~ 之前我是数据分析师的时候,我想继续深造成为一名数据科学家,我意识到两者有很大不同。...现在有很多SQL的分支,比如PostgreSQL、MySQL、Microsoft SQL Server T-SQL,以及Oracle SQL。它们都属于同一种查询语言,形式接近,但平台不同。...数据分析师需要具备的一些主要技能有: SQL Excel Tableau(或者其他可视化工具,比如Google Data Studio) SQL——前文提到过数据科学家如何使用SQL,数据分析师也会进行类似的操作...在Tableau中可以拖放数据到预设图表,简单强大;还有更多复杂的高级功能,比如计算字段,连接到一个实时的SQL数据库而非基于静态的Excel表单进行分析。...一部分差异主要在分析的自动化上——数据科学家专注于使用Python等语言编写算法,进行自动化分析和预测;而数据分析师则使用静态的或者过往的数据,在某些情况下会使用Tableau和SQL等工具去做预测。

    1.7K10

    大数据分析学习必须用到的工具,一定要收藏

    SQL查询语言必不可少,精通最好。可从常用的select查询,update修改,delete删除,insert插入的基本结构和读取入手。 Access2003....DB2,Oracle数据库都是大型数据库了,主要是企业级,特别是大型企业或者对数据海量存储需求的就是必须的了, 一般大型数据库公司都提供非常好的数据整合应用平台; BI级别,实际上这个不是数据库,而是建立在前面数据库基础上的...Tableau,同FineBI一样,可分在报表层也可分为数据展现层。FineBI和Tableau同属于近年来非常棒的软件,可作为可视化数据分析软件,我常用FineBI从数据库中进行报表和可视化分析。...但是我也常说,有能力把Excel玩成统计工具不如专门学会统计软件; SPSS软件:当前版本是18,名字也改成了PASW Statistics ;我从3.0开始Dos环境下编程分析,到现在版本的变迁也可以看出...FineBI和Tableau的可视化功能上文有提过。其实,近年来Excel的可视化越来越棒,配上一些插件,使用感更佳。

    69210

    学习路径:一文让你成为Tableau专家

    如果你已经有了一些相关基础,或者并不需要掌握Tableau所有的内容,可以按照自己的想法去学习。在您学习完之后,烦请将您的学习经验告知我们。 ? Step-0:为什么数据可视化如此重要?...在开启学习Tableau的旅程之前,我想强调的是“为什么数据可视化如此重要以及它如何帮助企业做出英明的决策?”下面这段视频或许会吊起你的胃口。...v=5Zg-C8AAIGg Tableau有哪些酷炫之处? 市面上有数据众多的数据可视化软件,那么,我们为什么要选用Tableau呢?...Step-2:开始学习Tableau Tableau提供免费在线的直播以及课堂(需要付费)的培训计划。这是开始你这段旅程的最好方式。我建议你遵循以下路径。...我鼓励大家经常使用Tableau探索这个数据集,并且找出隐藏在数据集后面的趋势。

    3K70

    SQL PRIMARY KEY 约束- 唯一标识表中记录的关键约束

    SQL NOT NULL 约束SQL NOT NULL 约束用于强制确保列不接受 NULL 值。这意味着该字段始终包含一个值,而不允许插入新记录或更新记录时不提供此字段的值。...在 CREATE TABLE 时使用 SQL NOT NULL以下 SQL 确保在创建 "Persons" 表时,“ID”、“LastName” 和 “FirstName” 列将不接受 NULL 值:CREATE...;对于 Oracle 10G 及更高版本:ALTER TABLE PersonsMODIFY Age int NOT NULL;通过这些 SQL 语句,您可以确保指定列不会包含 NULL 值,从而增强数据的完整性...UNIQUE 约束要在表已经创建的情况下在 "ID" 列上创建 UNIQUE 约束,请使用以下 SQL:对于 MySQL / SQL Server / Oracle / MS Access:ALTER...在 ALTER TABLE 时使用 SQL PRIMARY KEY要在表已经创建的情况下在 "ID" 列上创建主键约束,请使用以下 SQL:对于 MySQL / SQL Server / Oracle

    29010

    数据分析该怎么入门,一名合格的数据分析师该具备什么哪些技能?

    技术要求 学习路径 这是之前整理的一份数据分析相关的技术域,算是目前比较主流的要求,另外像R,SPSS,SAS等等数据相关的工具语言,我这边是不推荐各位花时间去学习,因为现在用的公司已经越来越少了,大部分的使用场景用...调整后 可视化工具 目前市面上比较主流的商业可视化分析工具一般有Tableau和PowerBI,国内也有诸如帆软等产品,但目前做的最好的应该还是Tableau。...其实这些可视化工具用起来都大同小异,所以学一个就好了,首推Tableau吧,Tableau这几年在国内开始推广,用的公司肉眼可见的多起来了,官方有很完整的教程,学起来很方便的(小声BB:激活码可以淘宝购买...我的Tableau作品集——http://public.tableau.com/profile/awesome.tang#!/ 效果示例: ?...目前市面上主流的关系型数据库有MySQL,Oracle等,与之对应的SQL语法都存在一些差异。

    1.2K20

    10W人都想知道的答案!可视化黑科技,这4个数据工具谁最厉害的?

    我这边主要列出了4类BI可视化工具(QlikView、Tableau、Power BI、FineBI)的特性、优点和缺点,话不多说,进入主题。...,MySQL,SQL Server,MongoDB等),云系统(AWS,Oracle Cloud,Google BigQuery,Microsoft Azure)。...Tableau提供了对数据的深刻见解,并允许有效地压缩复杂的决策过程。 Tableau的数据抓取功能很弱,假如数据源删数据,两种工具都要重新导数据。...因为直接sql取数,效率受数据库本身的限制,数据量大时,一般分析工具很容易就卡死甚至内存溢出导致系统无响应,这也是FineIndex方案的初衷。...因此,Power BI不仅与其他产品有关,它与微软的主要工具(包括MS Excel,Azure Cloud Service和SQL Server)紧密集成。

    1.4K20

    Oracle数据库12cR2版本的SQL计划管理

    当SQL语句的新执行计划被发现后,它不会被立马使用,直到它被验证过比现有的执行计划更好后才会被使用。 本文提供了一个深入的解释,SPM如何工作并且为什么它是每个DBA工具箱重要的一部分。...这个初始的执行计划会被标记为接受状态。如果后续有新的执行计划被发现,SQL基线会记录这个执行计划但是不会标记为接受状态。...如果找到匹配项,并且SQL计划基线处于接受状态,优化器将继续执行此计划。如果没有发现匹配,新生成的计划添加到SQL计划基线作为一个不接受的计划。在它被接受之前,它必须被验证过。...计划演变 当优化器发现一个SQL语句的新计划,该计划被添加到SQL计划基线作为一个不接受的计划,需要验证才可以成为一个接受状态的计划。...图7:oracleEM中的SPM主页面 初始化参数 有两个初始化参数控制SPM OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES。

    1.3K100

    “无知之幕”:帆软DEF官方案例之吐槽

    我只觉得无知者无畏,竟然想以 DEF 单挑 DAX 和 LOD!哪来的勇气说“不输 PowerBI 和 Tableau 的 DAX 和 LOD 函数”的! 细看案例,惊呆了我!这 TM 是啥!‍...更准确的说,“城市A 销售额-静态”结果值的“分类依据”是【车型】(相当于 SQL 的 groupby),而“筛选条件”是“城市=A” (相当于 sql 的 where)。...说到这里,我都不好意思评价“李启方”用Tableau 的水平了,为了一个本就“错误的题目”,加上了“极不准确”的字段名,然后还强行用 Tableau 的拙劣语法做个死亡陪衬。...文章还说,“新推出的def函数不错,弥补对标了PowerBI和Tableau的DAX和LOD函数”。 就不知道为什么没有写Calculate表达式的勇气? 还是没有底气?...对了,帆软的很多人学习 Tableau 的 LOD 表达式,还把我的很多文章搬到内网(未经授权),欢迎你们“致敬” Tableau LOD案例,但请收起来你们的傲慢。‍‍‍‍‍‍‍‍‍‍‍‍‍

    9010

    “君子和而不同”,与瓴羊副总裁畅谈国产BI

    我好奇的几个问题,都在交流中找到了回答:‍‍‍‍‍‍‍‍ QuickBI 在什么情况下被整合推出‍‍‍‍ 采用订阅制的QuickBI 为什么还能“随时取消”‍‍‍‍‍‍‍ 如何看待国产 BI 的“混战”...当然,我也找到了为什么会有如此之多令我不快的地方,如果简单总结一二,我想可能是: 开发上“数据仓库范式”胜过“业务分析范式”,业务背景的产品经理相对薄弱(这一点这是国产 BI “拿来主义”背后普遍的弱点...,SQL 有 Union、Join、NaturalJoin、基于聚合子查询的 JOIN等;PowerBI 有 Related、UserRelationship表达式;Tableau 有 Join、Relationship...因为唯有如此,我的数据咨询生意才能更有根基。‍‍ 我爱 Tableau,但我更爱我的祖国,这是并行不悖的。...业务可视化分析:从问题到图形的Tableau方法》2021.7 《数据可视化分析:分析原理与Tableau、SQL实践》2023.9‍‍‍ ………… MORE …………

    9710

    这大概是今年最值得推荐的“数据分析工具”

    FineBI和它都是一个公司的,新出的5.1版本着实让我惊艳了一把,给人的感觉,比PowerBI更成熟稳定功能更多,平价版的Tableau替代!...报表制作与发布 FineBI的主要特点 BI工具那么多,为何我要重点推荐这款BI工具呢? Tableau和PowerBI的好自不用我多说,知乎上大家都议论了很多。...更何况它能够足以应对基本的数据分析,不虚于那两者,且具备下面几大特点: 1、打通各类数据源 FineBI能够从各种数据源中抓取数据进行分析,除了支持大家常用的Oracle、SQLServer、MySQL...各种现成的计算公式,基本告别SQL和代码。 这里展示的仅仅是一小个方面,绝大多数商业公司出品的软件在易用性方面完爆开源产品。...FineBI VS 其他商用BI工具(如Tableau、PowerBI等) 功能方面都没有太大差异,就是你多一个,我少一个的区别。对大部分人来说日常的数据分析足够了。

    1.6K20
    领券