MySQL通过慢查询日志定位那些执行效率较低的SQL 语句，用--log-slow-queries[=file_name]选项启动时，mysqld 会写一个包含所有执行时间超过long_query_time 秒的SQL语句的日志文件，通过查看这个日志文件定位效率较低的SQL 。 慢查询日志在查询结束以后才记录，所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题，可以使用show processlist命令查看当前MySQL在进行的线程，包括线程的状态、是否锁表等，可以实时地查看SQL 的执
MYSQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈，CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候。磁盘I/O瓶颈发生在装入数据远大于内存容量的时候，如果应用分布在网络上，那么查询量相当大的时候瓶颈就会出现在网络上，我们可以用mpstat， iostat，sar和 vmstat来查看系统的性能状态。
change和modify都可以修改表的定义，但是change后面需要写两次列名，但是change的优点在于修改列名称，modify则不能。
项目中积分部分之前每次查询用户总积分都是动态汇总，并未存到数据库中，数据量一大就会发现查询速度超慢，为缓解该问题，现在需要将汇总的数据持久化，新增了一个SYS_POINTS_SUM_DETAIL表，此时就涉及到数据修复问题。本文就是对修复脚本的记录，里面覆盖了众多基础语法，亦可当做学习实例。
我们在数仓项目的时候往往是需要将它分层的，但是为什么分层你真正的了解过吗，那它分层的好处又是什么呢。好我们今天就针对这个话题进行讲解。如果你还不了解数仓中的模型可以去看这篇（数仓模型设计详细讲解）,编写不易请给个一键三连。
1.2.2 DWM 轻度汇总层(MID或DWB, data warehouse basis)
4). 数仓架构分层：一般分为操作数据层（ODS）、公共维度模型层（CDM）和应用数据层（ADS）,其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）
以阿里巴巴OneData建设为例：一般分为操作数据层（ODS：Operational Data Store）、公共维度模型层（CDM）和应用数据层（ADS）。其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）。
DML操作是指对数据库中表记录的操作，主要包括表记录的插入（insert），更新（update），删除（delete）和查询（select），是开发人员日常使用最频繁的操作。
58 集团业务种类繁多，目前包括的业务有 58 同城、赶集网、安居客、58 金融公司、中华英才网、驾校一点通等，数据库种类包括 MySQL、Redis、MongoDB、ES、TiDB。我们自己构建了“58 云 DB 平台”，整合了所有数据库的一体化运维。
本文上半部分之前已经发过了，传送门：50000字，数仓建设保姆级教程，离线和实时一网打尽(理论+实战) 上
performance_schema 是 MySQL 数据库中的一个内置的系统数据库，最早从MySQL5.5版本产生，这个数据库主要用于收集和存储与数据库性能相关的统计信息和指标。
本文主要讲解数据仓库的一个重要环节：如何设计数据分层！ 其它关于数据仓库的内容可参考之前的文章。
接口性能优化对于从事后端开发的同学来说，肯定再熟悉不过了，因为它是一个跟开发语言无关的公共问题。
☞ 03.OLAP引擎 [ Kylin Druid Presto Impala Kudu ADB ES .. ]
ETL在数据工作中起着至关重要的作用，主要用途有两个：（1）数据生产（2）为探索性数据分析与数据建模服务。
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈等等。
mysql性能优化(九) mysql慢查询分析、优化索引和配置
面试过程：21届应届生，9月投的校招qax，10月笔试，11月简历被捞，通知一面。
Doris由百度大数据部研发，之前叫百度Palo，于2017年开源，2018年贡献到 Apache 社区后，更名为Doris。
本篇博客，博主为大家带来关于数仓项目中纬度模型设计与分层架构的一个说明。
目前，在很多OLTP场景中，MySQL数据库都有着广泛的应用，也有很多不同的使用方式。从数据库的业务需求、架构设计、运营维护、再到扩容迁移，不同的MySQL架构有不同的特点，适应一定的业务场景，或者解决一定的业务问题。
报表测试是一项重要的测试内容，因为面对的使用群体一般是公司高层或者用户中的重要群体。出现问题影响较大，所以必须仔细且谨慎对待。本文根据自己之前的测试经验，结合其它相关资料，做个简单的总结汇总，如有其它建议，可以留言或者私聊，期待沟通交流。
接口性能优化是后端开发人员经常碰到的一道面试题，因为它是一个跟开发语言无关的公共问题。
学习大数据分析与应用课程的首要任务，是先了解统计与建模方法和数据挖掘方法所呈现出来的效果，然后依次学习Excel数据处理及编程、MySQL数据库的简单操作及Hadoop的基础知识。从而为进阶、提高打好基础。
争取每天更新 ? 126 蜗牛的历程： [入门问题] [机器学习] [聊天机器人] [好玩儿的人工智能应用实例] [TensorFlow] [深度学习] [强化学习] [神经网络
工厂方法模式，是⼀种创建型设计模式。定义一个用于创建产品的接口，由子类决定生产什么产品。 工厂方法模式是典型的解耦框架，这种设计模式也是 Java 开发中最常见的⼀种模式。
Flink和ClickHouse分别是实时计算和（近实时）OLAP领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
监控(Metrics),链路(Tracing),日志(Logging) 都是用于监测系统在运行时的情况,在这3个领域中都有着不同的解决方案,同时3点也可能会重合在一起进行使用.
在互联网时代，随着业务数量的暴增和应用规模的不断扩大，无论是oracle还是mysql这样子的关系型数据库，都会面临服务器CPU、磁盘IO和内存的各种瓶颈问题。基于此情况，各个业务团队迫切需要一种数据分片的方案将业务数据量存储成本分摊到成本可控的各个普通数据库服务器上，数据库切分的方案便应运而生。
SQL是一门深奥的语言，但是入门却很简单，比如我们仅仅是为了用来存储数据以便Power BI能够调用，最基本的增、删、改、查等操作就能满足日常的要求，涉及到的语法也不过select，from，where，union，delete等，相信翻一翻几页书也就能够学会。
现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。这里呢，我们不说Hadoop各种组件之间的配合，我们就简单说下数仓分层的意义价值和该如何设计分层。
GreatSQL是源于Percona Server的分支版本，除了Percona Server已有的稳定可靠、高效、管理更方便等优势外，特别是进一步提升了MGR（MySQL Group Replication）的性能及可靠性，以及众多bug修复。此外，GreatSQL还合并了由华为鲲鹏计算团队贡献的两个Patch，分别针对OLTP和OLAP两种业务场景，尤其是InnoDB并行查询特性，TPC-H测试中平均提升聚合分析型SQL性能15倍，最高提升40多倍，特别适用于周期性数据汇总报表之类的SAP、财务统计等业务。
今天要跟分享的是excel的分类汇总功能！ 分类汇总是excel中处理表格数据使用频率非常高的基础功能，可以胜任基础的统计汇总任务！ 今天以一个案例作为主要介绍内容： 我们想要汇总出三个维度下（地区
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
一、优化分类 二、测试数据样例 参考mysql官方的sakina数据库。 三、使用mysql慢查询日志对有效率问题的sql进行监控 第一个，开启慢查询日志。第二个，慢查询日志存储位置。第三个，没有使用
首先打开题目，发现 index.php 是登录界面，寻找 register.php，表单内容如下
Flink 和 ClickHouse 分别是实时计算和 OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
大海：就在菜单里点两下就好，比如不要分类汇总了，直接在菜单【数据透视表工具】-【设计】里：
pt工具是非常实用有效的一个工具集，对于诊断常规问题还是非常有效的，相比于Oracle的工具，MySQL中没有那么多复杂的数据字典，在实现方式上相对更加轻巧，主要都是针对日志的挖掘。在庞大复杂的日志中能够找出一些非常有效的信息，确实难能可贵。 image.png 在官网上查看Percona的系列产品，可以看到Percona Toolkit的一个Logo好像是条鹿犬。 image.png 如果查看用户手册，可以看到里面有非常多的命令，如果没有分门别类还是没有任何的方向。 在此找到同事之前的分享，工具的分类如下
我们来做一个抽象，可以把数据仓库分为下面三个层，即:数据运营层、数据仓库层和数据产品层。
资深数据库专家，专研 MySQL 十余年。擅长 MySQL、PostgreSQL、MongoDB 等开源数据库相关的备份恢复、SQL 调优、监控运维、高可用架构设计等。目前任职于爱可生，为各大运营商及银行金融企业提供 MySQL 相关技术支持、MySQL 相关课程培训等工作。
数据分组就是根据一个或多个键（可以是函数、数组或df列名）将数据分成若干组，然后对分组后的数据分别进行汇总计算，并将汇总计算后的结果合并，被用作汇总计算的函数称为就聚合函数。 Python中对数据分组利用的是 groupby() 方法，类似于sql中的 groupby。 1.分组键是列名 分组键是列名时直接将某一列或多列的列名传给 groupby() 方法，groupby() 方法就会按照这一列或多列进行分组。 groupby(): """ 功能: 根据分组键将数据分成
注意：having是对聚合后的结果进行条件过滤，where是在聚合前就对记录进行过滤
大数据文摘作品，转载要求见文末 作者 | Elaine，田桂英，Aileen 导读：前段时间小白学数据专栏出了一期Python小抄表，后台反应强烈（点击查看大数据文摘小白学数据系列文章《小白学数据之常用Python库“小抄表”》）。确实，数据科学越来越热，但是对于想要学好它的小白们却很头疼一个问题，需要记住的操作和公式实在是太多了！小抄表是很实用的办法，那么今天我们就为大家送出一份大杀器：28张小抄表合辑！不管你是Python或R的初学者，还是SQL或机器学习的入门者，或者准备学习Hadoop，这里都有能满
Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台、实时数仓，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
