度量的最终结果不是一个可视化的图表，而是一个问题改进的清单及改进方案，关注这些度量数据给我们带来的信息，获取当前团队的改进重点，持续优化，才是重中之重。同时，度量是动态变化的，在持持续改进的进程中，我们需要逐步提高标准
在《语句效率统计视图|全方位认识 sys 系统库》中，为大家介绍了利用sys 系统库查询语句执行效率的快捷视图，本期将为大家介绍一些不便归类的混杂视图，本篇也是该系列中最后一篇介绍视图的文章。
案例是一个泰国网站的生产环境（请脑补一句“萨瓦迪卡”，为了叙述方便，下文中均以"萨瓦迪卡"指代这个网站。）“萨瓦迪卡”是一个 采用 Wordpress + MySQL搭建的应用。这个遗留系统已经工作了五年。客户已经把在其它 VPS 上平移到 AWS 上。平移（lift and shift）是说原样复制，而迁移（migration）还要进行改造。而客户唯一发挥 AWS 优势的一点就是用了一个配置很高的 EC2 虚拟机 —— m4.4xlarge。这样一台配置的虚拟机有 16 个虚拟 CPU，64 GiB 的内存，以及 2000 Mbps 的网络带宽，最高 3000 IOPS 的 200GiB 的块存储设备（也就是硬盘）。
Prometheus 是一套开源的监控系统。设计思路来自于Google的borgmon 监控系统(由工作在 SoundCloud的Google 前员工在2012年创建)。
我们曾经分享过一篇文章，云时代的DBA，何去何从？，在文中我们讨论了Oracle最近几年重点转而向云的变革，它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。 云技术改变了数据库领领域的竞争
作者 | Dana Van Aken、Andy Pavlo、Geoff Gordon 编译 | AI100 数据库管理系统（DBMSs）是所有数据密集型应用的最重要组成部分。但是由于他们包含了数百个配置“旋钮”，因此很难管理。这些“旋钮”负责控制一些因素，其中包括用于缓冲储存器的内存容量，以及将数据写入存储盘的频率次数。机构和组织会经常雇佣专家来帮助他们协调各项目，但是很多情况下，聘请这些专家花费过高。 为了让每个人，甚至包括那些没有数据库管理相关技术的人，都能轻松地配置DBMS，卡耐基梅隆大学的学生
MySQL8.0.18刚刚发布，它包含一个全新的功能EXPLAIN ANALYZE，用来分析和理解查询如何执行。
“可观测性”这个名词其实是最近几年才从控制理论中借用的舶来概念，不过实际上，计算机科学中关于可观测性的研究内容已经有了很多年的实践积累。通常，人们会把可观测性分解为三个更具体的方向进行研究，分别是：日志收集、链路追踪和聚合度量。
数据流程简单，数据处理流程简单，数据包括日志、DB log等，经Sqoop批量或Kafka实时接入大数据平台HDFS里，在大数据平台进行ETL后，通过大数据调度系统Ooize，每天定时写入到关系型数据库MySQL，再以MySQL中数据为基础产出各种报表。
Spring Boot Actuator是Spring Boot 2发布后修改最多的项目之一。它经过了主要的改进，旨在简化定制，并包括一些新功能，如支持其他Web技术，例如新的反应模块 - SpringWebFlux。它还为 InfluxDB添加了开箱即用的支持，这是一个开源时间序列数据库，旨在处理大量带时间戳的数据。与 SpringBoot1.5使用的版本相比，它实际上是一个很大的简化。您可以通过阅读我之前的一篇文章使用Grafana和InfluxDB自定义指标可视化来了解自己有多少。我在那里描述了如何使用 @ExportMetricsWriter bean将[Spring Boot Actuator生成的指标导出到InfluxDB。示例Spring Boot应用程序已在分支主文件中的GitHub存储库sample-spring-graphite上提供该文章。对于本文，我创建了分支spring2，它展示了如何实现与使用Spring Boot 2.0版本之前相同的功能。弹簧启动执行器。
【1】skywalking是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。SkyWalking 是观察性分析平台和应用性能管理系统，提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。
由于es官网叫停river类的导入插件，因此原始的elasticsearch-jdbc-river变更为elasticsearch-jdbc，成为一个独立的导入工具。官方提到的同类型工具还有logstash，个人觉得logstash在做数据库同步的时候并不是很好用，有太多坑要填。
受PromQL的启发，Loki也有自己的LogQL查询语句。根据官方的说法，它就像一个分布式的grep日志聚合查看器。和PromeQL一样，LogQL也是使用标签和运算符进行过滤，它主要分为两个部分：
但凡是分布式系统而言，可度量性是在技术层面必须与实现的目标。而可度量性细分下来，包括了日志，度量以及链接追踪三个维度。
本文将重点探讨数据处理层中数据仓库的建设。早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题：
前段时间给大家分享了阿里的数仓建设《阿里数据仓库研发规范》,本文主要讲解下创业型公司是如何建设数仓的。本文将重点探讨数据处理层中数据仓库的建设，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题：
摘要总结：本文主要介绍了在CentOS 7服务器上部署和配置MongoDB和PMM的基础步骤和注意事项。包括MongoDB的下载和安装、MongoDB配置文件的制定、MongoDB服务器的启动和停止、PMM服务器的安装和部署、使用Web UI或curl命令进行数据操作、MongoDB和PMM服务器的日志查看和审计、MongoDB和PMM服务器的性能调优、使用工具进行数据操作和管理等方面的内容。同时，本文还介绍了在CentOS 7服务器上部署和配置MongoDB和PMM的技术细节和操作步骤，为其他用户提供了一定的参考和借鉴意义。
自从Loki2.0发布以来，LogQL v2凭借丰富的查询功能，让Loki也逐渐具备日志分析的能力。对于有些时候，当研发的同学没有提供Metrics时，我们也能利用LogQL构建基于日志的相关指标，这里面就主要用到了聚合查询。
（五）进阶技术 15. 累积的度量 本篇说明如何实现累积月底金额，并对数据仓库模式和初始装载、定期装载脚本做相应地修改。累积度量是半可加的，而且它的初始装载比前面做的要复杂的多。 可加、半可加、不可加事实 事实表中的数字度量可划分为三类。最灵活、最有用的度量是完全可加的，可加性度量可以按照与事实表关联的任意维度汇总。半可加度量可以对某些维度汇总，但不能对所有维度汇总。差额是常见的半可加度量，除了时间维度外，它们可以跨所有维度进行加法操作。另外，一些度量是完全不可加的，例如比率。 修改模式 建立一个新叫做month_end_balance_fact的事实表，用来存储销售订单金额的月底累积值。month_end_balance_fact表在模式中构成了另一个星型模式。新的星型模式除了包括这个新的事实表，还包括两个其它星型模式中已有的维度表，即product_dim和month_dim。图（五）- 15-1显示了新的模式。注意这里只显示了相关的表。
爱奇艺发展的大体时间线，2015 年前以离线分析为主，技术上是经典的 Hive + MySQL 方案，但缺点是报表查询比较慢，而且数据时效性差；2016 - 2018 年致力于将查询耗时提升至交互式级别，分为两大类：Kylin 针对固定报表，在维度比较有限的情况下，通过一个预处理，TB 级别数据延时能在秒级，而 Impala 则针对 Ad-hoc 类场景，可以查询任意明细数据；2018 年以后从离线往实时去发力，其中 Kudu 支持实时插入和更新，Druid 支持事件流场景。
3全链路监控：SkyWalking 现在微服务架构越来越风行，随之而来全链路监控（APM：Application Performance Management）工具在性能测试分析软件中得到了越来越多的普及。全链路监控工具是一种应用性能监控工具，通过汇聚业务系统各处理环节的实时数据，分析业务系统各事务处理的交易路径和处理时间，实现对应用的全链路性能监测。目前主流的APM工具，基本都是参考了Google的Dapper（大规模分布式系统的跟踪系统）体系，通过跟踪业务请求的处理过程，完成对应用系统在前后端处理、服务端调用的性能消耗跟踪，提供可视化的界面来展示对跟踪数据的分析。 现在比较流行的全链路工具有韩国出品的Pinpoint、中国吴晟出品的SkyWalking、Twitter出品的Zipkin以及美团和携程出品的CAT，这一节我们来介绍SkyWalking。 图26为SkyWalking架构图。
在OLAP分析引擎领域，Apache Kylin可以说是一个重要的成员，相比于大规模并行处理指导思想下的Hive、Presto等组件，Apache Kylin采取了新的计算模式，提供不同的解决方案。今天的大数据开发分享，我们就主要来讲讲OLAP分析引擎Apache Kylin入门。
大型互联网的系统一般会架构散布于多个数据中心和一些私有/公有云，由真实物理机以及虚拟机组成。架构中部署的关键工具包括实现报警的Zabbix，以及一个采集、聚合和存储度量的六阶段流水线。流水线主要由开源
概述 最近几年，特别是随着云计算的发展，出现了行业向后重叠和推动的情况。数据库龙头企业Oracle最近几年重点转而向云的变革，它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。云技术改变了数
一、DataX数据同步原理二、全量同步实现三、增量同步的思考四、增量同步实现方案五、关于DataX高可用参考
前言 Docker由于使用了基于namespace和cgroup的技术，因此监控docker容器和监控宿主机在某些性能指标和方式上有一些区别，而传统的监控方式可能无法满足docker容器内部的指标监控，本篇系列文章主要分享使用telegraf+influxdb+grafana去监控docker容器内部资源使用情况。目前主要关注的监控指标为：每个宿主机上的docker容器数量，每个docker容器的内存使用情况，CPU使用情况，网络使用情况以及磁盘使用情况。同时这套方案也能够监控到宿主机的一些基本资源使用情况
通常EXPLAIN用于获取QEP，而DESCRIBE、DESC用于获取表结构信息。
继一怒之下我写出了 Vivian（详见“测试驱动开发 Nginx 配置”）之后。又在等待客户审批流程的时间里自己写了一个流量测试工具。
prometheus2.0 在参数上有原先的1.X有较大的变化，很多参数被去掉了。另外优化了CPU占用、存储空间占用等，具体可以看官方文档。
在数据分析和挖掘领域，我们经常需要知道个体间差异大小，从而计算个体相似性。如今互联网内容爆发时代，针对海量文本的相似识别拥有极大需求。本文将通过识别两段文本是否相似，来看看常见的相似算法，及线上落地方案。
在当今企业降本增效、去肥增瘦的大环境下，大数据平台研发效能度量成为了重要的提升企业研发效率和产品质量的关键。本文介绍字节研发效能度量平台从 0 到 1 的完整演进过程，通过深入浅出工程实现过程中遇到的各类矛盾问题，帮助读者更好地应用技术解决方案，加深该领域的深入思考。
telegraf 整个包非常大，在这个方案只用了statsd插件部分的修改，所以更具体的需要根据自己需要进行学习，如果只是使用本方案就可以略过。
最近我发现，Apache已经成了解决问题的解决我们日常问题的首选宝藏之地。这几天在调研数据质量监控的东西时，无意中发现了Apache Griffin。
本篇博客，博主为大家带来关于数仓项目中纬度模型设计与分层架构的一个说明。
初始密码在：/var/lib/jenkins/secrets/initialAdminPassword
想象一下，在没有财务预测的情况下经营企业，甚至不知道银行剩下多少钱。您怎么知道您是在巨大的现金缓冲中游泳还是由于资金不足而需要跳过客户午餐？如果不注意自己的财务状况，根本就不可能开展健康的业务。同样，如果不观察您的计算基础架构，就不可能保持应用程序运行正常。
这几天听朋友说JPA很好用，根本不用写sql。我在想一个程序员不写sql还能叫程序员？而且越高级的工具封装越多的工具，可拓展性和效率就非常的低，况且我本身非常不喜欢过于封装的东西，平时喜欢手写sql，所以一直都是用mybatis去写业务。然后发现jpa的saveAll()批量插入批量更新速度太慢了，导致一些用excel导入的一些东西非常慢，弄得原本同步可以解决的事情每次导入都要开启一个异步，个人感觉这种做法非常不好。因为异步其实就是对当前的业务不影响去另外的时间段去做，例如跑定时任务，异步更新增量信息等。代码里非常多异步包异步的东西，也就是说excel导入是异步，然后jpa又慢，异步里面又包涵异步，整个链路非常长，可能发生问题都要排查半天。
我们来做一个抽象，可以把数据仓库分为下面三个层，即:数据运营层、数据仓库层和数据产品层。
导语 |为了满足贝壳日益复杂、多样化业务场景下的多维数据分析需求，贝壳 OLAP 平台经历了从早期基 于Hive+MySQL 原始阶段，到基于 Kylin单一引擎的平台化建设，再到支持多种不同OLAP引擎的灵活架构的发展历程。本文是对贝壳找房数据智能中心资深研发工程师——肖赞在云+社区沙龙online的分享整理，希望与大家一同交流。
我们不管是基于 Hadoop 的数据仓库（如 Hive ），还是基于传统 MPP 架构的数据仓库（如Teradata ），抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库，其实都面临如下问题：
研发效能度量的出发点虽然很好，但是如何正确、有效地度量却是一个颇有难度的技术活儿。近期围绕如何进行效能度量的讨论不绝于耳，但如何构建度量的体系化框架、如何进行度量指标的选取、如何进行度量分析、如何进行落地运营，却鲜有文章具体阐述。在这一背景下，张乐老师撰写了《研发效能度量核心方法与实践》系列文章，对以往经验进行了总结和提炼，包括以下内容： 1. 效能度量的难点和反模式 2. 效能度量的行业案例和关键原则 3. 效能度量的实践框架和指标体系设计 4. 效能度量的常用分析方法 5. 效能度量的落地实施建议 以上内容将以五篇连载文章的形式发布，共计超过 3 万字，本文是第三篇。
Hi，大家好。随着行业的快速发展，软件系统越来越复杂，功能越来越多，测试人员除了需要保证基本的功能测试质量，性能也随越来越受到人们的关注。但是一提到性能测试，很多人就直接连想到Loadrunner，认为LR就等于性能测试。LR只是性能测试的一个工具，但性能测试不仅仅是LR，本文就给大家逐步开展Web端性能测试。
如何设计最优的数据库表结构，如何建立最好的索引，以及如何扩展数据库的查询，这些对于高性能来说都是必不可少的。但是只有这些还不够，要获得良好的数据库性能，我们还要设计合理的数据库查询，如果查询设计的很糟糕，即使增加再多的只读从库，表结构设计的再合理，索引再合适，只要查询不能使用到这些东西，也无法实现高性能的查询。所以说查询优化，索引优化，库表结构优化需要齐头并进。
时序数据，是在一段时间内通过重复测量（measurement）而获得的观测值的集合；将这些观测值绘制于图形之上，它会有一个数据轴和一个时间轴；
时序数据库(Time Series Database)是用于存储和管理时间序列数据的专业化数据库。时序数据库特别适用于物联网设备监控和互联网业务监控场景。
spring-boot-actuator 模块 是 spring-boot 用来查询或监控项目中各种组件、维度的度量指标（如：环境变量信息、日志级别、SpringBean 信息、组件（Redis、Mq、DB）健康状态）时使所用的模块。
Grafana是一个跨平台的开源的度量分析和可视化工具，有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，官方原生支持Zabbix数据输出，而Grafana与Zabbix对接能够帮助大家实现对系统的实时监控以及可视化展示。
WeChat9c3fe57f77d933616c18d92b0e56169c.jpg
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
