使用velero可以对集群进行备份和恢复，降低集群DR造成的影响。velero的基本原理就是将集群的数据备份到对象存储中，在恢复的时候将数据从对象存储中拉取下来。可以从官方文档查看可接收的对象存储，本地存储可以使用Minio。下面演示使用velero将openstack上的openshift集群备份恢复到阿里云的openshift上。
得物上一代日志平台的存储主要依赖于 ES。随着公司业务的高速发展，日志场景逐步产生了一些新需求，主要表现在：应用数量逐步增多，研发需要打印更多的日志定位业务问题，安全合规需要保留更长时间的日志。随着 Clickhouse 的应用广泛，我们了解到行业部分知名公司已经将日志平台逐步由 ES 迁移至Clickhouse，以此来获取更好的写入性能与高压缩比。因此我们与日志平台研发团队开始进行日志平台新存储的选型评估，本文会介绍我们如何通过 Clickhouse 的冷热分离存储替代 ES 的实施方案。
从 /data/minio/oss/.minio.sys/config/config.json 找到登录秘钥。如下图所示：
今天分享的内容是 Docker 最佳实战「2024」 系列文档中的 Docker 部署单节点 Grafana 实战。
Artifactory 是 JFrog 的一个产品，用作二进制存储库管理器。二进制存储库可以将所有这些二进制统一托管，从而使团队的管理更加高效和简单。
ApiBoot为接口服务而生，基于SpringBoot完成扩展、自动化配置，通过封装一系列Starter来让调用者快速集成组件，降低学习、使用门槛，提高开发效率。
Lustre 如何工作的 Lustre 架构说明 lustre是一个基于对象的分布式文件系统。它核心有三个组件元数据服务(mds)、对象存储服务(oss)和客户端(client).lustre采用块设备来存储文件和元数据，每个块设备由单一独立的lustre服务来管理。比如lustre的元数据服务，元数据需要存储在块设备上，元数据进程需要把元数据写入到这个块设备上。lustre的总容量是所有的ost(oss管理的块设备)之和。lustre客户端是通过标准的Posix/IO的系统调用。 MDS(meta
1. 前言 2020 年 12 月 22 日Spring官方博客宣布，Spring Cloud 2020.0.0正式发布。2020.0.0是第一个使用新的版本号命名方案的Spring Cloud发行版本。在此之前Spring Cloud使用英国伦敦地铁站的命名方式来命名一个大版本（train version），如果不按照新的版本号命名的话，本次的版本号应该是Ilford。
最近在使用 Terraform Cloud 来置备 OCI 的 Always Free Tier, 发现它非常好用，相比 Terraform OSS, 用起来省心多了。
Logtail的安装配置流程相对比较简单，如果日志服务和ECS在同一账号下，则只需5个步骤即可实现采集。
上一篇文章《使用压缩文件优化io (一)》中记录了日志备份 io 优化方案，使用文件流数据压缩方案优化 io 性能，效果十分显著。这篇文章记录数据分析前置清洗、格式化数据的 io 优化方案，我们有一台专用的日志前置处理服务器，所有业务日志通过这台机器从 OSS 拉取回来清洗、格式化，最后进入到数据仓储中便于后续的分析。
目前我司正处于一种混乱的开发环境中； 对于数据库字段增修都是开发人员直上服务器数据库修改（我多次强调）； 我未入职前，是直接通过SFTP连接服务器，对项目进行开发和修改（话说造成代码覆盖都不知道是谁干的，多次建议开发使用Git）； 入职后我写一个开发规范文档：软件开发手册（欢迎各位大佬提出意见） 虽然对开发规范有所改变，但还是因为不可抗力因素无法执行，也是造成我最近想跳槽的原因；
下载地址：https://dl.minio.io/server/minio/release/linux-arm64/minio
目前我司正处于一种混乱的开发环境中； 对于数据库字段增修都是开发人员直上服务器数据库修改（我多次强调）； 我未入职前，是直接通过SFTP连接服务器，对项目进行开发和修改（话说造成代码覆盖都不知道是谁干的，多次建议开发使用Git）； 虽然对开发规范有所改变，但还是因为不可抗力因素无法执行，也是造成我最近想跳槽的原因；
CDN 在静态资源的加速场景中是将静态资源缓存在距离客户端较近的CDN 节点上，然后客户端访问该资源即可通过较短的链路直接从缓存中获取资源，而避免再通过较长的链路回源获取静态资源。因此 CDN的缓存命中率的高低直接影响客户体验，而保证较高的命中率也成为了站长的核心命题。在本文中我们就一起探讨 CDN 缓存命中率的概念、影响因素以及优化策略。
使用ES来查询业务日志在开发中是非常常见的一种方式，典型的解决方案是ELK，已经非常成熟了。Flink是一个比较年轻的开源项目，已经发展了好几年，但是周边的生态还是不是很完善，比如日志收集其实不太友好，比如session模式想要按job收集日志就做不到，另外比较流行的是yarn和k8s模式，k8s理论上应该是比较容易收日志的，越来越多的公司大量java应用都跑在k8s里。日志收集这块也限制只能用商业产品，不好用。我们希望接到es里
ELK作为日志UI产品，自诞生就备受关注，时至今日也热度不减，在Github上有着高达 54.7k的关注。
良好的监控环境为腾讯云容器服务高可靠性、高可用性和高性能提供重要保证。您可以方便为不同资源收集不同维度的监控数据，能方便掌握资源的使用状况，轻松定位故障。 腾讯云容器服务提供集群、节点、工作负载、Pod、Container 5个层面的监控数据收集和展示功能。 收集监控数据有助于您建立容器集群性能的正常标准。通过在不同时间、不同负载条件下测量容集群的性能并收集历史监控数据，您可以较为清楚的了解容器集群和服务运行时的正常性能，并能快速根据当前监控数据判断服务运行时是否处于异常状态，及时找出解决问题的方法。例如，您可以监控服务的 CPU 利用率、内存使用率和磁盘 I/O
日志收集系统还是有很多种可供选择，但是loki是一个开源项目，有水平扩展、高可用性、多租户日志收集聚合系统，特别适合k8s中pod日志的收集。据说灵感来源于prometheus，可以认为是日志版的prometheus，今天就来研究一番。
AWS的S3, 阿里云的OSS, 腾讯云的COS， 都是常见的对象存储服务。对象存储服务面向非结构化数据，支持通过HTTP/HTTPS协议访问，支持存入文本、图片、视频等多种类型的数据。
今天发现日志服务器采集到的某一个系统的日志时间不对，和实际的时间相差了8个小时，我们估计问题是出在容器的时区的设置上。
内存溢出 out of memory : 通俗理解就是内存不够用了，是我们工作当中经常会遇到的问题，内存溢出有可能发生在正常的情况下，而非代码层面问题导致，比如高并发下，大量的请求占用内存，垃圾回收机制无法进行回收，而导致的内存溢出,这种情况就需要我们去调整架构了。一但出现内存溢出问题，我们需要快速定位并解决，尤其是生产环境，所以针对内存溢出问题，我们需要掌握一些常用的排查工具，针对不同场景、现象有快速排查思路。引起内存溢出的原因有很多种，常见的有以下几种：
随着 Flink 实例的迁移下云以及新增需求接入，自建 Flink 平台规模逐渐壮大，当前总计已超 4 万核运行在自建的 K8S 集群中，然而 Flink 任务数的增加，特别是大状态任务，每次 Checkpoint 时会产生脉冲式带宽占用，峰值流量超过 100Gb/s，早期使用 OSS 作为 Checkpoint 数据存储，单个 Bucket 每 1P 数据量只有免费带宽 10Gb/s，超出部分单独计费，当前规模每月需要增加 1x w+/月。
Serverless架构是近年来迅速兴起的一个技术概念。基于这种架构能构建出多种应用场景，适用于各行各业。只要是对轻计算、高弹性、无状态等场景有诉求，您都可以通过本文来熟悉一些基础概念，并从相关场景中获得启发。
最近遇到一个日志备份 io 过高的问题，业务日志每十分钟备份一次，本来是用 Python 写一个根据规则扫描备份日志问题不大，但是随着业务越来越多，单机上的日志文件越来越大，文件数量也越来越多，导致每每备份的瞬间 io 阻塞严重， CPU 和 load 异常的高，好在备份速度很快，对业务影响不是很大，这个问题会随着业务增长，越来越明显，这段时间抽空对备份方式做了优化，效果十分显著，整理篇文章记录一下。
据IDC发布的《数据时代2025》报告显示，全球每年产生的数据将从2018年的33ZB增长到2025年的175ZB，平均每天约产生491EB数据。随着数据量的不断增长，数据存储成本成为企业IT预算的重要组成部分。例如1PB数据存储一年，全部放在高性能存储介质和全部放在低成本存储介质两者成本差距在一个量级以上。由于关键业务需高性能访问，因此不能简单的把所有数据存放在低速设备，企业需根据数据的访问频度，使用不同种类的存储介质获得最小化成本和最大化效率。因此，把数据存储在不同层级，并能够自动在层级间迁移数据的分层存储技术成为企业海量数据存储的首选。
本项目启动需要依赖MySql、Elasticsearch、Redis、MongoDb、RabbitMq等服务，安装依赖服务请参考mall在Windows环境下的部署，数据库中需要导入mall_tiny.sql脚本。
墨墨导读：分布式数据库（Tencent Distributed SQL，TDSQL）是腾讯打造的一款分布式数据库产品，具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性，同时提供智能DBA、自动化运营、监控告警等配套设施，为客户提供完整的分布式数据库解决方案。
给算法同学重构了一版代码。原则是边重构边测试，即使看起来有多么简单逻辑，反复测试是必不可少的。
使用maven,gradle等构建项目必定会用到nexus来搭建私服，Maven的公服与私服是非常重要的概念
刚进公司那段时间，在敏捷项目制的执行下，需求有条不紊地进行着。某个周末，业务系统反馈群内，操作人员反馈系统不可用，我们急忙寻求运维的帮助，将系统重启并恢复使用。同时排查相关log，检查异常点，但是根据log并没有跟踪出结果。于是想到是否有OOM的dump文件生成，询问运维后，被告知并没有生成。咨询之前的应用负责人，以前也有类似系统不可用情况，但只是偶现。没有办法，根据应用日志查不出结果，只有下次复现时导出dump彻查了。又过去一段时间，故障反馈群里又是一样的问题，于是赶忙麻烦运维把dump生成，然后重启了应用，同时离线对dump进行了分析。
之前在和小伙伴在做技术分享的时候，分享了他们做的某医院数据上云方案。该医院因为数据延迟问题，病人无法及时看到检验报告。
作为一名合格的MySQL DBA，备份是重中之重。为了保证备份集的安全可靠，除了集中存储以外还有其他更好的方案吗？ 当然是有的，可以存储在OSS或者分布式存储上。那么问题来了，如何能够实现自动备份，不需要人工干预即可上传到OSS上，节约大量的时间去悠哉悠哉地喝喝茶、看看报呢？且听下文
数据量爆发式增长的今天，数字化转型成为IT行业的热点，数据需要更深度的价值挖掘，应对未来不断变化的需求。海量离线数据分析可以应用于多种商业系统环境，例如电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。
项目整体还是不错的，前后端分离，后端使用 SpringBoot + MybatisPlus，前端使用 AntDesign-Vue-Pro + Vue2.0 开发，是一款不可多得的前后端分离入门学习项目。
COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。通过简单的配置操作，用户可以将源地址数据快速迁移至 COS 中，它具有以下特点：
在实际生产中，日志是非常重要的调试工具，日志内容至少需要包括时间戳、日志级别、日志内容
如果我们在渗透测试中发现一个OSS，而且默认无法进行读取数据(即桶ACL为"私有")，但是通过查询ACL我们发现桶ACL可写，那么此时我们就可以通过写ACL来更新桶ACL并获取到对象数据信息
无论是安装包形式还是基于Docker，搭建Elasticsearch集群环境还是较为简单的，实操的时候还遇到过一丢小问题，本文用于记录下操作过程。
既支持各种 「S3」 协议的对象存储如 阿里云OSS、七牛云OSS、MinIO 等，同时也支持阿里的 FastDFS。
github 地址 跪求大家star panda微服务工程地址 panda-admin前台工程地址
本文介绍的Nexus不是谷歌的一个手机品牌哈，而是一个非常强大的仓库管理平台。支持常见的Docker、Maven、npm、PyPI等仓库的管理。
ossutil支持在Windows、Linux、macOS等系统中运行，您可以根据实际环境下载和安装合适的版本。
Grafana是一款能够提供查询、告警和可视化指标、日志、链路跟踪的软件，并且提供了TSDB时序数据库用于存储数据。 一共有3个版本，Grafana OSS（开源版），Grafana Enterprise（企业版），Grafana Cloud（云版）。 开源版为免费版本，升级企业版要重新安装；企业版包含开源版内容，并且可以升级到完整的企业版功能，是官方推荐安装的版本；云版提供免费的10K系列指标、50G大小日志、50G大小链路追踪功能。
先需要安装ossutil这是一键安装脚本（Linux）sudo -v ; curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash下面是脚本user="root" #备份用户密码 password="111111" #mysql连接端口 port="3306" mysql_path="/usr/bin/" date=$(date +%Y-%m-%d_%H-%M-%S) del_date=$(date +%Y-%m-%d) #备份路径-
kafka简介：Kafka是一个开源流处理平台，Kafka是通过解析数据库端日志来进行发布订阅消息的系统，它可以处理消费者在网站中的所有动作流数据。
JuiceFS 是一个创新性的软件产品，很多初次尝试的小伙伴对产品和用法感到很多疑惑，所以为了帮助大家快速理解并上手 JuiceFS，我们整理了24个关于 JuiceFS 经典的问题答案，相信经过这 24 问，大家对 JuiceFS 会有更清晰的认识，使用上也会更加得心应手。
早些时候 Erda Show 针对微服务监控、日志等内容做了专场分享，很多同学听完后意犹未尽，想了解更多关于日志分析的内容。Erda 团队做日志分析也有一段时间了，所以这次打算和大家详细分享一下我们在做的一些事情，希望对大家有所帮助。
分布式HTAP数据库 TBase（TencentDB for TBase，TBase）是基于postgresql-xc的BSD开源协议 ，进行自主研发的分布式数据库系统。TBase 集高扩展性、SQL 高兼容度、完整的分布式事务支持、多级容灾及多维度资源隔离等功能于一身,目TBaseV2.15完全兼容pgV10。采用无共享的集群架构，提供容灾、备份、恢复、监控、安全、审计等全套解决方案，适用于TB- PB级的数据应用场景。
大家好，我是山月，这是我最近新开的专栏：「前端部署系列」。包括 Docker、CICD 等内容，大纲图示如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
