上一篇文章《使用压缩文件优化io (一)》中记录了日志备份 io 优化方案，使用文件流数据压缩方案优化 io 性能，效果十分显著。这篇文章记录数据分析前置清洗、格式化数据的 io 优化方案，我们有一台专用的日志前置处理服务器，所有业务日志通过这台机器从 OSS 拉取回来清洗、格式化，最后进入到数据仓储中便于后续的分析。
最近开始自己摸一些小鱼，算是拓展一下知识面。因此开始寻找可以降低配置量的 CI 与 CD 方案。
陌溪这次和小伙伴们来聊一聊蘑菇博客的部署，在经过项目的不断更新迭代，部署方式也是经历了多个阶段。分别是：手动部署，Docker部署，Docker-Compose部署。而在这两天，陌溪应小伙伴们的要求，继续简化部署流程，完成了使用 一条命令部署蘑菇博客 。下面，让我们一起来看看蘑菇博客部署方式的变化。
$ go mod init pkslow.com/pkslow_test go: creating new go.mod: module pkslow.com/pkslow_test
人群创建成功后会存储在Hive表和OSS中，画像平台用户有时需要拉取人群数据并应用到一些业务中。比如用户希望在Push平台上针对指定人群下的所有用户推送消息，此时可以使用画像平台接口拉取人群数据；在七夕活动中，运营人员投放使用了多个人群，为了分析不同人群的转化效果，此时需要将人群结果的Hive表提供给数据分析师使用。综上可知，人群数据对外输出方式主要分为两种：Hive表和服务接口。
Docker 1. 简介 1.1 什么是虚拟化 在计算机中，虚拟化（Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部分是不受现有资源的架构方式，地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储 在实际的生产环境中，虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用，透明化底层物理硬件，
相关官网(需访问国外网站): sebp/elk历史镜像版本查询页 sebp/elk镜像官网
在近日的一个风和日丽的下午，正在快乐的写 bug 时，突然间钉钉就被 call 爆了，原来是 k8s 测试集群的一个 namespace 突然不见了。这个 namespace 里面有 60 多个服务，瞬间全部没有了……虽然得益于我们的 CI/CD 系统，这些服务很快都重新部署并正常运行了，但是如果在生产环境，那后果就是不可想象的了。在排查这个问题发生的原因的同时，集群资源的灾备和恢复功能就提上日程了，这时 Velero 就出现了。
序 本文主要展示一下如何使用支持WebFlux的Swagger ayush.png maven <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>${swagger.version}</version> </dependency> <depe
序 本文主要展示一下如何使用支持WebFlux的Swagger maven <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>${swagger.version}</version> </dependency> <dependency>
导读| 如何让功能缺陷修复快速上线？版本发出问题时怎样快速回退？效率提升后质量掉队？为解决这些常让运维工程师头疼的事情，本栏目特邀腾讯知名运维工程师袁旭东，讲述对象存储COS的发布演进过程，为各位开发者提供业务通用的高效高质变更方法。该业务通过提升灰度自测能力、优化流转时间和并发策略等方法实现提效，同时提出措施保障质量，并设置了一套可度量体系保障持续监控、调优，最终带动发布变更水平上新台阶。 背景 1）背景诉求 现网发布变更对运维开发工程师来说是最繁重的工作。发布变更的概念、节奏等已经是老生
文件服务器是一个应用必要的组件之一。最早我搞过FTP，然后又用过FastDFS，接私活的时候我用MongoDB也凑合凑合。现如今时代不同了，开始流行起了OSS。
Nexus是Sonatype提供的仓库管理平台，Nuexus Repository OSS3能够支持Maven、npm、Docker、YUM、Helm等格式数据的存储和发布；并且能够与Jekins、SonaQube和Eclipse等工具进行集成。Nexus支持作为宿主和代理存储库的Docker存储库，可以直接将这些存储库暴露给客户端工具；也可以以存储库组的方式暴露给客户端工具，存储库组是合并了多个存储库的内容的存储库，能够通过一个URL将多个存储库暴露给客户端工具，从而便于用户的使用。通过nexus自建能够有效减少访问获取镜像的时间和对带宽使用，并能够通过自有的镜像仓库共享企业自己的镜像。在本文中，采用Docker模式安装部署Nexus。
AWS的S3, 阿里云的OSS, 腾讯云的COS， 都是常见的对象存储服务。对象存储服务面向非结构化数据，支持通过HTTP/HTTPS协议访问，支持存入文本、图片、视频等多种类型的数据。
PS：docker的方式安装gogs 和 nexus。jenkins正常的方式安装。
在云计算客户的拓展过程中，会面临客户的各种需求。其中最常见的需求包括，如何在云计算上构建客户的业务系统，搭建基础架构；另外一个就是如何实现客户数据的高效存储，包括存储新产生的用户数据，以及将现有的用户数据平滑迁移到云计算上来，提供更方便，更快捷的访问。
很多公司都是搭建自己的Maven私有仓库，今天就带大家使用nexus搭建一个自己的私有仓库，并使用idea上传java到自己的仓库。
在执行install.sh安装脚本时，通过--with-chartmuseum参数安装chart插件。
我们通常使用的Jar包，大多都是从镜像上拉取的，也有私人仓库，也有直接从Maven中央仓库拉取的，无论从镜像还是仓库，发布到中央仓库的jar包，都是可以直接拉取下来的。所以，当我们自己打包了一个jar包之后，打算开源出去装逼的时候，我们就可以将jar包发布到sonatype.org，这个地址看起来不是maven，但是发布上去之后，我们在mvnrepository.com和search.maven.org都可以看到自己的jar包了。
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
导语：随着云存储业务蓬勃发展，节点数不断扩展。在数十万节点的庞大系统中，如何做到一周内完成全区域覆盖，并杜绝版本发布中的人为失误？文章围绕对象存储(以下简称COS)整体的发布演进，从发布效率的极致提升，平台发布标准化外包化上展开，讲解COS发布成熟度如何提升（当前level2+），希望提供业务通用的高质量变更模式与提效参考。
Serverless架构是近年来迅速兴起的一个技术概念。基于这种架构能构建出多种应用场景，适用于各行各业。只要是对轻计算、高弹性、无状态等场景有诉求，您都可以通过本文来熟悉一些基础概念，并从相关场景中获得启发。
创建之后半个小时左右会收到一封邮件, 这里要求我在自己的GitHub中创建一个指定名称的仓库
Docker 变得越来越流行，它可以轻便灵活地隔离环境，进行扩容，运维管理。对于业务开发者而言，随着持续集成的发展，对代码质量及快速迭代的要求也越来越高。
最近leader给了KingYiFan一个任务，就是对接某国企的业务，人家用的淘宝的HSF框架RPC通信 根本不用httpclient what？？？ RPC不是Dubbo底层协议吗？这怎么通讯呢？翻遍了整个百度没有我想要的。 有一个大佬人家自己封装了一个RPC通讯含监控中心（积分下载的）需要联系我哈。
执行 sudo docker run hello-world 的时候，如果你没有构建过这个hello-world镜像，或从其它地方拉取过这个镜像，docker自动去docker上拉取最新的hello-world 镜像
自 17 年开源以来，Dragonfly[1] 被许多大规模互联网公司选用并投入生产使用， 并在 18 年 10 月正式进入 CNCF，成为中国第三个进入 CNCF 沙箱级别的项目。 2020 年 4 月，CNCF 技术监督委员会（TOC）投票决定接受 Dragonfly 作为孵化级别的托管项目。 Dragonfly 多年生产实践经验打磨的下一代产品，它汲取了上一代 Dragonfly1.x 的优点并针对已知问题做了大量的优化。
本文介绍了如何使用 Kubespray 在本地开发测试部署 Kubernetes 集群及其注意事项。
Demo => Demo1 => Demo2 => ... =>Demo1001 => Demo最终版本 => Demo最终确认版本！
通过docker logs -f nexus查看启动日志，当出现Started Sonatype Nexus OSS说明启动成功，这时通过http://ip:8081即可访问
随着 Flutter 等跨端框架的出现，业务开发同学经常需要在 Android/IOS 上跨端进行业务开发，问题定位等。新的不熟悉的环境的搭建总会遇到各种各样的问题，导致搭建失败，特别是 IOS 开发环境，是最复杂的，不仅环境搭建繁琐，而且切分支后的打包速度很慢，所以我们设计实现了两个工具，用于优化闲鱼 IOS 开发体验。
docker 提供了官方的 registry 仓库镜像，可以通过docker hub进行拉取：
毫末智行是一家致力于自动驾驶，提供智能物流解决方案的人工智能技术公司。数据智能是毫末智行的核心能力，乘用车自动驾驶系统及解决方案、低速无人车生态系统及解决方案、自动驾驶相关产品研发与定制服务三大垂类产品为数据智能服务，同时，数据智能也反哺三大垂类产品。
Nexus Repository 是一个开源的仓库管理系统，在安装、配置、使用简单的基础上提供了更加丰富的功能。3 月 31 日 Nexus Repository Manager 官方发布了 CVE-2020-10199 CVE-2020-10204 的漏洞通告信息，两个漏洞均是由 Github Secutiry Lab 的是 @pwntester 发现的。
这是第 2 版《有一台服务器可以做哪些很酷的事情》。如果想要看看三年前的一些被弃用的服务，你可以移步： 有一台服务器可以做哪些很酷的事情
这是第 2 版《有一台服务器可以做哪些很酷的事情》。如果想要看看三年前的一些被弃用的服务，你可以移步：【玩转腾讯云】有一台腾讯云可以用来做什么（https://cloud.tencent.com/developer/article/1617021）
centos6系列于2020年11月份已经停止提供服务，现在各大镜像源已经关闭centos6的yum源，需要下载镜像后在本地搭建yum源方便使用。
自从 github 提供了 github actions 后，个人或者依赖于 github 的公司可以考虑把持续集成方案迁到 github actions。
FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等，是全域、异构、批流一体的数据同步引擎，大家如果有兴趣，欢迎来github社区找我们玩~
Apache HoraeDB 是蚂蚁集团针对高基数时序数据场景设计并优化的开源时序数据库，后捐献给 Apache 软件基金会。它专门针对需要处理大量时间序列数据的应用场景，如物联网(IoT)、应用性能监控(APM)和金融交易监控等。
良好的监控环境为腾讯云容器服务高可靠性、高可用性和高性能提供重要保证。您可以方便为不同资源收集不同维度的监控数据，能方便掌握资源的使用状况，轻松定位故障。 腾讯云容器服务提供集群、节点、工作负载、Pod、Container 5个层面的监控数据收集和展示功能。 收集监控数据有助于您建立容器集群性能的正常标准。通过在不同时间、不同负载条件下测量容集群的性能并收集历史监控数据，您可以较为清楚的了解容器集群和服务运行时的正常性能，并能快速根据当前监控数据判断服务运行时是否处于异常状态，及时找出解决问题的方法。例如，您可以监控服务的 CPU 利用率、内存使用率和磁盘 I/O
Maven 是 Java 的一个包管理工具，就像是 Rust 的 cargo 或 Node.js 的 NPM，通过 Maven 可以使用一组包坐标从特定仓库中获取到需要的开发依赖，极大简化了开发流程。
大家好，又见面了，我是你们的朋友全栈君。 Docker环境下安装Rabbitmq 一 、简介 什么是rabbitmq： RabbitMQ是一套开源（MPL）的消息队列服务软件，是由 LShift 提供的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现，由以高性能、健壮以及可伸缩性出名的 Erlang 写成。 官网地址：https://www.rabbitmq.com/ 二 、环境准备 LInux环境：Centos7 Docker版本：
CDN 在静态资源的加速场景中是将静态资源缓存在距离客户端较近的CDN 节点上，然后客户端访问该资源即可通过较短的链路直接从缓存中获取资源，而避免再通过较长的链路回源获取静态资源。因此 CDN的缓存命中率的高低直接影响客户体验，而保证较高的命中率也成为了站长的核心命题。在本文中我们就一起探讨 CDN 缓存命中率的概念、影响因素以及优化策略。
Azure Blob Stoage 是微软Azure的对象存储服务。国内的云一般叫OSS，是一种用来存储非结构化数据的服务，比如音频，视频，图片，文本等等。用户可以通过http在全球任意地方访问这些资源。这些资源可以公开访问，也可以私有访问。看到这些描述立马就想到这这个服务可以用来做静态文件服务。
大家好，我是小鑫同学。一位从事过Android开发、混合开发，现在长期从事前端开发的编程爱好者，我觉得在编程之路上最重要的是知识的分享，所谓三人行必有我师。
PS：docker的方式安装gogs 和 nexus。jenkins正常的方式安装。下节在104上回顾下tomcat的持续发布管理。
阿里云高级技术专家车漾老师在 QCon 上海会议上，分享了在 Fluid 项目作为云原生 AI 场景下的数据和任务编排框架，在 AIGC 模型推理工程化落地方面做了许多优化探索的工作，包括简化云原生 AI 场景的分布式缓存管理和运维，降低资源成本；以及优化推理服务读取模型数据的效率，加速模型加载过程。同时也会演示了如何通过 Fluid 将一个 LLM 模型的推理加载速度提升近 7 倍，同时提供缓存弹性的能力，避免资源浪费的实践话题。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
