使用 Sonatype Nexus 作为 maven 私服，有两个无法避免的运维问题。
最近需要寻找一种更友好的方式来存储我们的模型。我们曾经在使用 ormb 时遇见了问题，由于我们的模型有的非常大（数十 GB），在使用 ormb 时将会面临：
不知道大家有没有遇到比较大的项目，git clone 很慢很慢，甚至会失败的那种。大家会怎么处理的呢？
大多数供应商提供各种不同的云存储服务，并且每种服务的价格可能会受到许多不同因素的影响。例如，数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用、数据访问费用，以及支持订阅等都可能影响云存储的定价。 对于企业来说，估测云存储的定价可能非常复杂。并且，对行业领先的云计算供应商提供的价格进行比较，以确定价格最低的云存储更为复杂。 大多数供应商提供各种不同的云存储服务，并且每种服务的价格可能会受到许多不同因素的影响。例如，数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。
Thanos[1] 和 VictoriaMetrics[2] 都是用来作为 Prometheus 长期存储的成熟方案，其中 VictoriaMetrics 也开源了其集群版本[3]，功能更加强大。这两种解决方案都提供了以下功能：
最近研究文件系统，把近期比较火的JuiceFS代码翻出来看了一下，研究为啥其性能要比CephFS要好。
在上期提到，对象存储作为低成本，接口通用开放，可远程访问的一种新型云存储形式，得到了广泛的应用，而AWS的S3(Simple Storage Service)也成为了对象存储的事实标准。
Ceph对象存储是一种分布式存储系统，旨在提供高可靠性和可扩展性的存储解决方案。它通过将数据分布在多个节点上，使用冗余和数据恢复机制来确保数据的安全性和持久性。Ceph对象存储使用分布式算法来管理数据的位置和副本，以实现数据的可靠性和高性能。
贾晶晶，Zilliz 数据工程师 & 高昌健，Juicedata 解决方案架构师，十年互联网行业从业经历，曾在知乎、即刻、小红书多个团队担任架构师职位，专注于分布式系统、大数据、AI 领域的技术研究。
对于企业而言，数据上云“常态化”的趋势，无疑是一个巨大的技术红利。而数据规模爆发式增长的今天，移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是，在对象存储方面，大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。但如果企业的数据集非常大，访问时间紧要求快，或者源和目标之间的地理距离太远，那么企业可以考虑使用镭速传输。
昨天晚上，星球里不止一位小伙伴发帖子表示自己网站、文章中的图片竟然全部变成了 Gitee 的图标？！
现在云服务商对学生都是很优惠的，腾讯云学生服务器腾讯云也推出了9.9元购买云服务器的优惠活动，是一款固定的优惠套餐，包含特价云服务器、域名(加钱可选)、免费对象存储空间（6个月），但是好多用户却不知道在哪里申请，需要什么条件，流程是怎么样的，下面给大家做个介绍
MinIO是一个非常轻量的对象存储服务，它只有一个二进制文件即可运行，快速的构建分布式的对象存储集群，适合存储大容量的非结构化数据，比如图片、日志文件等这些。
继网络接入存储、块存储、文件存储之后，对象存储掀起了新一轮的发展浪潮。如今，传统企业存储比如NAS或者SAN等显然无法应对如此海量的非结构化数据存储需求。国外IBM、Red Hat、HDS、EMC等巨头、国内华为云、青云、杉岩数据等企业纷纷在企业级对象存储领域展开了积极布局。
云场景攻防：公有云，私有云，混合云，虚拟化集群，云桌面等 云厂商攻防：阿里云，腾讯云，华为云，亚马云，谷歌云，微软云等 云服务攻防：对象存储，云数据库，弹性计算服务器，VPC&RAM等 云原生攻防：Docker，Kubernetes(k8s)，容器逃逸，CI/CD等
如今短视频发展迅猛，数据的增长速度比以往任何时候都快，其中大部分数据是非结构化的：如图片、视频、音频等等。
Elasticsearch的第一个版本于 2010 年作为分布式可扩展搜索引擎发布，允许用户快速搜索并获得关键见解。十二年的发展和超过 65,000 次提交后，Elasticsearch 继续为用户提供久经考验的解决方案，以解决各种搜索问题。得益于 1,500 多名贡献者（包括数百名 Elastic 全职员工）的努力，Elasticsearch 不断发展以应对搜索领域出现的新挑战。
我们经常会用 git clone 来下载项目，但遇到大项目的时候，clone 就很慢，比如 react：
在之前的文章中，说到了SeaweedFS和MinIO，如果是使用的微软全家桶的话，那肯定就使用Azure Blob了，更直接、更简单和更高效。
本文最初发表于 Materialized View 网站，由 InfoQ 中文站翻译分享。
在软件开发过程中，我们经常需要处理和存储文件。通常情况下，我们会将文件保存在文件系统中，并在数据库中保存文件的路径。然而，有时候我们可能想直接在数据库中存储文件，尤其是当文件较小，或者我们想保证数据库和文件数据的一致性时。在这篇文章中，我们将探讨如何在MySQL数据库中设计一个表来存储文件，并分析这种方案的优缺点。
相较传统的重量级OLAP数据仓库，“数据湖”以其数据体量大、综合成本低、支持非结构化数据、查询灵活多变等特点，受到越来越多企业的青睐，逐渐成为了现代数据平台的核心和架构范式。
1. 前言 Git-Internals-Git-Objects | 从该文中可以了解到git 对象有：blob (数据块), tree (目录树), commit (提交)。 本文通过一个示例，以blob为例来讨论对象的存储结构。示例采用的git版本为2.17 。 2. 实践讨论 2.1. 生成Blob对象文件 首先创建一个测试git仓库 $ mkdir hello $ cd hello $ git init 然后通过创建一个文件 test，test的内容为 "hello", 可以看到test文件的字节
Indexed Database API 简称 IndexedDB，是浏览器中存储结构化数据的一个方案。IndexedDB 用于代
Git 的本质是一个文件系统（很重要，记住这句话，理解这句话），工作目录中的所有文件的历史版本以及提交记录（commit）都是以文件对象的方式保存在 .git 目录中的。
腾讯云对象存储（Cloud Object Storage，COS）是腾讯云提供的一种存储海量文件的分布式存储服务，用户可通过网络随时存储和查看数据。
Vercel 是一个流行的 React.js、Next.js 等前端应用部署平台，我们可以一键将 Github 上的应用部署上线，但它缺少一个重要部分：数据库。不过现在已经有了四种新数据库可供选择。
Git 对象有：blob (数据块), tree (目录树), commit (提交), tag (标签)。
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
在本文中，我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务。S3 是 Amazon Web Services (AWS) 提供的一项服务， 它通过基于 RESTful API 的接口提供对象存储。根据亚马逊的报告，到 2021 年，有超过 100 万亿个对象存储在 S3 中。
FileStream:文件流,为了解决大对象BLOB(Binary Large Objects)的存储问题.对于大对象存储,并且不受2GB的限制. 以往有两种方式: (1)存储在数据库里面,这种方式一般使用image字段,或者varbinary(max)来做,好处是可以统一备份,但实际效率较低; (2)存储在文件系
我在之前的博文《Elasticsearch引入可搜索快照（searchable snapshot）》中介绍过Searchable snapshot这个功能，简单来说，通过这个功能，我们能够解锁对象存储简单用作快照备份的功能，实现：
Azure Blob Stoage 是微软Azure的对象存储服务。国内的云一般叫OSS，是一种用来存储非结构化数据的服务，比如音频，视频，图片，文本等等。用户可以通过http在全球任意地方访问这些资源。这些资源可以公开访问，也可以私有访问。看到这些描述立马就想到这这个服务可以用来做静态文件服务。
说明：Thanos是一组组件，组成一个高度可用的度量系统，具有无限的存储容量，无缝地添加到现有的Prometheus部署之上。Thanos利用Prometheus 2.0存储格式，在任何对象存储中高效地存储历史度量数据，同时保留快速查询延迟。此外，它还提供了一个跨所有Prometheus安装的全局查询视图，可以动态地合并来自Prometheus HA对的数据。项目具体目标是：度量的全局查询视图；度量的无限保留；组件的高可用性，包括Prometheus。Thanos由Cloud Native Computing Foundation（CNCF）托管。如果您是一家希望帮助塑造容器打包、动态调度和面向微服务的技术发展的公司，请考虑加入CNCF。有关谁参与以及Thanos扮演角色的详细信息，请阅读Thanos的建议书。
Cosbench 是 Intel 开源的对象存储的压测工具 https://github.com/intel-cloud/cosbench，关于使用文档和官方文档可以参考下面的链接。 压测参考文档: https://cloud.tencent.com/document/product/436/47974 官方文档: https://github.com/intel-cloud/cosbench/blob/master/COSBenchUserGuide.pdf
前面文章我们介绍过一些常用数据类型的用法，比如 int、char、varchar 等。一直没详细介绍过 blob 及 text 类型，虽然这两类数据类型不太常用，但在某些场景下还是会用到的。本篇文章将主要介绍 blob 及 text 数据类型的相关知识。
随着互联网和公有云的发展，越来越多的企业把数据放到公有云上，COS（Cloud Object Storage）作为腾讯云的对象存储产品，提供了高容量、高可靠、低成本的存储解决方案，也使得客户把越来越多的业务数据放到了COS上。
使用对象存储服务 COS 时，可通过 RESTful API 对 COS 发起 HTTP 匿名请求或 HTTP 签名请求，对于签名请求，COS 服务器端将会进行对请求发起者的身份验证。
最近订阅学习了《深入浅出云计算》专栏，一口气学完之后，做了一些总结笔记形成此文，特分享与你，希望对你有所帮助！本文为下半部分，主要总结了PaaS篇的核心要点。
作者简介 妙成，携程云原生研发工程师，主要从事Elasticsearch、JuiceFS的研发运维，关注分布式数据库、NoSQL。 小峰， 携程云原生研发工程师，主要专注于数据库容器化领域，对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+，包括备份数据、图片语音训练数据和日志数据等，存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点： GlusterFS 在单目录下文件众多时，ls命令速度很慢； 受疫情期间机器采购周期的制约，无法灵活地根据实际需求弹性扩缩容
LinkedIn开源了多媒体对象存储数据库Ambry，开源不久，算是一个很新的事物。Ambry用来做对象存储，非常适合用于存储像LinkedIn这种社交媒体网站的对象数据（如图片，视频等等）。 LinkedIn过去使用的是一种闭源技术，非常复杂，而且也难以随着用户数和数据量的增长而扩展。LinkedIn工程总监Sriram Subramanian在博客中指出：
我们正在经历一个 Data + AI 的黄金时期，AI 已在大数据领域展现出巨大的潜力。QCon 全球软件开发大会·广州站邀请到 Datafuse Labs 联合创始人张雁飞老师分享题为《Databend: 大模型时代的 Cloud Warehouse 设计探索》的演讲，本文为 Databend 公众号由此整理。 完整幻灯片下载： https://qcon.infoq.cn/2023/guangzhou/presentation/5257
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
