因为项目的需求，要 lz4.0.10.1 的，因为本机已经有一个 1.1.0 版本的，所以必须先卸掉，然后我差点没疯了（手动微笑）
在Linux环境中，高效的数据压缩和解压缩是数据处理和分析中不可或缺的环节。lz4命令（注意：这里假设的lz4可能并非Linux标准命令，因为它不是广泛认可的压缩工具名称，但类似的工具如lz4hc、lz4frame或基于LZ4算法的压缩工具是存在的）通常指的是使用LZ4算法进行快速压缩和解压缩的工具。LZ4算法以其极快的压缩和解压缩速度而闻名，尤其适用于需要快速实时处理大量数据的场景。
对于列压缩选项，PostgreSQL 14提供了新的压缩方法LZ4。与TOAST中现有的PGLZ压缩方法相比，LZ4压缩更快。本文介绍如何使用整个选项，并和其他压缩算法进行性能比较。
lz4是一个让"人见人爱、花见花开"的压缩算法，能够在多核上很好的扩展。lz4在压缩率上略微逊色, 但是在解压速度上有着惊人的优势 (大概是gzip的3倍(多次测试对比))。因为压缩时高效的多核利用，再加上惊艳的解压，lz4已经在非常多重要场合使用了! 对于需要频繁压缩、实时快速解压的场景来说，lz4非常适合；lz4 解压缩的对象是文件而不是目录。
从以开始就一直在尝试对WAL进行不同级别的压缩。自2016年以来内置功能（wal_compression）就一直存在，几乎所有备份工具都会在传递到备机前对WAL进行压缩。但现在是时候再看看内置的wal_compression功能了。因为PG15提供了更多功能。如果我们将其与PG15中WAL归档的其他重大改进相结合，将会有相当大的收益，如之前贴子PG15中的新WAL归档模块/库：
近年来，随着物联网等场景的不断发展，一些问题也逐渐的暴露了出来，就比如嵌入式设备上的 CPU时钟频率，电源等资源都是有限的；对于部分设备来说可能换个时钟频率高的时钟、换个大的电池确实可以解决问题，但对于手机这种嵌入式移动设备来说，像是要做到便携、轻薄等等要求，体积就被限制住了，电源也因此被限制住了。
在 dotnet 可以使用 LZ4 这个无损的压缩算法，这个压缩算法的压缩率不高但是速度很快。这个库支持在 .NET Standard 1.6 .NET Core .NET Framework Mono Xamarin 和 UWP 运行
LZ4和ZSTD压缩算法合入了PG16。LZ4补丁的作者是Georgios Kokolatos。由Tomas Vondra提交。由Michael Paquier、Rachel Heaton、Justin Pryzby、Shi Yu 和 Tomas Vondra 审阅。提交消息是：
最近有人问了关于POSTGRESQL 数据压缩的问题，其中有一个问题是关于修改了参数后，无法应用，并且数据库无法启动的问题，我们先从这里说起新的压缩模式。
与MYSQL 不一样，开源XTRABACKUP 的备份软件无法跟上MYSQL 版本的更迭，PG 这点做的是一贯的好。从来没有让人失望过。
Kafka 支持的压缩算法还挺多的，这一篇来站在Kafka的角度看一下压缩算法。就当前情况来说，支持GZIP、Snappy、LZ4 这三种压缩算法。具体是通过compression.type 来开启消息压缩并且设定具体的压缩算法。
新版本里针对AssetBundle格式简单并且容易破解的问题，推出了加密功能，目前加密需要AssetBundle为LZ4压缩格式，其它格式的加密后续推出。这里说一下常用的压缩方式及对应的压缩算法。
## 摘录自 《最快创建一个MySQL从机的姿势》 姜承尧 InsideMySQL 微信公众号
在ClickHouse中，数据分区是一种将表中的数据根据特定的规则划分成不同的部分，并将这些部分存储在独立的目录中的技术。数据分区可以提高查询性能、减少存储空间的使用，并且可以根据业务需求进行优化。
通过Snappy.compress()进行压缩，压缩后的数据没有magic header
TiKV 最底层使用的是 RocksDB 做为持久化存储，所以 TiKV 的很多性能相关的参数都是与 RocksDB 相关的。TiKV 使用了两个 RocksDB 实例，默认 RocksDB 实例存储 KV 数据，Raft RocksDB 实例（简称 RaftDB）存储 Raft 数据。
https://www.ossez.com/t/druid-kafka-indexspec/13673
远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。
对于较大的数据库，我们一般都是使用innobackup进行备份，备份的及恢复的速度更快。
Hive支持的压缩格式有bzip2、gzip、deflate、snappy、lzo等。Hive依赖Hadoop的压缩方法，所以Hadoop版本越高支持的压缩方法越多，可以在$HADOOP_HOME/conf/core-site.xml中进行配置：
目前，在使用社区版的kylin-2.3.1版本时，streaming cube在第一步就报错了，通过查看MR的错误日志，发现应该是缺少了lz4相关的包导致的。相关的错误堆栈如下所示：
将数据按照 key 的范围划分成大致相等的切片（下文统称为 Region），每一个切片会有多个副本（通常是 3 个），其中一个副本是 Leader，提供读写服务。
The default value compresses stored data with LZ4 compression, but this can be set to best_compression which uses DEFLATE for a higher compression ratio, at the expense of slower stored fields performance.
Pyxamstore是一款针对Xamarin AssemblyStore文件（assemblies.blob）的强大解析工具，该工具基于纯Python 2.7开发，支持从一个APK文件中解包并重封装assemblies.blob和assemblies.manifest Xamarin文件。
日志服务（Cloud Log Service，CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。
MemProcFS是一款功能强大且方便实用的物理内存数据查看工具，该工具可以帮助广大研究人员在一个虚拟文件系统中中以文件形式查看物理内存数据。
压缩在数据传输和存储过程中经常扮演着十分重要的角色，因此提高压缩的效率可以帮助我们节省时间和降低存储成本。本文介绍了压缩算法的优化在构建部署平台的应用，能够帮助研发团队提高研发和交付效率。
压缩算法是一种通过减少数据量来节省存储空间或传输数据的技术。压缩算法可以分为两种类型：有损压缩和无损压缩。 有损压缩算法会牺牲一定的数据精度或质量，在压缩数据的同时丢失一些信息。这种算法适用于音频、视频等多媒体数据，例如JPEG和MP3等格式。 无损压缩算法则能够完全还原原始数据，不会造成数据丢失。这种算法适用于需要准确还原数据的场景，如文档、代码等，例如ZIP和GZIP等格式。 常见的压缩算法包括哈夫曼编码、Lempel-Ziv算法、Run-Length Encoding（RLE）等。这些算法通过不同的方式对数据进行编码和解码，以实现数据压缩和解压缩的目的。
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽
《E往无前》系列将着重展现腾讯云大数据ES在持续深入优化客户所关心的「省！快！稳！」诉求，能够在低成本的同时兼顾高可用、高性能、高稳定等特性，可以满足微盟、小红书、微信支付等内外部大客户的核心场景需求。 E往无前 | 日志成本下降25%+！腾讯云大数据ES Lucene压缩编码深度优化大揭秘 导语：Lucene作为Elasticsearch的底层索引引擎，提供了灵活的数据检索能力。但在日志数据领域，Lucene现有的设计导致数据膨胀较为严重，本文介绍了关于Lucene底层文件格式的系统性优化思路。这些优化特
最近看到一篇由Alexander Zaitsev撰写的,关于ClickHouse性能对比的文章(文末会有报告的原文地址)，觉得很有意思，所以拿来与大家分享一下。它有趣的地方在于，这是一篇针对性能对标的，性能对标测评。这算不算螳螂捕蝉，黄雀在后呢？
软件介绍/功能 MacZip (原 eZip) 是一款支持压缩包内文件预览的全能型 Mac 解压缩应用。支持 rar, zip, 7z, tar, gz, bz2, iso, xz, lzma, apk, lz4 等超过 20 种常见压缩格式。完美处理加密解密、中文乱码等问题！批量文件加密，永久免费！ 完美兼容 Big Sur 支持 Big Sur, Catalina, Mojave, High Sierra, Sierra, EI Caption, Yosemite 苹果操作系统。 支持超过 20 种压缩
作者介绍 作者介绍：jennyerchen（陈再妮），PostgreSQL ACE成员，TDSQL PG开源版负责人，有多年分布式数据库内核研发经验，曾供职于百度数据库团队，加入腾讯后参与了TDSQL PG版异地多活、读写分离、Oracle兼容等多个核心模块的研发，当前主要负责CDW PG的存算分离相关特性的研发工作。 背景简介 CDW PG是腾讯自主研发的新一代分布式数据库，其具备业界领先的数据分析能力，在提供大型数据仓库处理能力的同时还能完整支持事务, 采用无共享的集群架构，适用于PB级海量 OLAP
最近接触到一些海量数据存储的需求，为了解决这样的需求，一个想法是对数据进行一定程度的聚合。在应用层的聚合方式，这里不展开。但是让我联想到的是以前学习 prometheus tsdb的时候接触到的压缩技术。即使本质上来讲，应用层的数据聚合，就是一种数据压缩技术。而 tsdb 使用的 gorilla 技术令人印象深刻。有兴趣的可以详细看一下 prometheus 作者的这篇博客, 以及其使用的技术 gorilla 的 paper. 简而言之 prometheus 的 tsdb 简洁强大，受益于其高效的压缩【gorilla 平均能压缩 16 byte samples to an average of 1.37 bytes】和查询效率，其单机的设计并没有影响他在众多场景中的广泛使用。
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的,可以使用压缩来节省我们的MR处理的网络带宽。
现在开始写.proto文件,在src/main下面新建proto文件夹,在proto里面新建一个文件,注意后缀是.proto,我这里是cls.proto,
Kafka默认提供了多个命令行脚本，用于实现各种各样的功能和运维管理。从2.2版本开始，提供了多达30+个Shell脚本。
1 - A list of partitions 2 - A function for computing each split 3 - A list of dependencies on other RDDs 4 - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned) 5 - Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)
事接上回，当我继续想办法看懂 Brotli的第一阶段时，发现自己卡住了。毕竟自己的基础不是很好，只能想办法去解决，苦闷了一个下午，没办法，只能去死磕这一阶段参考的几篇论文。而我磕的四篇论文中的第一篇，就是这个—— 《Bicriteria Data Compression》。
TinyLog表引擎适合处理大量小型日志数据，例如日志文件、事件日志等。这些数据一般按照时间顺序进行写入和查询，而且很少需要进行复杂的查询操作。
本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据不同量级的消息处理结果，评估Kafka的处理性能是否满足项目需求（该项目期望Kafka能够处理上亿级别的MQ消息）。
读取AB包 1.直接记载一个单独的物体（无依赖） 通过AssetBundle的LoadFromFile方法获取AB包，在通过LoadAsset的泛型方法获得GameObject
x64dbg 是一款开源的应用层反汇编调试器，旨在对没有源代码的可执行文件进行恶意软件分析和逆向工程，同时 x64dbg 还允许用户开发插件来扩展功能，插件开发环境的配置非常简单，如下将简单介绍x64dbg是如何配置开发环境以及如何开发插件的。
Druid支持流式和批量两种方式的数据摄入，流式数据是指源源不断产生的数据，数据会一直产生不会停止。批量数据是指已经生产完成的数据。这两种数据都可以加载到Druid的dataSource中供OLAP分析使用。
对于裸机来说，先得安装C++的编译工具 yum -y install gcc gcc-c++ 下载cmake wget https://cmake.org/files/v3.9/cmake-3.9.2.tar.gz tar -xzvf cmake-3.9.2.tar.gz cd cmake-3.9.2 ./configure make && make make install 安装gflags git clone https://github.com/gflags/gflags.git cd gflags/
Percona 最近发布了 Percona Server with MyRocks 的 GA 版本。本文会让你了解到为什么 Facebook 要在生产环境使用 MyRocks 了。如果你使用 Percona repositories ，你能够简单的安装 MyRocks 插件并且用 ps-admin --enable-rocksdb 来启动它。
ClickHouse提供了多种压缩算法来满足不同场景的需求，用户可以根据数据类型和性能要求选择适当的压缩策略。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
