对于文件的存储、传输、磁盘IO读取等操作在使用Hadoop生态圈的存储系统时是非常常见的，而文件的大小等直接影响了这些操作的速度以及对磁盘空间的消耗。
优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。
随着版本的迭代，业务的增加，QQ音乐apk的大小已经超过25M，其中res目录占用的大小超过5.5M，所以提出了对安装包进行瘦身的技术需求。
目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。
The GNU Compiler Collection，通常简称GCC，是一套由GNU开发的编译器集，为什么是编辑器集而不是编译器呢？那是因为它不仅支持C语言编译，还支持C++, Ada, Objective C等许多语言。另外GCC对硬件平台的支持，可以所无所不在，它不仅支持X86处理器架构, 还支持ARM, Motorola 68000, Motorola 8800, Atmel AVR, MIPS等处理器架构。
网上很多Linux下载软件的方法，看了很多帖子感觉Linux下载软件的方式有很多，每个人都有自己的习惯，对于一个新手来说及其不友好，有时候会看的很蒙。在这里做出总结。
我们站长做个网站都是挺不容易的，从域名注册，掌握虚拟主机或者 VPS 的基本配置，到安全防护，搭建网站、图片处理、发布文章，SEO 等等，是样样精通，不过这里面最重要的工作，其实是网站备份！不要轻易相信服务器商家的备份承诺，最靠谱的还是要你自己动手。 魏艾斯博客一般是定期手动备份，那么今天我们就来说一下基于lnmp 环境下手动备份网站和数据库的步骤。 首先我们用 Xshell 连接 VPS。进入网站目录的上一层目录，比如我的网站目录是/home/wwwroot/www.vpsss.net/，那么输入命令如下
我们站长做个网站都是挺不容易的，从域名注册，掌握虚拟主机或者 VPS 的基本配置，到安全防护，搭建网站、图片处理、发布文章，SEO 等等，是样样精通，不过这里面最重要的工作，其实是网站备份！不要轻易相信服务器商家的备份承诺，最靠谱的还是要你自己动手。
CoM-iMX6UL(L) 是一款兼容 i.MX6UL(L)-x（X=Y0/1/2 三个版本）的高性能、低功耗工业级核心板，主要用于各种工业级、商业级的应用控制终端数据采集和处理、智能物流数据终端、数据中继器、新能源充电桩控制器和计费系统、车载终端数据采集和处理，是 NXF的 i.MX6UL(L)系列产品的一员。
我们Hadoop 2.4集群默认不支持snappy压缩，但是最近有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算，但是直接运行时报错：
前面两篇文章，讲到了云服务的选购，以及域名的注册备案，那么我们项目上线的准备工作其实已经完成一半了。下一步其实就是在服务器上搭建我们的运行环境了。每个人的项目可能运行在不一样的环境，所以在这里我不准备一一介绍，我在这里以我的环境作为示例，我的个人博客后端服务器采用Node.js + MongoDB,所以环境搭建：Node.js + pm2 + MongoDB,前端我采用了Angular框架，因为前后端端口不一致，发起请求会跨域，所以我安装了nginx服务器，将前端项目打包后放在nginx的80端口，每次前端发起请求请求MongoDB数据库的数据， 就通过nginx反向代理，代理到4001端口，去取到服务端的数据，然后返还给前端进行页面的渲染。
编译内核的目的在于把纷繁复杂的内核源码编译成一个可执行的镜像文件。当然，内核功能复杂，并不是所有的 功能都需要用到，所以，我们在使用make对其编译前，要做一件事——配置。kconfig和make就好比将军和士兵。kconfig是指导方向的，make是干活的。kconfig对内核进行配置，告诉make，哪些功能需要编译进内核，哪些功能要作为模块编译，make便根据配置文件来进行编译。 ###编译步骤 获取内核源码（这几天kernel.org被黑了，该步骤方法暂时用不了）： 1、使用git工具： ubuntu
Hive 建设离线数据仓库通常符合：一次写入，多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。
最近，在公司经常会进行项目的部署，但是服务器环境都是导师已经搭建好了的，我就是将项目文件放到特定目录。于是，周末在家就进行了 Nginx 的安装学习。之前，在 Windows 上使用过 Nginx，但是在 Linux 环境下 Ngnix 的安装和在 Windows 环境下安装是有一定区别的。这次进行在 Linux 环境下使用源码包的方式安装 Nginx 遇到了不少的问题，但查阅了一些资料也解决了。希望以下的笔记能帮助你们避开这些问题。
Zookeeper的安装 安装环境： Linux：centos6.9 Jdk:1.7以上版本 Zookeeper是java开发的可以运行在windows、linux环境。需要先安装jdk。 安装步骤： 第一步：安装jdk 第二步：把zookeeper的压缩包上传到linux系统。 第三步：解压缩压缩包 tar -zxvf zookeeper-3.4.6.tar.gz 第四步：进入zookeeper-3.4.6目录，创建data文件夹。 第五步：把zoo_sample.cfg改名为zoo.cfg [ro
源码地址为：https://www.openssl.org/source/old/；当前最新版本为 1.1.0f，https://www.openssl.org/source/old/1.1.0/openssl-1.1.0f.tar.gz
NoSql就是Not Only sql。Nosql是非关系型数据库，它是关系型数据库的良好补充，而不能替代关系型数据库。
一、秒级启动一个HTTP下载服务器 在实际工作中，时不时会有这样的一个需求：将文件传给其他同事。将文件传给同事本身并不是一个很繁琐的工作，现在的聊天工具一般都支持文件传输。但是，如果需要传送的文件较多，那么，操作起来就会比较麻烦。此外，如果文件在远程的服务器上，你要将文件传给同事，则需要先将远程服务器的文件下载到本地，然后再通过聊天工具传给同事。再或者，你并不是特别清楚要传哪几个文件给同事，所以，你们需要进行来回的交流。交流的时间成本是比较高的，会降低办事效率。此时，你们需要更加高效的方法。这个时候，如果你知道Python内置了一个下载服务器就能够显著提升效率了。例如，你的同事要让你传的文件位于某一个目录下，那么，你可以进入这个目录，然后执行下面的命令启动一个下载服务器： 本地有个一文件夹，想共享给局域网同事下载一些里面的文件，可以使用python的如下命令。 • python2的用法如下: python -m SimpleHTTPServer • python3的用法如下: python3 -m http.server --cgi 以上两种方法默认端口8000，可以制定端口，例如指定端口45678: python -m SimpleHTTPServer 45678 python3 -m http.server --cgi 45678
專 欄 ❈本文作者：赖明星 博客地址： https://www.zhihu.com/people/mingxinglai❈ 在这篇文章里，我们将会介绍4个Python解释器自身提供的小工具。这些小工具在笔者的日常工作中经常用到，减少了各种时间的浪费，然而，却很容易被大家忽略。每当有新来的同事看到我这么使用时，都忍不住感叹，原来Python还隐藏了这么好用的功能。下面就来看一下Python自带的几个小工具 一、1秒钟启动一个下载服务器 在实际工作中，时不时会有这样的一个需求：将文件传给其他同事。将文件传给同事
由于从上篇博文 “荔枝派Zero(全志V3S)驱动开发之RGB LCD屏幕显示bmp图片” 中只实现了显示 bmp 图片，实际上我们很常用到的图片多数是 jpg 格式图片，因此我们需要折腾一下，实现 jpg 文件的显示。
其实老早就想写一些关于音视频学习的文章了，但由于各方面的原因迟迟都没有开始。一个方面是因为笔者写文章都是成系统的，音视频需要大家有一定的 c/c++ 基础；还有一个方面是因为之前经验不足，这一块涉及到的细节也比较多。我自己学习时看过大量的文章和资料，这里推荐 雷霄骅的专栏 ，虽然文章的更新永远停在了那一刻，但其无私分享的精神值得我们每一个开发者学习。音视频这系列文章我们打算从基础开始学，然后结合移动端 NDK 来开发。因此如果你已经是音视频开发的老司机，那么本文可能不太适合你，其次如果之前没了解过 NDK 开发，学习起来也可能会有些难度。
1. 建立Uboot的SI工程 1.1首先给uboot打上补丁,然后来生成压缩文件
压缩包是互联网上软件发布的标准格式，同时对于系统管理很有用处。当我们需要将多份文件发送给别人的时候，最好通过压缩包的形式发送，还有在备份某些文件的时候，为了减少磁盘空间的占用，也需要对备份的数据进行压缩。
在Linux环境中，高效的数据压缩和解压缩是数据处理和分析中不可或缺的环节。lz4命令（注意：这里假设的lz4可能并非Linux标准命令，因为它不是广泛认可的压缩工具名称，但类似的工具如lz4hc、lz4frame或基于LZ4算法的压缩工具是存在的）通常指的是使用LZ4算法进行快速压缩和解压缩的工具。LZ4算法以其极快的压缩和解压缩速度而闻名，尤其适用于需要快速实时处理大量数据的场景。
☠️每日毒鸡汤：没撒子可说的，好好看文章吧。 👋大家好！我是你们的老朋友Java学术趴。相毕大家对Windows玩的已经是非常的熟练，那么小编今天给大家带大家搞一搞Linux系统，小编用一个星期的时间给大家整了一些Linux干货，由于内容太多，小编分开发。话不多说，直接进入今天的主题：Linux系统。Linux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统，其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布，它主要受到Minix和Unix思想的启发，是一个基于P
网上大多教程和资源并没有从头到尾告诉怎么编译过程，这边文章教你一个对ndk编译懂的不多，又需要使用三方库，怎么办，硬着头皮搞，又无从下手，网上一堆资料，有价值的不多，到处是偏分的。本篇提供真实能运行，带的资源经过测试的。过程如下：
Tomcat是一个开源的Java Servlet容器，它实现了Java Servlet和JavaServer Pages（JSP）规范。在Linux系统上安装和配置Tomcat可以为Java Web应用程序提供服务。
Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、台式计算机
本篇博客代码及资源下载 : https://download.csdn.net/download/han1202012/10382762
每种数据库本身都有自身的特性,同时面临的业务不同,也会导致每种数据库需要进行调节,来满足某种业务的需求.
lzo压缩格式有很快的压缩/解压速度和合理的压缩率，并且支持分块(split)，所以lzo是目前在Hadoop中最流行的压缩格式。hadoop中的lzo不是自带的，如果要支持lzo，需要另外安装。本文介绍了在hadoop2.0上安装和配置lzo，同样也适用于hadoop1.0。
用过不少种类的数据库的人会遇到一个问题, transparent Hugepages 在不少的数据库中都被提到 disabled, turn off . Why should we turn off
Linux用了这么久发现还有些地方不知道操作，所以在整体的系统学习下，顺便做下笔记。
2021 年 11 月，我们决定评估 arm64 架构在 Uber 的可行性。我们的大多数服务是用 Go 或 Java 编写的，但我们的构建系统只能编译成 x86_64。现在，得益于开源合作，Uber 拥有了一个独立于系统的构建工具链，可以无缝地支持多种架构。我们使用这个工具链来引导 arm64 主机。本文将分享我们是如何着手去做这件事情的，以及我们早期的想法、遇到的问题、达成的一些成就和未来的方向。
ps 命令用于显示当前系统的进程信息。它是 Unix 和类 Unix 操作系统中的一个重要工具，可以用于监控和管理系统进程。以下是 ps 命令的详细用法和常见选项：
在Linux下安装redis： wget http://download.redis.io/redis-stable.tar.gz tax xzf redis-stable.tar.gz cd redis-stable make 安装完成之后可以看到在 /usr/local/bin下面有很多redis开始的文件，这些就是redis命令 启动redis： redis-server [--port 6380] 后面的选项是指定端口启动 如何配置redis随系统一起启动： 1. 在r
1：检查虚拟机的ip命令：ifconfig 2：普通用户切换root用户命令：su 3：root用户切换普通用户命令：su 用户名 4：普通用户执行系统执行前面加命令：sudo 5：查询主机名命令：h
最近写了很多Go语言的原创文章，其中Go语言实战系列30篇，近15W字，还有最近更新的Go经典库系列，不过通过大家的咨询来看，还是想要一些入门的知识，这一篇文章写于2017年初，这里再更新一下，发给大家。
Linux没有图形化界面，我们只能通过控制台去操作系统，我们就要使用类似DOS命令的Linux命令去操作系统
root用户讲可执行文件进行编译，保证文件的正常授权运行，给予ROOT权限执行 domo.c
1：MongoDB的官方网址：https://www.mongodb.com MongoDB的中文社区：http://www.mongoing.com/（老外也很看重中国市场啊，知道大家英语不好
locate 让使用者可以很快速的搜寻档案系统内是否有指定的档案。其方法是先建立一个包括系统内所有档案名称及路径的数据库，之后当寻找时就只需查询这个数据库，而不必实际深入档案系统之中了。在一般的 distribution 之中，数据库的建立都被放在 crontab 中自动执行。
最近写了很多Go语言的原创文章，其中Go语言实战系列30篇，近15W字，还有最近更新的Go经典库系列，不过通过大家的咨询来看，还是想要一些入门的知识，这一篇文章写于2017年初，这3年多Go更新了很多版本，所以需要更新下这篇文章。
sequenceFile文件是Hadoop用来存储二进制形式的[Key,Value]对而设计的一种平面文件(Flat File)。可以把SequenceFile当做是一个容器，把所有的文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。SequenceFile文件并不按照其存储的Key进行排序存储，SequenceFile的内部类Writer提供了append功能。SequenceFile中的Key和Value可以是任意类型Writable或者是自定义Writable。
Linux系统在我们正式转到算法这个行业的时候，就成为了我们必须要会用的一种系统了。
腾讯云Mysql云数据库的备份文件分为逻辑备份、物理冷备两种，扩展名均为.xb文件，本教程主要介绍如何将逻辑备份文件还原为.sql文件。
在我的嵌入式linux上板子资源和性能还是有限。想玩下OpenGL，倒不是板子flash或内存太小，而是底层图形接口是基于framebuffer的dev/fb0的，在标准的OpenGL下不支持。网上了解到在嵌入式linux或单片机上，可以跑OpenGL的一个子集，叫做TinyGL。
嵌入式产品往往为了压缩成本而使用较小的flash存储器，因此可能需要对系统进行裁剪来减少对flash的占用。系统经过裁剪过后，通常也会提升启动速度以及减少内存占用。 本文介绍TinaLinux中系统裁剪的方法，为有裁剪需求的使用者提供参考。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
