前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。
要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。
Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。
1 压缩 一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据， 使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。 压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中，压缩应用于文件存储、Map阶段到Reduce阶段的数据交换（需要打开相关的选项）等情
前言 前面一篇介绍了Java怎么去查看数据块的相关信息和怎么去查看文件系统。我们只要知道怎么去查看就行了！接下来我分享的是Hadoop的I/O操作。 在Hadoop中为什么要去使用压缩（Com
提交job时指定如下参数： -D mapred.output.compress=true \ -D mapred.output.compression.codec=[CODEC] \ 其中[CODEC] 有如下几种： # gz压缩: -D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec # lzo压缩： -D mapred.output.compression.codec=com.hadoop.compres
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的,可以使用压缩来节省我们的MR处理的网络带宽。
在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽
DubboPackage定义了Header、Service、Body、Err属性；codec.go提供了Marshal、Unmarshal方法用于读写DubboPackage
Apache MINA(Multipurpose Infrastructure for Network Applications) 是 Apache 组织一个较新的项目，它为开发高性能和高可用性的网络应用程序提供了非常便利的框架。当前发行的 MINA 版本支持基于 Java NIO 技术的 TCP/UDP 应用程序开发、串口通讯程序（只在最新的预览版中提供），MINA 所支持的功能也在进一步的扩展中。目前正在使用 MINA 的软件包括有：Apache Directory Project、AsyncWeb、AMQP（Advanced Message Queuing Protocol）、RED5 Server（Macromedia Flash Media RTMP）、ObjectRADIUS、Openfire 等等。
今年年初的时候，阅读过《Maven实战》，当时有了解到Maven可以依赖调解，即当包版本不一致时，会根据一定规则选择相应的包来加载，从而避免冲突。当时不解的是既然Maven都能解决冲突，为何还经常听到“发生了依赖冲突”，冲突不是解决了吗，还存在什么问题呢？直到这周在工作中自己遇到了，就明白是咋回事了。下面先从我的实际经历说起。
using Apache Commons 需要引入org.apache.commons.codec.digest.DigestUtils这个包，pom.xml文件配置如下： <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId>
Java.lang.IllegalArgumentException: Odd number of characters. at org.apache.shiro.codec.Hex.decode(Hex.java:128) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.codec.Hex.decode(Hex.java:107) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.codec.Hex.decode(Hex.java:95) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.authc.credential.HashedCredentialsMatcher.getCredentials(HashedCredentialsMatcher.java:353) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.authc.credential.HashedCredentialsMatcher.doCredentialsMatch(HashedCredentialsMatcher.java:380) ~[shiro-core-1.3.2.jar:1.3.2] at org.apache.shiro.realm.AuthenticatingRealm.assertCredentialsMatch(AuthenticatingRealm.java:597) ~[shiro-core-1.3.2.jar:1.3.2]
压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否 可以支持切片。
HiveQL语句最终都将转换成为hadoop中的MapReduce job,而MapReduce job可以有对处理的数据进行压缩。
Base64是一种能将任意Binary资料用64种字元组合成字串的方法，而这个Binary资料和字串资料彼此之间是可以互相转换的，十分方便。在实际应用上，Base64除了能将Binary资料可视化之外，也常用来表示字串加密过后的内容。如果要使用Java 程式语言来实作Base64的编码与解码功能，可以参考本篇文章的作法。
Apache Mina是一个网络应用框架，简化用户开发高性能、高可扩展性的网络应用程序的难度。Mina提供了一个抽象的事件驱动的异步API，通过Java NIO实现各种传输协议如TCP/IP和UDP/IP。
在重要的生产网中，目标服务器无法外联，而遇到Apache Flink情况下如何写内存马，本文对这一有趣实践过程做了一个记录。
一波操作后，发现是依赖类不一致的问题，导致一个运行时异常，而dubbo handleException无法捕获这种自定义业务异常，所以报了这个错。
mina框架是对nio进行的一个封装，可用于java的网络编程，包括TCP/IP和UTP/IP编程，主要屏蔽了网络通信的一些细节，对socket进行封装，并且是用nio的一个实现框架，mina的主要类如下：
使用的Netty的版本：netty-4.0.23.Final.tar.bz2 ‐ 15-Aug-2014 (Stable, Recommended)
继续上一篇，这篇主要讲通过mina往B端发送消息。并接受消息，mina是一个网络通信框架，封装了javaNIO。简单易用。网上有非常多关于他的介绍，在此不赘述了。
其中XXXX的值不定，这类异常，有几种可能性存在，首先要了解一些kryo的基本原理： 当Kryo写出一个对象的实例时，首先可能需要写出一些标识对象类的东西。默认情况下，写入完整类名，然后写入该对象的字节。后续出现的同一类对象图的对象用变长的int来写（using a variable length int）。写类的名字有点低效，所以类可以事先注册：kryo.register(SomeClass.class);这样的话，SomeClass 注册到了 Kryo，它将该类与一个 int 型的 ID 相关联。当 Kryo 写出 SomeClass 的一个实例时，它会写出这个 int ID。这比写出类名更有效。在反序列化期间，注册的类必须具有序列化期间相同的 ID 。 还有一种情况是kryo每次写入类的完整信息，而不是通过int类型的ID号去代替。
配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题
对于数据密集型任务，I/O操作和网络数据传输需要花费相当长的时间才能完成。通过在 Hive 中启用压缩功能，我们可以提高 Hive 查询的性能，并节省 HDFS 集群上的存储空间。
正文开始前 ,先介绍几个概念 序列化 所谓序列化,是指将结构化对象转化为字节流,以便在网络上传输或写到磁盘进行永久存储。 反序列化 是指将字节流转回到结构化对象的逆过程 序列化在分布式数据处理的两个大领域经常出现:进程间通信和永久存储 在Hadoop中，系统中多个节点上进程间的通信是通过"远程过程调用"(remote procedure call,RPC)实现的 。RPC协议将消息序列化成二进制流后发送到远程节点，远程节点接着将二进制流反序列化为原始消息 Hadoop使用了自己写的序列化格式Writ
在hadoop中搭建lzo环境: wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz export CFLAGS=-m64 ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/ make && make test && make install 在hadoop-env.sh中 export LD_LIBRARY_PATH=/usr/local/
在 Java 中，有一些替代方案可以用来实现 FTP 服务器功能，类似于 Python 中的 pyftpdlib。目前我们常用的就是三种替换方案，这里需要根据自己的项目需求选择合适的方法。
3 使用Logstash采集、解析和转换数据 理解Logstash如何采集、解析并将各种格式和类型的数据转换成通用格式，然后被用来为不同的应用构建多样的分析系统 ---- 配置Logstash 输入插
加密工具类 import org.apache.commons.codec.digest.DigestUtils; import java.util.Random; /** * @author MashiroT */ public class Encrypt { public static String generateSalt(int length) { StringBuilder sb = new StringBuilder(length); Random
比如，我们到Apache网站上去下载用于操作Excel的依赖包 - Apache POI，就可以看到checksum：SHA-256， SHA-512,如下图所示：
在今天的这篇文章中，着重介绍 Logstash 在数据转换，分析，提取及核心操作方便的内容。首先，希望大家已经按照我之前的文章 “如何安装Elastic栈中的Logstash” 把 Logstash 安装好。
前言： 找了篇文章看了看，nio框架数Mina用的最多！ 代码： 服务端： package com.mina; import java.net.InetSocketAddress; import java.nio.charset.Charset; import org.apache.mina.core.service.IoAcceptor; import org.apache.mina.core.session.IdleStatus; import org.apache.mina.filte
以前经常有人问散仙，如何学好搜索？ 其实这个问题很具有代表性，你可以归纳为一类问题？ 其实，散仙在以前博客的中，也有总结过，回复微信后台回复关键词10查看。 本篇散仙要介绍的内容，是关于如何用Luke查看ElasticSearch的索引，那么为什么会写如此一篇文章呢？ 相信学过或了解过全文检索的朋友们，都知道，搜索的核心的就是倒排索引，之所以我们能够使用Google在互联网的海量的数据中，通过关键词快速定位到我们想要的数据，就是因为倒排索引在这里起了非常大的作用，在搜索中索引通常是不可见的，我
最近工作是开发FIDO UAF项目。FIDO UAF是一个旨在提供身份验证通用方案，以代替繁杂密码记忆的一个方案，Google，阿里这些大头都是核心成员，感觉是用来未来代替密码的1号方案。可能是定义的太通用了，UAF目前应用面还不广。
Java语言已经有许多非常成熟的开源基础类库，封装了日常开发中的各种常用操作，如：对象判空，字符串编码，本地缓存等等。 可以直接在项目中引入对应类库使用即可，或者参与完善相应类库的方法。 现将常用的基础类库整理如下，供使用参考。
1、FileOutputFormat设置 // 优化措施一：压缩MapReduce的输出结果-->使用Gzip压缩-->输出空间占比小 FileOutputFormat.setCompressOutput(job, true); //setOutputCompressorClass // 使用输出文件压缩，设置reduce输出的压缩算法：Gzip压缩 FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);
上次分析了客户端源码，这次分析mapper源码让大家对hadoop框架有更清晰的认识
在一些场景中，比如文件传输（如插件、固件升级包等），MD5 CheckSum的作用就是用于检查文件完整性，检测文件是否被恶意篡改。
Apache的Web Server会产生大量日志，当我们想要对这些日志检索分析。就需要先把这些日志导入到Elasticsearch中。此处，我们就可以使用Logstash来实现日志的采集
Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG OG是0.9.x的版本，依赖zookeeper，角色职责不够单一
1,textFile A),第一点，就是输入格式，key，value类型及并行度的意义。 def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = withScope { assertNotStopped() //输入文件的格式TextInputFormat，key的类型LongWritable ，value的类型Text //最小分区数defaultMinPartition
Aeraki [Air-rah-ki] Mesh is an open-source service mesh I started about a year ago, and have been working on it till recently. Aeraki is the Greek word for ‘breeze’. While Istio connects microservices in a service mesh, Aeraki Mesh provides a non-intrusive, highly extendable way to allow Istio to support none-HTTP open-source and proprietary protocols. I hope this breeze can help Istio and service mesh sail a little further.
大数据平台的资源管理组件主要涉及存储资源和计算资源管理两部分，属于大数据平台运维管理系统。基于资源管理系统，大数据平台的开发运维人员能够清晰掌控平台的资源使用情况和资源在不同时间段下的变化趋势，能对资源使用异常进行及时发现并定位处理，避免造成更严重的影响，如磁盘空间撑爆，计算资源无空余，任务长时间等待不运行等造成业务阻塞。
ELK官方的中文文档写的已经挺好了，为啥还要记录本文？因为我发现，我如果不写下来，过几天就忘记了，而再次捡起来必然还要经历资料查找筛选测试的过程。虽然这个过程很有意义，但并不总是有那么多时间去做。因此，接下来的内容仅仅是我根据查询到的资料，筛选，组装，测试后达到我的目标的一个过程。
1）hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。 2）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/
model实现了Serializable 但是还是报错Cannot serialize; nested exception is org.springframework.core.serializer.support.SerializationFailed
Netty是目前最流行的由JBOSS提供的一个Java开源框架NIO框架，Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
