首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Flume(五)Flume拓扑结构

简单拓扑结构 这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。...此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。...image.png 复制和多路复用 Flume支持将事件流向一个或者多个目的地。...image.png 负载均衡和故障转移 Flume支持使用将多个sink逻辑上分到一个sink组,sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。...用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase等,进行日志分析。

47441
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Flume

    1 Flume丢包问题   单机upd的flume source的配置,100+M/s数据量,10w qps flume就开始大量丢包,因此很多公司在搭建系统时,抛弃了Flume,自己研发传输系统,但是往往会参考...一些公司在Flume工作过程中,会对业务日志进行监控,例如Flume agent中有多少条日志,Flume到Kafka后有多少条日志等等,如果数据丢失保持在1%左右是没有问题的,当数据丢失达到5%左右时就必须采取相应措施...2 Flume与Kafka的选取   采集层主要可以使用Flume、Kafka两种技术。   FlumeFlume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API。   ...Kafka和Flume都是可靠的系统,通过适当的配置能保证零数据丢失。然而,Flume不支持副本事件。...(选择性发往指定通道) 11 Flume监控器   1)采用Ganglia监控器,监控到Flume尝试提交的次数远远大于最终成功的次数,说明Flume运行比较差。主要是内存不够导致的。

    29120

    flume 入门

    前言 本文是基础性文章,针对初次接触flume的朋友,简化了大部分内容,后续有时间会加上相关高级使用 为什么需要flume?...负载均衡:flume 是分布式,对于大数据收集有天然优势 对 hdfs 支持友好 灵活:flume 收集基于单个 agent,扩展方便灵活 flume 有什么优势?...优势都是相对而言,我们简单以 kafka 来对比: 组件灵活,可定制化高 数据处理能力相对较强 对hdfs 有特殊优化 开启一个简单的flume 这里我们先什么都不管,先来玩一下flume,感受一下flume...版本 下载 flume :http://flume.apache.org/download.html 解压,得到如下目录 ?...flume一般架构 首先我们先来看一下 flume 的整体架构,官网架构图如下 ?

    51020

    flume简介

    参考 Flume架构以及应用介绍 一.简介 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据...;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。...image.png 二.主要功能 1.日志收集 Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。...2.数据处理 Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX...image.png 三.Flume架构 Flume使用agent来收集日志,agent包括三个组成部分: source:收集数据 channel:存储数据 sink :输出数据 Flume使用source

    53820

    Flume学习笔记

    flume学习笔记 一、什么是Flume?     ...二、flume特性     Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。     ...一般的采集需求,通过对flume的简单配置即可实现     Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景 三、flume组件解析     ...对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据     1、Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成     ...将flume-env.sh.template  改为 flume-env.sh         在里面配置JAVA_HOME 五、测试     创建一个myconf文件夹,在里边写配置文件

    88230

    Flume使用案例

    先用一个最简单的例子来测试一下程序环境是否正常 1、 先在flume的conf目录下新建一个文件 vi netcat-logger.conf #定义这个agent中各组件的名字 a1.sources...source channel sink之间的连接关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 2、 启动agent去采集数据 bin/flume-ng...agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console -c conf 指定flume自身的配置文件所在目录...agent的名字 -Dflume.root.logger=INFO,console 运行日志输出到控制台,那么把该条删除就可以按照log4j的配置输出到对应日志文件中,如果没有输出到对应日志文件,那么看下flume...的lib包中是否含有log4j的依赖jar包 3、 测试 启动nc的客户端 ​​​$>nc localhost 44444 $nc>hello world ​在flume的终端输出hello world

    21120

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券