, 为了后续更好排查问题,希望能够将spark、flink、java任务都收集起来存储到ES中,提供统一查询服务给用户....Flink、Spark、java 日志如何进行采集
如何在保证耦合度尽量低的情况下,同时保证不影响任务
部署方便, 用户端尽量少操作
调研
通过调研相关资料,选择基于Log4自定义Appender..., 这个返回结果,我们在yarn log 是可以看到的,灵感也来与此
如何判断不同节点呢?...log4j 自定义appender,实现了大数据平台相关任务日志的采集,针对不同类型任务的处理,获取最终我们平台搜索需要的功能....日志采集注意采集量过猛可能会将磁盘打满,需要有相应的降级或者预防措施,用户不会考虑太多关于平台相关的东西. 大数据平台技术目前各大公司很多技术架构都差不多,就看细节的处理了.