Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何配置Spark 的log4j的日志?

如何配置Spark 的log4j的日志?

提问于 2020-05-28 02:34:15
回答 1关注 0查看 1.8K

我使用的是CDH5.16安装的集群。跑的是spark程序,想要自定义log4j输出日志到客户端目录

配置的log4j如下

代码语言:javascript
运行
AI代码解释
复制
log4j.rootCategory=INFO, console,FILE
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Set the default spark-shell log level to WARN. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=WARN

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=WARN
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=WARN
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=WARN
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

log4j.appender.FILE = org.apache.log4j.RollingFileAppender
log4j.appender.FILE.Threshold=DEBUG
#log4j.appender.FILE.File=./log/rzp.log
log4j.appender.FILE.File=/home/rzpt/logs/spark.log
log4j.appender.logFile.Encoding = UTF-8
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.ConversionPattern=[%-5p] [%d{yyyy-MM-dd HH:mm:ss}] [%C{1}:%M:%L] %m%n
log4j.appender.FILE.MaxFileSize=10mb

这个log4j配置文件我在项目中放在了resource文件下,服务器上也放了一份(因为网上找了答案两种都有),然后这些命令我都试过了,但是全部都没有日志输出

代码语言:js
AI代码解释
复制
spark2-submit \
    --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
    --master yarn \
    --deploy-mode cluster \
    --files "./log4j.properties" \
    ./sgp-1.0.jar
    
    spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain --master local[*]  \
    --deploy-mode client sgp-1.0.jar

spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
--files "./log4j.properties" \
--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--master yarn --deploy-mode cluster  sgp-1.0.jar

spark2-submit --class com.nari.sgp.amc.measStandAssess.aurSum.AurSumMain \
--files "./log4j.properties" \
--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=log4j.properties" \
--conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/opt/centralLogs/conf/log4j.properties' \
--master yarn --deploy-mode cluster  \
sgp-1.0.jar
已邀请
等2人回答

回答 1

用户8877168

修改于 2021-07-29 07:25:21

我也遇到了同样问题,请问解决了吗?

和开发者交流更多问题细节吧,去 写回答
相关文章
教你如何轻松配置Spark的历史日志服务器JobHistoryServer?
默认情况下,Spark程序运行完毕关闭窗口之后,就无法再查看运行记录的Web UI(4040)了,但通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程。本篇博客,博主就为大家带来在Spark上配置JobHistoryServer的详细过程。
大数据梦想家
2021/01/27
2.3K1
教你如何轻松配置Spark的历史日志服务器JobHistoryServer?
将log4j的日志配置输出到mysql中
log4j可以支持将log输出到文件,数据库,甚至远程服务器,这次给大家分享下如何输出到mysql中。
大师级码师
2021/09/19
8060
spring-boot配置log4j日志
spring boot默认使用logback日志记录工具,修改为log4j: <dependency> <groupId>org.springframework.boot</g
用户1141560
2017/12/26
7220
spring-boot配置log4j日志
springmvc 项目完整示例06 日志–log4j 参数详细解析 log4j如何配置
日志信息的优先级从高到低有ERROR、WARN、 INFO、DEBUG,分别用来指定这条日志信息的重要程度;
noteless
2018/09/11
9950
【系统日志】log4j配置学习总结
Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别,并可以在运行时控制日志输出的样式和位置。 Logger Loggers组件被分为五个级别: DEBUG INFO WARN ERROR FATAL 各个级别的顺序是这样那个的: DEBUG < INFO < WARN < ERROR < FATAL 可以
冷冷
2018/02/08
5960
如何为Spark应用启用Kerberos的Debug日志
在CDH集群启用了Kerberos后,在执行Spark作业时难免会遇到由于Kerberos认证问题导致作业运行失败的时候,那我们需要针对Spark作业进行调试,通过一些Debug日志查看认证失败的原因。本篇文章Fayson主要介绍如何为Spark的Driver和Executor的JVM启用Kerberos的Debug日志。
Fayson
2018/11/16
2.4K0
Apache开源日志框架Log4j配置指南
Log4j是Apache的一个开源项目,通过使用Log4j,我们可以控制日志信息输送的目的地是控制台、文件、GUI组件,甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等;我们也可以控制每一条日志的输出格式;通过定义每一条日志信息的级别,我们能够更加细致地控制日志的生成过程。最方便的就是,这些可以通过一个配置文件来灵活地进行配置,而不需要修改应用的代码。本篇指南主要介绍Log4j 1.x版本的配置与使用Log4j最新版下载地址:http://www.apache.org/dyn/closer.cgi/logging/log4j/1.2.17/log4j-1.2.17.zip
老九学堂-小师弟
2019/10/09
8870
springmvc 项目完整示例05 日志 --log4j整合 配置 log4j属性设置 log4j 配置文件 log4j应用
就是log for java嘛,老外都喜欢这样子,比如那个I18n  ---internationalization  不就是i和n之间有18个字母...
noteless
2018/09/11
9900
springmvc 项目完整示例05  日志 --log4j整合 配置 log4j属性设置 log4j 配置文件 log4j应用
MyBatis3-配置使用log4j输出日志
配置步骤: 1、POM的依赖引入 <!-- log4j --> <!-- https://mvnrepository.com/artifact/log4j/log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dep
hbbliyong
2018/03/29
8750
MyBatis3-配置使用log4j输出日志
tomcat日志配置——如何查看日志
问题: tomcat每次启动时,自动在logs目录下生产以下日志文件,且每天都会生成对应日期的一个文件,造成日志文件众多,而且不知道各个文件记录的信息大致内容。
全栈程序员站长
2022/08/31
2.9K0
log4j日志不输出的问题
今天服务器上报错,想先去看一下日志进行排查,结果发现日志很久都没有输出过了。从上午排查到下午,刚刚解决,因此记录一下,但现在也只是知其然,并不知其所以然,所以如果大家有什么想法请在下方评论。
健程之道
2019/11/03
2.9K0
日志框架Log4j的学习小记
Java项目的框架基本就是slf4j,slf4j提供了一套规范,也就是门面,而至于后边是如何实现的只要按照人家定义的接口去做就行了。常见的日志框架又springboot自带的logback,还有异步的日志框架log4j,当然还有一些大佬自己做日志框架的。这里作者大概的看了一下日志框架的代码。稍微讲解一下日志框架是怎么做的。
写一点笔记
2022/08/11
3070
日志框架Log4j的学习小记
log4j 配置日志输出(log4j.properties)
1.1 下载解压log4j.jar(地址:http://mirrors.hust.edu.cn/apache/logging/log4j/2.11.0/)
全栈程序员站长
2022/09/13
5070
log4j 配置日志输出(log4j.properties)
【Java】Log4j日志
通过PatternLayout实现类ConversionPattern属性可以设置具体自定义布局。布局格式采用类似 C
陶然同学
2023/02/24
5250
【Java】Log4j日志
log4j的使用配置 原
1.log4j.rootLogger = [level],appenderName,appenderName,...
用户2603479
2018/08/15
4310
java之log4j的配置
软件的运行过程离不开日志.日志主要用来记录系统运行过程中的一些重要的操作信息,便于监视系统运行情况,帮助用户提前发现和避开可能出现的问题,或者出现问题后根据日志找到发生的原因.
似水的流年
2019/12/08
1.1K0
java之log4j的配置
log4j是用来记录日志的。 软件的运行过程离不开日志.日志主要用来记录系统运行过程中的一些重要的操作信息,便于监视系统运行情况,帮助用户提前发现和避开可能出现的问题,或者出现问题后根据日志找到发生的原因. 日志根据记录内容的不同,主要分成以下3类: SQL日志:记录系统执行的SQL语句. 异常日志:记录系统运行中发生的异常事件. 业务日志:记录系统运行过程,如用户登录,操作记录. 要使用log4j,首先需要下载log4j 的JAR文件.log4j是Apache的一个开
似水的流年
2018/01/18
1.5K0
java日志框架(二)Log4j的学习,这个是什么,如何配置输出到文件,数据库
也就是项目一启动,就会加载log4j.properties这个文件,就会加载里面的这些属性。
一写代码就开心
2021/07/16
7650
java日志框架(二)Log4j的学习,这个是什么,如何配置输出到文件,数据库
Log4J日志框架
log4J是Apache下的一款开源的日志框架,通过在项目中使用log4j,我们可以控制日志输出的位置。我们可以控制每一条日志的输出格式,通过定义日志输出级别,可以更灵活的控制日志的输出过程;
暴躁的程序猿
2022/03/24
3570
Log4J日志框架
点击加载更多

相似问题

OCR识别之后警告log4j配置不存在?

2268

ocr识别出现警告log4j配置文件找不到?

1582

spark的executor容器资源如何规划?

0106

k8s配置spark.kubernetes.driver.podTemplateFile不生效 ?

0420

自行安装的spark如何识别cosn:// uri?

1440
相关问答用户
腾讯云 | 产品团队擅长5个领域
腾讯 | 高级产品经理擅长2个领域
腾讯云 | 高级工程师擅长4个领域
腾讯云 | 产品经理擅长2个领域
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档