Spark History Server详解

history-server的部分重要参数:

1.spark.history.fs.update.interval

默认值10秒

这个参数指定刷新日志的时间,更短的时间可以更快检测到新的任务以及任务执行情况,但过快会加重服务器负载

2.spark.history.ui.maxApplication

默认值intMaxValue

这个参数指定UI上最多显示的作业的数目

3.spark.history.ui.port

默认值18080

这个参数指定history-server的网页UI端口号

4.spark.history.fs.cleaner.enabled

默认为false

这个参数指定history-server的日志是否定时清除,true为定时清除,false为不清除。这个值一定设置成true啊,不然日志文件会越来越大。

5.spark.history.fs.cleaner.interval

默认值为1d

这个参数指定history-server的日志检查间隔,默认每一天会检查一下日志文件

6.spark.history.fs.cleaner.maxAge

默认值为7d

这个参数指定history-server日志生命周期,当检查到某个日志文件的生命周期为7d时,则会删除该日志文件

7.spark.eventLog.compress

默认值为false

这个参数设置history-server产生的日志文件是否使用压缩,true为使用,false为不使用。这个参数务可以成压缩哦,不然日志文件岁时间积累会过大

8.spark.history.retainedApplications

默认值:50

在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。

Author: Tunan
Link: http://yerias.github.io/2021/08/24/spark/45/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.