Spark在Linux上的安装日志在哪

Spark在Linux上的安装日志位置及查看方法

Spark在Linux系统上的安装日志位置主要取决于部署模式（Standalone、YARN等）和安装方式（手动解压、包管理器等），以下是常见场景的日志路径及查看方式：

1. 默认日志目录（手动安装/解压版）

若通过手动下载Spark压缩包并解压到指定目录（如/opt/spark或/usr/local/spark），安装日志及运行日志默认存储在安装目录的logs子目录下，路径格式为：
$SPARK_HOME/logs（$SPARK_HOME为Spark的安装根目录，如/opt/spark）。
该目录下会生成以进程名和进程ID命名的日志文件，例如：

• Master节点日志：spark-<username>-org.apache.spark.deploy.master.Master-<pid>.out
• Worker节点日志：spark-<username>-org.apache.spark.deploy.worker.Worker-<pid>.out
  其中<username>是运行Spark的用户，<pid>是进程ID。

2. 通过环境变量配置的日志路径

若在spark-env.sh（位于$SPARK_HOME/conf目录）中配置了SPARK_LOG_DIR参数，日志会存储在该参数指定的目录下。例如：

# spark-env.sh中的配置示例
SPARK_LOG_DIR=/var/log/spark

此时日志路径为/var/log/spark（需确保该目录存在且有写入权限）。

3. 不同部署模式的日志位置

• Standalone模式：
  除了$SPARK_HOME/logs下的Master/Worker日志，应用程序运行日志默认存储在$SPARK_WORKER_DIR（默认为$SPARK_HOME/work）目录下，可通过spark-worker进程的日志追踪应用启动情况。

• YARN模式：
  应用程序日志分为两部分：

  • NodeManager本地日志：存储在NodeManager节点的/var/log/hadoop-yarn/userlogs目录下（路径可通过yarn.nodemanager.log-dirs配置）；
  • 聚合日志：若启用了日志聚合（yarn.log-aggregation-enable=true），日志会存储在HDFS的/tmp/logs/<username>/logs目录下，可通过yarn logs -applicationId <app_id>命令查看。

4. 查看日志的常用命令

• 直接查看日志文件：使用cat、less或tail命令查看指定日志文件，例如：

  tail -f $SPARK_HOME/logs/spark-<username>-master-*.out  # 实时查看Master节点日志
  

• 通过Spark Web UI查看：若Spark已启动Web UI（默认端口7077），可访问http://<master-ip>:7077，点击“Application”列表中的应用程序，进入“Executors”标签页查看Executor日志。

注意事项

• 若日志路径未明确，可通过find命令搜索日志文件，例如：

  find / -name "spark-*.out" 2>/dev/null  # 全局搜索Spark日志文件
  

• 日志路径可能因自定义配置（如修改log4j.properties）而变化，建议优先检查spark-env.sh和log4j.properties中的日志配置。