Spark应用程序运行日志视图

推荐: Spark应用程序运行架构

传输自: spark应用程序的运行体系结构. 几个基本概念: （1）job: 包含多个并行计算任务，通常是由动作引起的. （2）阶段: 作业调度单元. （3）任务: 已发送到

腾讯云联合战在2020年“大流行”，帮助恢复工作（折扣是空前的！4核8G，5M带宽1684元/ 3年），

地址:

2020年阿里云的最低价格产品入口，包括优惠券（新老用户均可享受折扣）

地址:

例如，Spark应用程序代码如下:

defseq（a: Int，b: Int）: Int = {

println（“ seq: ” + a +“ \ t” + b）

math.max（a，b）

}

defcomb（a: 整数，b: 整数）: Int = {

println（“ comb: ” + a +“ \ t” + b）

a + b

}

vardata11 = sc.parallelize（列表（（1，3）spark程序入口，（1，2），（1，4），（2，3）））

data11.aggregateByKey（1）（seq，comb）.collect

我要检查println的日志:

进入WEBUI页面:: 8085，选择相关应用程序，然后在页面上的表中单击“正在运行的应用程序”的ApplicationID: app-20160520200716-0023

这时，您可以进入Spark作业监视的WEB UI界面，例如: 8085 / app /？ appId = app-20160520200716-0023

推荐: 使用maven管理火花应用程序并将其提交到纱线簇上的火花中以运行

maven管理项目的优点是: 只要通过添加依赖项将项目依赖的其他项目添加到pom.xml中，就无需在各处复制jar包. 因此，我使用maven管理spark应用程序，将其打包并提交给s

在页面上，有两种输出日志: sterr和stdout，您可以在stdout中查看程序的输出.

如果在程序中使用println（....）输出语句spark程序入口，则此信息将显示在stdout文件中；其余Spark运行日志将显示在stderr文件中.

您还可以直接查看日志文件，例如:

/home/huangmeiling/lib/spark-1.5.1/work/app-20160520200716-0023/0/stdout

/home/huangmeiling/lib/spark-1.5.1/work/app-20160520200716-0023/0/stderr

示例如下:

点击: 标准输出

日志文件:

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-222350-1.html