让应用前台运行的yarn相当于后台的maven,对吗

版权声明:本文为博主原创文章遵循 版权协议,转载请附上原文出处链接和本声明

在写这篇博文前,自己一直没有弄明白一个问题“在 Map 函数和 Reduce 函数中使用 System.out.print 打印日志時,输出内容在哪里显示”。试了好多回在 log/* 目录下找了很久都没有找到,并且尝试了很多次去找都没有成功。这让我想通过此方法調试 Map/Reduce 函数以失败告终

最后,一次偶然的机会让我发现了关于日志的玄机通过自己的观察和阅读参考书籍,终于弄明白了


客户端向 YARN 提茭 MapReduce 作业运行时,会建立 Container 运行日志并保存在本地磁盘(不是 HDFS 中),默认情况下日志目录为 logs/userlogs/ 。此目录下的内容为各个作业运行时在本节点仩所建立的 log 目录结构此层由 “application ” 加 “id” 组成文件夹名,进入此文件夹后在此层看到的是由 “conainer” 加 “id” 组成的文件夹,进入此文件夹后在此层有三个文件:stderr(异常输出),stdout(标准输出)syslog(运行日志)。

有时我们希望使用 System.out.println 来查看运行过程中的某些值的情况,所以我們要找到这个输出要在哪里才能看到。

怎样才能知道 MapReduce 作业的 MRAppmaster 运行在哪个节点呢有很多种方法,例如通过 jps 命令查看进程不过最好的方法昰通过访问主节点的 8088 端口来查看所有作业的运行情况,会显示 MRAppMaster 运行在哪个节点上

}
用户可以指定多个环境变量在cluster模式下,这个可以控制Spark驱动器的环境变量;
而在client模式下只控制执行器启动器的环境变量。 YARN AM 启动执行器的容器最多包含多少线程数 提交應用最大尝试次数。不应大于YARN全局配置的最大尝试次数 定义AM失败跟踪校验间隔。
AM运行了至少要运行这么多时间后其失败计数才被重置。
这个特性只有配置其值后才会生效且只支持Hadoop-2.6+ 在YARN cluster模式下,控制是否客户端等到Spark应用结束后再退出
如果设为true,客户端进程将一直等待並持续报告应用状态。
否则客户端会在提交完成后退出。 一个YARN节点标签表达式(node label expression)以此来限制AM可以被调度到哪些节点上执行。
只有Hadoop 2.6+才能支持节点标签表达式所以如果用其他版本运行,这个属性将被忽略 一个YARN节点标签表达式(node label expression),以此来限制执行器可以被调度到哪些節点上启动
只有Hadoop 2.6+才能支持节点标签表达式,所以如果在其他版本上运行时这个属性将被忽略。 在启用安全设置的情况下控制是否对non-HDFS垺务,获取代理token
默认地,所有支持的服务都启用;但你也可以在某些有冲突的情况下,对某些服务禁用
目前支持的服务有:hive,hbase }

我要回帖

更多关于 前台 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信