{(MainTitle)} {(MainTitleEnd)} {(PostTitle)}【斩虫】Hadoop中作业执行刚开始就挂掉的两种情况{(PostTitleEnd)} {(PostDate)}20240205{(PostDateEnd)} {(PostContent)} 这篇笔记咱也发到了[咱的博客园站](https://www.cnblogs.com/somebottle/p/18008455/hadoop_job_container_launch_issues)。 开门见山。 <bblock style='display:none'> { "src":"https://api.xbottle.top/ne/url/2100654654", "cover":"https://api.xbottle.top/ne/cover/2100654654", "title":"花になって - Be a flower", "artist":"緑黄色社会", "loop":"false", "float":"right" } </bblock> 最近在搭建基于 Hadoop 3.3.6 的高可用集群时，遇到了虽然守护进程能正常启动，但是提交 WordCount 示例程序后作业没有办法启动执行的情况（刚开始就挂了），查看日志发现主要是以下两种情况： 1. 提示 `/bin/java` 文件不存在。 ```log bash: /bin/java: No such file or directory ``` 2. 启动 `MRAppMaster` 失败，原因是其抛出了 `java.lang.reflect.InaccessibleObjectException` 异常。 ```log java.lang.reflect.InaccessibleObjectException: Unable to make ... accessible: module java.base does not "opens java.lang" to unnamed module @... ``` 这里简单写一下二者的解决方法。 ## 1. /bin/java 不存在  字面上看是 Bash 找不到可执行文件 `/bin/java` ，但细想一下，无论是在 `hadoop-env.sh` 还是 `yarn-env.sh` 亦或者 `yarn-site.xml` 的 `yarn.nodemanager.env-whitelist` 配置中，我全都加上了 `JAVA_HOME` 的相关环境变量配置，我在任何地方都没有写过 `/bin/java` 这个路径，就有点令人匪夷所思了。 但在看了 NodeManager 执行作业时生成的默认容器启动脚本 `launch_container.sh` 后就能发现其末尾写着这样的语句（这个脚本的位置可以参考[下方](#附-找到-job-执行对应容器-container-的执行日志)）： ```bash echo "Launching container" exec /bin/bash -c "$JAVA_HOME/bin/java ... -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster ... ``` 显而易见，这里因为 `$JAVA_HOME` 环境变量没有传递进脚本，导致 `bash` 实际执行的是 `/bin/java`。 ------ 怎么解决这个问题？最粗暴的方式是直接给 Java 创建一个软链 `/bin/java` （网上很多复制粘贴的帖子给出的方法），这样做虽然能跑，但其实没触及根本的问题。 还有一种方法是直接在 `Hadoop安装目录/libexec/hadoop-config.sh` 中导出一个 `JAVA_HOME` 环境变量。（网上的帖子里还有修改这里某个条件判断语句的解决方案，但是在 Hadoop 新版中这部分代码已经重构了） 我真的好想找出问题的根源哇！(╯▔皿▔)╯ 回去检查配置文件，我也没看出什么问题，该配置的都配置了。 到底还是偶然看到的 StackOverflow 的一位老哥点明了我（[链接](https://stackoverflow.com/a/75110979)）：  > “不要在属性值中换行” 回去检查了一下我的 `yarn-site.xml` 配置，发现 VSCode 格式化工具帮我格式化成了这个样子:  去掉开头的换行符，改成 `<value>JAVA_HOME, ...</value>` 就能把这个问题给解决了...原来是值中出现额外字符而导致的，哭笑不得。 ## 2. java.lang.reflect.InaccessibleObjectException   这个异常贴到网上倒是能找到很多类似的解决方案，即加上 Java 选项 `--add-opens java.base/java.lang=ALL-UNNAMED` ，但大多是围绕 ResourceManager, NodeManager 启动时的情况。 问题就在于这里 `MRAppMaster` 的启动参数位于 `launch_container.sh` 中，因而我需要找到办法在脚本的这一句中加入 Java 选项: ```bash exec /bin/bash -c "$JAVA_HOME/bin/java ... -Xmx1024m org.apache.hadoop.mapreduce.v2.app.MRAppMaster ... ``` 在官方文档里按 `java opts` 这种关键词查了半天没找着，转变思路用 `MRAppMaster` 搜索，还真就给我找着了。在 `mapred-site.xml` 配置中有这样一个属性（[文档链接](https://hadoop.apache.org/docs/r3.3.6/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml)）: | 属性名 | 默认值 | 说明 | | --- | --- | --- | | yarn.app.mapreduce.am.command-opts | -Xmx1024m | Java opts for the MR App Master processes.... | 正好就是 MRAppMaster 进程启动时的 Java 选项，在 `mapred-site.xml` 中加入如下属性配置即可： ```xml <property> <name>yarn.app.mapreduce.am.command-opts</name> <!--保留了 -Xmx1024 --> <value>--add-opens java.base/java.lang=ALL-UNNAMED -Xmx1024m</value> <description>MR App Master 进程的 Java 参数</description> </property> ``` ## 附: 找到 Job 执行对应容器 (Container) 的执行日志 首先执行一个作业（Job），然后在集群某台机器中找到其对应的 Application: ```bash # 找到 Job 对应的 Application yarn application -list -appStates=ALL ``` 返回内容大概是这样: ``` Total number of applications (application-types: [], states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED] and tags: []):2 Application-Id Application-Name Application-Type User Queue State Final-State Progress Tracking-URL application_1707118501768_0002 word count MAPREDUCE root default FINISHED SUCCEEDED 100% http://shworker1:19888/jobhistory/job/job_1707118501768_0002 ``` 找到 applicationId 后，查询这个应用在哪台机器上执行: ```bash yarn application -status application_1707118501768_0002 ``` 返回内容大概是这样: ``` Application Report : Application-Id : application_1707118501768_0002 Application-Name : word count Application-Type : MAPREDUCE User : root Queue : default Application Priority : 0 Start-Time : 1707120843501 Finish-Time : 1707120865825 Progress : 100% State : FINISHED Final-State : SUCCEEDED Tracking-URL : http://shworker1:19888/jobhistory/job/job_1707118501768_0002 RPC Port : 42097 AM Host : shworker1 Aggregate Resource Allocation : 52071 MB-seconds, 35 vcore-seconds Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds Log Aggregation Status : DISABLED Diagnostics : Unmanaged Application : false Application Node Label Expression : <Not set> AM container Node Label Expression : <DEFAULT_PARTITION> TimeoutType : LIFETIME ExpiryTime : UNLIMITED RemainingTime : -1seconds ``` 其中 `AM Host` 即为应用执行所在主机，这里是 `shworker1`。 在主机 `shworker1` 上进入**Hadoop的日志目录**，这个日志目录默认是 `${HADOOP_HOME}/logs` 。其中会有一个子目录 `userlogs`，在这个目录内你就能找到 `application_1707118501768_0002` 的 Container 日志了:  <script>/*bblock.s();*/</script> {(PostContentEnd)} {(PostTag)}斩虫,Linux,Hadoop,咸鱼技术{(PostTagEnd)} {(PostID)}292{(PostIDEnd)} {(PostCover)}none{(PostCoverEnd)} {(PubTime)}1707133542359{(PubTimeEnd)} {(EditTime)}1707133542359{(EditTimeEnd)}