分类: Hadoop

大数据

3 篇文章

Container exited with a non-zero exit code 1
最近遇到运行yarn pi的时候遇到如下问题。 很明显是container出错了,但是错误没有提示的很清楚。然后去看nodemanager日志也是如此。这时候笔者第一个想到要去看container的执行日志。container具体的日志目录位置是通过YARN的配置文件(如yarn-site.xml)中的yarn.nodemanager.log-di…
MapReduce之Job的提交源码分析
Wordcount的例子基本接触过hadoop都会跑过,本篇的主要分析都以Wordcount为例。我们先把etc/hadoop/下配置文件作为Wordcount的输入hadoop fs -put etc/hadoop/* /input然后打开调试运行以下命令hadoophadoop-mapreduce-examples-xxx.jar wordco…
hadoop搭建–单节点Wordcount
​本文的目的主要是让初学者快速的跑通第一个hadoop实例。 准备 1、linux环境(本人用的是64位的centos虚拟机)2、下载jdk linux版本和hadoop安装包(本人用的是jdk-7u80-linux-x64.tar.gz和hadoop-2.6.0) 安装 jdk-7u80-linux-x64.tar.gz 解压 tar zxvf …