注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

风之泪

风过雨过,花开花落。。。

 
 
 

日志

 
 

centos 6.3 Hadoop集群配置  

2013-03-15 18:09:16|  分类: linux |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

以下集群配置内容,以两台机器为例。其中一台是 master ,另一台是 slave1 

master 上运行 name node, data node, task tracker, job tracker  secondary name node 

slave1 上运行 data node, task tracker 

 

前面加 表示对两台机器采取相同的操作

1.       安装 JDK *

 

2.       设置环境变量 *

编辑 /etc/profile 文件,设置 JAVA_HOME 环境变量以及类路径:

export JAVA_HOME="/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64"

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

 

3.       添加 hosts 的映射 *

编辑 /etc/hosts 文件,注意 host name 不要有下划线,见下步骤 9

192.168.225.16 master

192.168.225.66 slave1

 

4.       配置 SSH *

cd /root & mkdir .ssh

chmod 700 .ssh & cd .ssh

 

创建密码为空的 RSA 密钥对:

ssh-keygen -t rsa -P ""

在提示的对称密钥名称中输入 id_rsa

将公钥添加至 authorized_keys 中:

cat id_rsa.pub >> authorized_keys

chmod 644 authorized_keys # 重要

 

编辑 sshd 配置文件 /etc/ssh/sshd_config ,把 #AuthorizedKeysFile  .ssh/authorized_keys 前面的注释取消掉。

重启 sshd 服务:

service sshd restart

 

测试 SSH 连接。连接时会提示是否连接,按回车后会将此公钥加入至 knows_hosts 中:

ssh localhost

 

5.       配置 master  slave1  ssh 互通

 slave1 中重复步骤 4 ,然后把 slave1 中的 .ssh/authorized_keys 复制至 master  .ssh/authorized_keys中。注意复制过去之后,要看最后的类似 root@localhost 的字符串,修改成 root@slave1 。同样将 master key 也复制至 slave1 ,并将最后的串修改成 root@master 

 

或者使用如下命令:

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1

 

测试 SSH 连接:

 master 上运行:

ssh slave1

 slave1 上运行:

ssh master

 

6.      安装 Hadoop

下载 hadoop 安装包:

wget http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

 

复制安装包至 slave1 

scp hadoop-1.1.2.tar.gz root@slave1:/root/

 

解压:

tar xzvf hadoop-1.1.2.tar.gz

mkdir /usr/local/hadoop

mv hadoop-1.1.2/* /usr/local/hadoop

 

      修改 .bashrc 文件(位于用户目录下,即 ~/.bashrc ,对于 root ,即为 /root/.bashrc 

      添加环境变量:

       export HADOOP_HOME=/usr/local/hadoop

    export PATH=$PATH:$HADOOP_HOME/bin

        

 

7.      配置 Hadoop 环境变量 *

以下所有 hadoop 目录下的文件,均以相对路径 hadoop 开始

修改 hadoop/conf/hadoop-env.sh 文件,将里面的 JAVA_HOME 改成步骤 2 中设置的值。

 

8.       创建 Hadoop 本地临时文件夹 *

mkdir /root/hadoop_tmp 注意这一步,千万不要放在 /tmp 目录下面!!因为 /tmp 默认分配的空间是很小的,往 hdfs 里放几个大文件就会导致空间满了,就会报错)

修改权限:

chown -R hadoop:hadoop /root/hadoop_tmp

更松地,也可以这样:

chmod –R 777 /root/hadoop_tmp

 

 

9.      配置 Hadoop

修改 master  hadoop/conf/core-site.xml ,在 <configuration> 节中添加如下内容:

注意: fs.default.name 的值不能带下划线

<property>

    <name>hadoop.tmp.dir</name>

    <value>/root/hadoop_tmp/hadoop_${user.name}</value>

</property>

<property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:54310</value> 

</property>

<property>

    <name>io.sort.mb</name>

    <value>1024</value> 

</property>

         其中 io.sort.mb 值,指定了排序使用的内存,大的内存可以加快 job 的处理速度。

 

         修改 hadoop/conf/mapred-site.xml ,在 <configuration> 节中添加如下内容:

<property>

    <name>mapred.job.tracker</name>

    <value>localhost:54311</value>

</property>

<property>

    <name>mapred.map.child.java.opts</name>

    <value>-Xmx4096m</value>

</property>

<property>

    <name>mapred.reduce.child.java.opts</name>

    <value>-Xmx4096m</value>

</property>

         其中 mapred.map.child.java.opts, mapred.reduce.child.java.opts 分别指定 map/reduce 任务使用的最大堆内存。较小的内存可能导致程序抛出 OutOfMemoryException 

 

修改 conf/hdfs -site.xml ,在 <configuration> 节中添加如下内容:

<property>

    <name>dfs.replication</name>

    <value>2</value>

   </property>

 

同样,修改 slave1  /usr/local/hadoop/conf/core-site.xml ,在 <configuration> 节中添加如下内容:

<property>

    <name>hadoop.tmp.dir</name>

    <value>/root/hadoop_tmp/hadoop_${user.name}</value>

</property>

<property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:54310</value> 

</property>

<property>

    <name>io.sort.mb</name>

    <value>1024</value> 

</property>

 

         修改 conf/mapred-site.xml ,在 <configuration> 节中添加如下内容:

<property>

    <name>mapred.job.tracker</name>

    <value>localhost:54311</value>

</property>

<property>

    <name>mapred.map.child.java.opts</name>

    <value>-Xmx4096m</value>

</property>

<property>

    <name>mapred.reduce.child.java.opts</name>

    <value>-Xmx4096m</value>

</property>

 

         修改 conf/hdfs -site.xml ,在 <configuration> 节中添加如下内容:

<property>

    <name>dfs.replication</name>

    <value>2</value>

    </property>

 

10.   修改 hadoop/bin/hadoop 文件

 221 行修改成如下。因为对于 root 用户, -jvm 参数是有问题的,所以需要加一个判断 ( 或者以非 root 用户运行这个脚本也没问题 )

HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"  à

    #for root, -jvm option is invalid.

    CUR_USER=`whoami`

    if [ "$CUR_USER" = "root" ]; then

        HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"

    else

        HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"

    fi 

unset $CUR_USER

 

至此, master  slave1 都已经完成了 single_node 的搭建,可以分别在两台机器上测试单节点。

启动节点:

hadoop/bin/start-all.sh

运行 jps 命令,应能看到类似如下的输出:

937 DataNode

9232 Jps

8811 NameNode

12033 JobTracker

12041 TaskTracker



如果出现
Warning: $HADOOP_HOME is deprecated


解决的办法
 

添加   export HADOOP_HOME_WARN_SUPPRESS=TRUE 到 hadoop-env.sh  中 

注意要添加到集群中每一个节点中。 

版本:hadoop 0.20.205 

原因: Hadoop 在bin/hadoop-config.sh 中对HADOOP_HOME 进行了判断 

判断发生的地方:

# the root of the Hadoop installation

export HADOOP_PREFIX=`dirname "$this"`/..

export HADOOP_HOME=${HADOOP_PREFIX}  

报出错误的地方: bin /hadoop

if [ "$HADOOP_HOME_WARN_SUPPRESS" == "" ] && [ "$HADOOP_HOME" != "" ]; then

  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2 

留着异常也无所谓不会对程序的正常运行产生影响。


如果出现no namenode to stop


解决的办法 

1、先把服务都停掉 

$ bin/stop-all.sh

2、格式化namenode  

$ bin/hadoop namenode -format 

3、重新启动所有服务 

$ bin/start-dfs.sh 

4、可以进行正常操作了 



转载:http://blog.csdn.net/inte_sleeper/article/details/6569985

   http://blog.csdn.net/inte_sleeper/article/details/6569990

   http://metooxi.iteye.com/blog/1454347



参考资料:

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

http://hadoop.apache.org/common/docs/current/cluster_setup.html


  评论这张
 
阅读(337)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018