Hadoop平台搭建

HadoopHadoop 平台搭建平台搭建唐李洋

Vmware Workstation 7.0CentOS 4.8 (or other Linux version)JDK 1.6 + （ jdk-6u21-linux-i586.bin）Hadoop 0.20.2Hbase 0.20.6SSH Secure Shell Client 3.2.9

软件环境软件环境

安装安装 JDKJDK

1. 下载 jdk-6u21-linux-i586.bin 拷贝到 /cloud 目录下2. 进入 cd /cloud3. 增加执行权限

◦ chmod +x jdk-6u21-linux-i586.bin4. 执行安装命令

◦ ./jdk-6u21-linux-i586.bin5. 设置 JDK 环境变量

◦ vi /etc/profile◦ export JAVA_HOME=/cloud/jdk1.6.0_21◦ export PATH=/cloud/jdk1.6.0_21:$PATH   ◦ export

CLASSPATH=.:/cloud/jdk1.6.0_21/lib:/cloud/jdk1.6.0_21/jre/lib

◦ source /etc/profile6. 查看安装成功

◦ Java -version

Hadoop 0.20.2Hadoop 0.20.2

1. 解压缩 tar –xzf hadoop-0.20.2.tar.gz 2. 设置 hadoop-env.sh

◦添加 export JAVA_HOME=/cloud/jdk1.6.0_21

3. conf/core-site.xml

4. conf/hdfs-site.xml

5. conf/mapred-site.xml6. 设置 conf/masters, conf/slaves

Hadoop 0.20.2Hadoop 0.20.2

SSHSSH无密码通信无密码通信

1. ssh-keygen –t rsa2. 加入 authorized_keys3. ssh 主机名 登陆即可

HadoopHadoop 操作操作

1. 格式化 NameNode

2. 启动 hadoop◦ 在浏览器输入 http://sev-130:50070， 查看是否启动成功

3. 关闭 bin/stop-all.sh

HBaseHBase安装安装

1. 解压缩 2. 配置 conf/hbase-env.sh

3. conf/hbase-site.xml

4. 将 Hadoop site 配置文件（ core-site.xml, hdfs-site.xml, mapred-site.xml ）复制到 hbase/conf 目录下

5. 修改 conf/regionservers 6. 将 hbase 的 jar 包复制到 hadoop/lib 目录 7. 启动 hbase

◦ bin/start-hbase.sh◦ http://sev-130:60010/ 查看 hbase 安装成功

Hadoop Cluster - SSHHadoop Cluster - SSH

将已经配置好的虚拟机镜像 clone 并拷贝到其他机器上修改 hostname 和 IP 地址

◦ vi /etc/sysconfig/network◦ vi /etc/sysconfig/network-scripts/ifcfg-eth0◦ Reboot

在两台机器上都修改 /etc/hosts

两台机器都 ssh-keygenMaster(sev-130) 上：

◦ scp authorized_keys sev-128:/root/.sshSlave(sev-128) 上 :

◦ cd /root/.ssh◦ chmod 644 authorized_keys

注意：将虚拟机 Linux 的 NETWORK 改为 bridged

Hadoop Cluster – Hadoop confHadoop Cluster – Hadoop conf

拷贝文件到 sev-128◦ scp –r /cloud sev-128:/cloud

在 slave 上重新安装 JDK 两台机器上配置：

◦ conf/slaves sev-128 sev-130

在 master 上登陆 slave◦ ssh sev-128

格式化并启动

Hadoop Cluster - WordCountHadoop Cluster - WordCount

Vmware toolVmware tool

VM -> install vmware toolsVmware-tools 默认安装在 /media/cdrom 目录解压缩

◦cd vmware-tools◦./VMTools-install.pl

设置共享文件夹◦Options -> shared folder

进入共享目录◦cd /mnt/hgfs

EclipseEclipse 插件插件

1. 下载 Eclipse◦eclipse-jee-helios-linux-gtk.tar.gz

2. 解压缩 tar3. 将 hadoop

Eclipse 插件复制到 Eclipse/plugins 目录下◦cp /cloud/hadoop-0.20.2/contrib/hadoop-0.20.2-

eclipse-plugin.jar /cloud/eclipse/plugins4. 进入 /cloud/eclipse 目录，双击打开

Eclipse

EclipseEclipse 插件插件

选择 perspective -> other -> MapReduce具体请参考

◦http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab5#a2.1%E5%AE%89%E8%A3%9Dhadoop%E7%9A%84eclipseplugin

注意该插件在 Eclipse 中的 run on hadoop 选项不可用，采用 Makefile 方式运行，具体设置参考◦http://tlyxy228.blog.163.com/blog/static/

1810901201052191836360/

PSPS ：： BridgedBridged 上网设置上网设置

1. 设置 ip ，子网掩码，网络地址，广播地址，网关和 DNS◦应用程序 -> 系统设置 -> 网络

2. 重启网络服务◦Service network restart

详见 http://blog.chinaunix.net/u/25340/showart.php?id=2190957