ubuntu下的hadoop配置与运行

《ubuntu下的hadoop配置与运行》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、上海电力学院计算机与信息工程学院撰写人:周耀君QQ:648134235Hadoop部署、配置与运行扉言:此文档为自己部署过程中的记录。配置后演示了单节点、单机伪分布和两台机器之间的分布运行、并对伪分布和完全分布做了初步对比以增进理解，最后演示了在eclipse下运行hadoop自带例子wordcount的步骤。=====================================================系统配置===================================================

2、==(一)资源需求➢LinuxUbuntu9.10//最新版本可上官方网站免费下载www.ubuntulinux.org//也可以向Ubuntu社区申请免费安装shipit.ubuntu.com➢Hadoop0.20.0包//最新版本可在Apache提供的镜像服务器下载//www.apache.orgdownload→→镜像服务器→hadoop➢Sun-java6-jdk包//在终端机里输入:apt-getinstallsun-java6-jdk//系统会自动下载包以及所有的依存包,同时进行包的安装➢SSH包(为远程登录会

3、话提供安全性协议)//在终端机里输入:apt-getinstallssh➢Eclipse包//官方下载最新版本:www.eclipse.org/downloads/(二)配置流程1.安装ubuntu9.042.更新deb软件包列表$sudoapt-getupdate3.安装系统更新$sudoapt-getupgrade4.安装JDK-1-上海电力学院计算机与信息工程学院撰写人:周耀君QQ:648134235$sudoapt-getinstallsun-java6-jdk//默认路径在/usr/lib/jvm,安装时需要TA

4、B键选择OK5.设置java-6-sun为默认的java程序$sudoupdate-alternatives--configjava//JDK唯一,不需选择$sudoupdate-java-alternatives-sjava-6-sun6.设置CLASSPATH和JAVA_HOME系统环境变量$sudogedit/etc/environment添加以下两行内容:CLASSPATH=".:/usr/lib/jvm/java-6-sun/lib"JAVA_HOME="/usr/lib/jvm/java-6-sun"7.调整系

5、统虚拟机的优先顺序$sudogedit/etc/jvm在文件顶部添加一行/usr/lib/jvm/java-6-sun如果文件/etc/jvm不存在则自己新建8.多节点分布式环境下的两个必要条件a、每个节点有相同的用户名,如shiep205b、hadoop文件路径相同,如/home/shiep205/hadoop9.下载hadoop-*.tar.gz至/home/shiep205/$cd~//选择默认路径$sudotarxzfhadoop-0.20.0.tar.gz//解压至当前路径$mvhadoop-0.20.0hado

6、op//重命名为hadoop$sudochown-Rshiep205:shiep205hadoop//赋予shiep205权限10.更新hadoop环境变量$gedithadoop/conf/hadoop-env.sh将#exportJAVA_HOME=/usr/lib/jvm/java-6-sun改为exportJAVA_HOME=/usr/lib/jvm/java-6-sun11.配置SSH$sudoapt-getinstallssh$sudoapt-getinstallrsync//远程同步,可能已经安装了最新版本$

7、ssh-keygen-tdsa-P''-f~/.ssh/id_dsa-2-上海电力学院计算机与信息工程学院撰写人:周耀君QQ:648134235$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$sshlocalhost//验证配置成功与否=====================================================单节点配置=====================================================在前面工作已经做好的基础上

8、,单节点的运行,运行在非分布模式,hadoop作为单个java进程。运行命令,查看hadoop的使用文档Bin/hadoop以下例子复制压缩的conf目录作为输入,查找并显示正规式的匹配。输出写到output目录$mkdirinput$cpconf/*.xmlinput$bin/hadoopjarhad