ubuntu 虚拟机 安装hadoop 教程

《ubuntu 虚拟机 安装hadoop 教程》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Ubuntu+虚拟机安装Hadoop 教程 在虚拟机中安装的Ubuntu系统下搭建Hadoop集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。采用的简单方法是宿主机使用Serv-U建立一个FTP然后在虚拟机上登录将文件拷出来。要先熟悉Linux的基本概念和操作，如：cd、ls、tar、cat、ssh、scp、cp、rm、sudo、su、apt-get等操作。一.实践环境：Ubuntu10.04+jdk1.6+hadoop-0.20.1机器名IP作用Master192.168.128.2Namenode、master、jobtrackerSlave1

2、192.168.128.3Datanode、slave、tasktrackerSlave2192.168.128.4Datanode、slave、tasktracker 二.   安装步骤： 1.       在虚拟机上安装Ubuntu10.04。这个很简单可以上网参考基本上是一直“下一步”就行。注意两个地方：一个是出现选择存储空间时直接选择使用整个磁盘就行，不要进行手动分区。第二个就是我才用的上网方法是NAT技术。配置详情在11.30日的日志里。 2.    对三台虚拟机做一下更新。$sudoapt-getupdate 。后面要安装软件时，如果没有更新

3、，在安装所需软件时，可能会说找不到软件，安装不上。注意选择软件源时不要仅仅是一个网站，建议使用“中国的服务器”。 3.  修改机器名和hosts文件。IP为192.168.128.2 的虚拟机做namenode　机器名叫　master。    IP为192.168.128.3和192.168.128.4的虚拟机做datanode 机器名分别叫slave1，slave2    第一步：修改三台虚拟机的机器名。    对master$vi   /etc/hostname   进入文件后将机器名改成master    对slave$vi  /etc/hostn

4、ame    进入文件后机器名改成slave1$vi  /etc/hostname    第二步：修改三台虚拟机的/etc/hosts文件。    对master和slavevi  /etc/hosts进入文件后原内容删除加入如下内容。    127.0.0.1localhost    192.168.128.2mastermaster    192.168.128.3slave1slave1    192.168.128.4slave2slave2 4.在三台虚拟机上分别新建一个名字为jsj的用户。第一步：root@master:~$adduserjs

5、j 第二步：提示你要求你填写一些信息，可以直接回车。 第三步：设置jsj这个用户的密码（尽量简单一致）。 第四步：root@master:~/home$chown  -R  jsj:jsj  jsj //将jsj文件夹的所用者改成jsj用户的。否则我们用adduserjsj创建了jsj用户后，jsj用户不能在自己的主目录下创建文件夹，（如：$mkdir.ssh）提示没有权限创建文件夹。 5. 在三台虚拟机上分别配置ssh无密码登录。第一步：root@master:~$sudoapt-getinstallssh  //开启ssh服务。 第二步：jsj@ma

6、ster:~$ mkdir.ssh在三台虚拟机的/home/jsj目录下都用jsj用户建立一个.ssh目录 进入目录后再敲命令第三步：jsj@master:~/.ssh/$ssh-keygen–tdsa–P‘’–f~/.ssh/id_dsa//这个命令将为masters上的jsj用户生成其密钥对，生成的密钥对id_dsa，id_dsa.pub，默认存储在/home/jsj/.ssh目录下。 第四步：jsj@master:~/.ssh/$ catid_dsa.pub>>authorized_keys。//把id_dsa.pub 追加到授权key 里面(当前

7、并没有authorized_keys文件是你也可以直接使用cp 命令)。至此无密码登录到本机已经配置好了。可以使用$sshlocalhost 命令测试一下。第一次登录时要输入yes，之后就不用了。 第五步：jsj@master:~/.ssh/$scp id_dsa.pubjsj@slave1:/home/jsj/.ssh///将id_dsa.pub 文件传送到slave1 这台虚拟机上。slave2 同理。 第六步：到slave1 这台虚拟机上执行第四步的操作。slave2 同理。至此master就可以无密码登录到slave1 和slave2 上了。如果

8、想要slave1 和slave2 都可以无密码登录到master上必须在slav