一.安装须知

Hadoop版本问题:

Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新,本教程均可适用。如果需安装 0.20,1.2.1这样的版本,本教程也可以作为参考,主要差别在于配置项,配置请参考官网教程或其他教程。自学建议安装最新版本,目前是hadoop2.7.2

单机模式&&伪分布模式

单机模式(standalone)
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。**该模式主要用于开发调试**MapReduce程序的应用逻辑。
伪分布模式(Pseudo-Distributed Mode)
伪分布模式在“单节点集群”上运行Hadoop,其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。 全分布模式(Fully Distributed Mode)
Hadoop守护进程运行在一个集群上。

备注:本教程使用 Ubuntu 14.04 64位 +VMware12.0+Hadoop2.2.0组合,请自行下载相关文件。

二.开始安装

1.前期准备

[1]将下载好的jdk压缩包jdk-7u79-linux-x64.tar复制到目录/app/complied下,并解压至路径/usr/local/java下面
[email protected]:~$ cd /app 进入app目录下
[email protected]:~$ /app mkdir complied 创建complied目录
[email protected]:cd /home/hadoop 进入jdk安装包所在目录
[email protected]:/home/hadoop# cp jdk-7u79-linux-x64.tar /app/compied 复制jdk安装包至目录/app/complied下
[email protected]:/app/complied# tar -zxvf jdk-7u79-linux-x64.tar 解压安装包
[email protected]:/app/complied# mv jdk1.7.0_79 /usr/local/java 移动解压文件
[2]将下载好的hadoop压缩包hadoop-2.2.0-64bit.tar.gz复制到目录/app/complied下,并解压至路径/usr/local/hadoop下面
[email protected]:~# cd /home/hadoop 进入hadoop安装包所在目录
[email protected]:/home/hadoop# cp hadoop-2.2.0-64bit.tar.gz /app/compied 复制hadoop安装包至目录/app/complied下
[email protected]:/app/complied# tar -zxvf hadoop-2.2.0-64bit.tar.gz 解压安装包
[email protected]:/app/complied# mv hadoop2.2.0 /usr/local/hadoop 移动解压文件

2.创建hadoop用户组和hadoop用户

[email protected]:~# sudo addgroup hadoop 创建用户组
[email protected]:~# sudo adduser --ingroup hadoop hadoop 在hadoop用户组中创建用户hadoop
[email protected]:~# sudo adduser hadoop sudo 创建hadoop用户

3.安装SSH、配置SSH无密码登陆

由于Hadoop用ssh通信,先安装ssh

[email protected]:~$ sudo apt-get install openssh-server

ssh安装完成以后,先启动SSH服务

[email protected]:~$ sudo /etc/init.d/ssh start

启动后,可以通过如下命令查看服务是否正确启动:

[email protected]:~$ ps -e | grep ssh

作为一个安全通信协议,使用时需要密码,因此我们要设置成免密码登录,生成私钥和公钥:

[email protected]:~$ ssh-keygen -t rsa -P ""
【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)

第一次操作时会提示输入密码,按Enter直接过,这时会在~/home/{username}/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥,现在我们将公钥追加到authorized_keys中(authorized_keys用于保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容):

[email protected]:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

现在可以登入ssh确认以后登录时不用输入密码:

[email protected]:~$ ssh localhost

登出:

[email protected]:~$ exit
4.安装配置Java环境
- 安装openjdk
[email protected]:~$ sudo apt-get install openjdk-8-jdk

安装好 OpenJDK 后,需要找到相应的安装路径,这个路径是用于配置 JAVA_HOME 环境变量的。执行如下命令:

[email protected]:~$ dpkg -L openjdk-7-jdk | grep '/bin/javac'
我们需要的路径为 /usr/lib/jvm/java-8-openjdk-amd64
接着配置 JAVA_HOME 环境变量,为方便,我们在 ~/.bashrc 中进行设置
[email protected]:~$ vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #jdk的安装路径

接着还需要让该环境变量生效,执行如下代码:

source ~/.bashrc #使变量设置生效

测试是否配置成功

echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
安装Z

本文数据库(综合)相关术语:系统安全软件

主题: HadoopUbuntuHDFSXMLJavaMapReduce变量变量值
分页:12
转载请注明
本文标题:【Hadoop入门学习系列之一】Ubuntu下安装Hadoop(单机模式+伪分布模式)
本站链接:http://www.codesec.net/view/481532.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 数据库(综合) | 评论(0) | 阅读(30)