未加星标

Hadoop的集群安装

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二04 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏

hadoop的集群安装

Hadoop的集群安装

1、安装JDK,解压jar,配置环境变量

1.1、解压jar

tar -zxvf jdk-7u79-linux-x64.tar.gz -C /opt/install //将jdk解压到对应的文件目录下

1.2、配置环境变量,

sudo vim /etc/profile
//添加下面内容:
export JAVA_HOME=/opt/install/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

2、下载hadoop压缩包,解压jar,配置文件

2.1、解压jar

tar -zxvf hadoop-1.2.1.tar.gz -C /opt/install //将jar解压到对应的目录下面

2.2、配置环境变量

sudo vim /etc/profile
//添加HADOOP_HOME变量,修改path变量
export HADOOP_HOME=/opt/install/hadoop
export HADOOP_HOME_WARN_SUPPRESS=1 //防止hadoop在操作的时候有警告
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

2.3、配置hadoop文件

2.3.1、修改hadoop/conf/hadoop-env.sh

//将JAVA_HOME修改为在/etc/profile中配置的环境变量
export JAVA_HOME=/opt/install/jdk1.7.0_79

2.3.2、修改hadoop/conf/core-site.xml

<configuration>
<property>
<name>fs.default.name</name> //namenode所在主机
<value>hdfs://192.168.203.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name> //hadoop的临时文件目录
<value>/opt/data/hadoop1.2</value>
</property>
</configuration>

2.3.3、修改/hadoop/conf/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name> //副本数
<value>3</value>
</property>
<property>
<name>dfs.permissions</name> //文件权限
<value>false</value>
</property>
</configuration>

2.3.4、修改/hadoop/conf/masters文件,该文件配置的secondnamenode所在位置

192.168.203.128 //自己的主机ip,最好是修改/etc/hosts文件

2.3.5、修改hadoop/conf/slaves,该文件配置的datanode

192.168.203.129
192.168.203.130
192.168.203.131

2.3.6、修改/hadoop/conf/mapred-site.xml文件,设置jobtrocker

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.203.128:9001</value>
</property>
</configuration>

2.3.7、在其他机器上也进行相同的配置,但是最好是在配置好ssh以后通过 scp的命令进行复制。

3、配置ssh免密码登录

3.1、查看本地是否能够ssh免密码登录

ssh localhost

3.2、如果需要密码就要生成密钥,

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、配置远程免密码登录,让配置namenode主机能够免密码登录到datanode主机

scp ~/.ssh/id_dsa.pub 192.168.203.128@hadoop:~ //将本机的公钥复制到192.168.203.129这台主机上
cat ~/id_dsa.pub >> ~/.ssh/authorized_keys //在192.168.203.129的主机上执行这条命令,追加公钥到authorized_keys

4、启动hadoop

4.1、跳转到/hadoop/bin目录下,进行namenode的初始化

hadoop namenode -format

4.2、启动hadoop

./start-all.sh //启动hdfs已经mapreduce

./start-dfs.sh //启动hdfs

4.3、检验是否启动成功,执行jps命令,看namenode,secondnamenode,。。。等进程是否启动

5、通过hdfs的命令行进行操作,下面是一些简单的命令

hadoop fs -ls / 根目录
hadoop fs -lsr / 递归遍历根目录
hadoop fs -mkdir /user 创建文件夹
hadoop fs -put 文件 hdfs folder 上传文件,如果文件夹路径不存在,文件名字就是定义的名字
hadoop fs -get <hdfs file> <linux folder> 下载在linux中
hadoop fs -text <hdfs file> 查看文件内容
hadoop fs -rm <hdfs file> 删除文件
hadoop fs -rmr <hdfs folder> 删除文件夹
hadoop fs 显示hdfs文件相关参数
hadoop fs -help ls 命令描述

Hadoop的集群安装
主题: Hadoop变量删除SUPPR
tags: gt,lt,hadoop,fs,name,property,value,ssh,hdfs,HOME,文件,opt
分页:12
转载请注明
本文标题:Hadoop的集群安装
本站链接:https://www.codesec.net/view/459886.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(218)