未加星标

大数据学习系列之一 ----- Hadoop环境搭建(单机)

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二04 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏
一、环境选择
1,服务器选择

阿里云服务器:入门型(按量付费)

操作系统:linux CentOS 6.8

Cpu:1核

内存:1G

硬盘:40G

ip:39.108.77.250

大数据学习系列之一 ----- Hadoop环境搭建(单机)

2,配置选择

JDK:1.8 (jdk-8u144-linux-x64.tar.gz)

hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

3,下载地址

官网地址:

JDK:

http://www.oracle.com/technetwork/java/javase/downloads

Hadopp:

http://www.apache.org/dyn/closer.cgi/hadoop/common
百度云:

链接:http://pan.baidu.com/s/1pLqS4kF密码:yb79

二、服务器的相关配置

在配置Hadoop之前,应该先做以下配置

1,更改主机名

首先更改主机名,目的是为了方便管理。

输入:

hostname

查看本机的名称

然后输入:

vim /etc/sysconfig/network

修改主机名称

将HOSTNAME 的名称更改为你想要设置的名称

大数据学习系列之一 ----- Hadoop环境搭建(单机)

注:主机名称更改之后,要重启(reboot)才会生效。

输入

vim /etc/hosts

添加 主机IP 和对应的主机名称,做映射。

大数据学习系列之一 ----- Hadoop环境搭建(单机)

注:在配置文件中使用主机名的话,这个映射必须做!

2,关闭防火墙

关闭防火墙,方便外部访问。

CentOS 7版本以下输入:

关闭防火墙

service iptables stop

CentOS 7 以上的版本输入:

systemctl stop firewalld.service
3,时间设置

输入:

date

查看服务器时间是否一致,若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’
三、Hadoop环境安装
1,下载jdk、hadoop

将下载下来的 jdk、hadoop 解压包放在home 目录下

并新建java、hadoop文件夹

大数据学习系列之一 ----- Hadoop环境搭建(单机)

3.1.1解压文件

输入:

tar -xvf jdk-8u144-linux-x64.tar.gz

tar -xvf hadoop-2.8.2.tar.gz

解压jdk和hadoop ,分别移动文件到java和hadoop文件下,

并将文件夹重命名为jdk1.8和hadoop2.8

大数据学习系列之一 ----- Hadoop环境搭建(单机)

2,JDK环境配置

首先输入

java -version

查看是否安装了JDK,如果安装了,但版本不适合的话,就卸载

3.2.1 profile 文件更改

编辑 /etc/profile 文件

输入:

vim /etc/profile

整体的配置文件:

export JAVA_HOME=/home/java/jdk1.8
export JRE_HOME=/home/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH
大数据学习系列之一 ----- Hadoop环境搭建(单机)
注: JAVA_HOME的路径是 JDK的路径

使用vim 编辑之后 记得输入

source /etc/profile

使配置生效

配置完后,输入java -version查看版本信息

大数据学习系列之一 ----- Hadoop环境搭建(单机)

3,Hadoop 环境配置
3.3.1 profile 文件更改

编辑 /etc/profile 文件

输入:

vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
大数据学习系列之一 ----- Hadoop环境搭建(单机)
输入:
source /etc/profile

使配置生效

修改配置文件

3.3.2新建文件夹

在修改配置文件之前,现在root目录下建立一些文件夹。

输入:

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data
注:在root目录下新建文件夹是防止被莫名的删除。

首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

3.3.3修改 core-site.xml

输入:

vim core-site.xml

在<configuration>添加:

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://test1:9000</value>
</property>
</configuration>
大数据学习系列之一 ----- Hadoop环境搭建(单机)
说明: test1 可以替换为主机的ip。
3.3.4修改 hadoop-env.sh

输入:

vim hadoop-env.sh

将${JAVA_HOME}修改为自己的JDK路径

export JAVA_HOME=${JAVA_HOME}

修改为:

export JAVA_HOME=/home/java/jdk1.8
大数据学习系列之一 ----- Hadoop环境搭建(单机)
3.4.5修改 hdfs-site.xml

输入:

vim hdfs-site.xml

在<configuration>添加:

<property>
<name>dfs.name.dir</name>
<value>/root/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
大数据学习系列之一 ----- Hadoop环境搭建(单机)
说明:dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
3.4.6 修改mapred-site.xml

如果没有mapred-site.xml该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。

输入:

vim mapred-site.xml

修改这个新建的mapred-site.xml文件,在<configuration>节点内加入配置:

<property>
<name>mapred.job.tracker</name>
<value>test1:49001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/root/hadoop/var</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
大数据学习系列之一 ----- Hadoop环境搭建(单机)

使用的命令:

大数据学习系列之一 ----- Hadoop环境搭建(单机)

到此 Hadoop 的单机模式的配置就完成了。

四、Hadoop启动

第一次启动Hadoop需要初始化

切换到 /home/hadoop/hadoop2.8/bin目录下输入

./hadoop namenode -format
大数据学习系列之一 ----- Hadoop环境搭建(单机)
大数据学习系列之一 ----- Hadoop环境搭建(单机)
tags: gt,lt,hadoop,name,property,value,HOME,root,dfs,xml,site,JAVA,输入,vim,etc
分页:12
转载请注明
本文标题:大数据学习系列之一 ----- Hadoop环境搭建(单机)
本站链接:http://www.codesec.net/view/570084.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(41)