未加星标

Hadoop环境安装和集群创建

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二03 | 时间 2018 | 作者 红领巾 ] 0人收藏点击收藏

虚拟机使用vmware,vmware可以直接百度下载安装 秘钥也能百度到 安装很简单

CentOS 7下载:

进入官网https://www.centos.org/download/

这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样,这里选择标准版下载。点第一个标准版进入镜像http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso这里面有不同的镜像,找一个自己下载快的链接下载就好了。

Hadoop环境安装和集群创建

CentOS 7.3 安装指南

https://www.cnblogs.com/wcwen1990/p/7630545.htmlhttps://linux.cn/article-8048-2.html

关闭防火墙,CentOS7 禁用防火墙跟6不一样

firewall-cmd –reload #重启firewall

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd –state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

使用Xshell 连接linux主机。在自己windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如:host中加入下面两句

192.168.1.76 master
192.168.1.106 slave

Xshell 上传下载命令 rz,sz

CentOS 7系统下配置自定义JDK的教程

http://www.jb51.net/article/116666.htm
export JAVA_HOME=/home/chs/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录,原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的

第一种 sudo yum install glibc.i686

第二种 安装64位的jdk

hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

配置hadoop参数

第一步 进入

vim hadoop-env.sh

找到

export JAVA_HOME=${JAVA_HOME}
修改为
export JAVA_HOME=/home/chs/java/jdk1.8.0_171

第二步 修改core-site.xml

vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>// master是你的主机名字
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chs/hadoopdata</value>//存放临时数据
</property>
</configuration>

第三步配置hdfs-site.xml

vim hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name> //赋值备份
<value>1</value>//hadoop集群默认有3份数据 1是伪分布式
</property>
</configuration>

第四步 配置yarn-site.xml

vim yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>

第五步 配置mapred-site.xml

如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>//把yarn平台做MapReduce的框架
</property>
</configuration>

配置ip

vim /etc/hosts

192.168.1.120 slave
192.168.1.119 master

设置ssh免密码登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
将master中的秘钥复制到slave中
scp ~/.ssh/authorized_keys slave:~/.ssh
将slave中的秘钥复制到master中
scp id_rsa.pub master:~/.ssh/authorized_keys

如果是伪分布式可以直接格式化重启了,如果不是伪分布式,那就配置slaves附属节点

配置从节点文件 slaves

vim slaves

localhost 改为 slave

复制到从节点中

scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop

格式化HDFS 创建namenode的文件结构

hadoop namenode -format 或者 hsfs namenode -format

启动Hadoop

先启动HDFS: start-hdfs.sh

在启动yarn : start-yarn.sh

或者一步到位 start-all.sh

查看是否启动成功 jps

启动之后会看到几个进程:

HDFS的进程:NameNode , DataNode , SecondryNameNode

Yarn的进程 :NodeManager , SourceManager

其中master 中的进程是 : NameNode ,SecondryNameNode ,SourceManager

slave中的进程是:DataNode ,NodeManager

浏览器中: 输入http://master:50070/和http://master:18088来检查。

OK完成


Hadoop环境安装和集群创建
tags: lt,gt,name,property,value,yarn,site,HOME,hadoop,configuration,ssh,JAVA,xml,resourcemanager
分页:12
转载请注明
本文标题:Hadoop环境安装和集群创建
本站链接:https://www.codesec.net/view/576383.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(212)