未加星标

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二03 | 时间 2018 | 作者 红领巾 ] 0人收藏点击收藏

Cloudera Manager 分为两个部分:CDH和CM。

CDH是Cloudera Distribution hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有的服务,包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的简称,是CDH的管理平台,主要包括CM server, CM agent。通过CM可以对CDH进行配置,监测,报警,log查看,动态添加删除各种服务等。

一、准备工作
环境
JDK:1.8
centos:7.3
操作系统:CentOS 6
JDK 版本:1.7.0_80
所需安装包及版本说明:由于我们的操作系统为CentOS7,需要下载以下文件:
cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
manifest.json

Cloudera Manager 下载目录

archive.cloudera.com/cm5/cm/5/

CDH 下载目录

archive.cloudera.com/cdh5/parcel…

manifest.json 下载

archive.cloudera.com/cdh5/parcel…

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1重命名为CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

这点必须注意,否则,系统会重新下载CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel文件

本文采用离线安装方式,在线安装方式请参照官方文
主机名 ip地址 安装服务 node1 (Master)
192.168.252.121
jdk、cloudera-manager、mysql
node2 (Agents)
192.168.252.122
jdk、cloudera-manager
node3 (Agents)
192.168.252.123
jdk、cloudera-manager
node4 (Agents)
192.168.252.124
jdk、cloudera-manager
node5 (Agents)
192.168.252.125
jdk、cloudera-manager
node6 (Agents)
192.168.252.126
jdk、cloudera-manager
node7 (Agents)
192.168.252.127
jdk、cloudera-manager
二、系统环境搭建
1、网络配置(所有节点)
修改 hostname

命令格式

hostnamectl set-hostname <hostname>
依次修改所有节点node[1-7]
hostnamectl set-hostname node1

重启服务器

reboot
修改映射关系

1.在 node1 的/etc/hosts文件下添加如下内容

$ vi /etc/hosts

2.查看修改后的/etc/hosts文件内容

[[emailprotected] ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7
2、SSH 免密码登录

1.在集群node1的/etc/ssh/sshd_config文件去掉以下选项的注释

vi /etc/ssh/sshd_config
RSAAuthentication yes #开启私钥验证
PubkeyAuthentication yes #开启公钥验证

2.将集群node1 修改后的/etc/ssh/sshd_config通过scp命令复制发送到集群的每一个节点

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令ssh-keygen -t rsa -P '',生成 key,一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..7}; do ssh [emailprotected]$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件authorized_keys通过scp命令复制发送到每一个节点上去:/root/.ssh/authorized_keys`

for a in {1..7}; do scp /root/.ssh/authorized_keys [emailprotected]$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如:在node3

ssh root@node2

exit退出

3、关闭防火墙
systemctl stop firewalld.service
4、关闭 SElinux
查看
[[emailprotected] ~]# getenforce
Enforcing
[[emailprotected] ~]# /usr/sbin/sestatus -v
SELinux status:
临时关闭
## 设置SELinux 成为permissive模式
## setenforce 1 设置SELinux 成为enforcing模式
setenforce 0
永久关闭
vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

设置后需要重启才能生效

PS 我是修改node1的/etc/selinux/config后,把配置文件复制到其他节点

for a in {2..7}; do scp /etc/selinux/config [emailprotected]$a:/etc/selinux/config ; done

重启所有节点

reboot
5、安装 JDK

下载Linux环境下的jdk1.8,请去(官网)中下载jdk的安装文件

我在百度云盘分下的链接:pan.baidu.com/s/1jIFZF9s密码:u4n4

上传在/opt目录

解压

tags: ssh,cloudera,etc,CDH,节点,config,node1,cdh5,parcel,emailprotected,Agents
分页:12
转载请注明
本文标题:离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服
本站链接:https://www.codesec.net/view/570566.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(120)