未加星标

《使用Ambari搭建hadoop技术栈集群》

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二03 | 时间 2016 | 作者 红领巾 ] 0人收藏点击收藏
一. 背景

hdfs,map-reduce,spark,yarn是大数据处理的基础组件。在发展了几年之后,已经成为了比较通用的数据处理工具。记得几年前搭建hadoop这一套需要若干天才能完成,现在由于工具的进一步升级,搭建完整的集群+监控系统只需要若干小时即可。

二. Ambari介绍

【Ambari】是apache的一个开源项目。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群。Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。HDP 2.2 所支持的 Service 已经有 18 个之多,分别是 Falcon,Flume,Hbase,HDFS,Hive,Kafka,Kerberos,Knox,Oozie,Pig,Ranger,Slider,Spark,Sqoop,Stom,Tez,Yarn,Zookeeper。现阶段最新的版本是HDP2.4

三. 搭建的方法
由于Ambari是C/S架构,所以需要配置S到C的免密码ssh登录权限
构建yum本地源,这个可以大大加速搭建的进度和成功率

reposync -r Updates-ambari-2.2.1.0 -p ./

reposync -r HDP-2.4 -p ./

reposync -r Updates-ambari-2.2.1.0 -p ./

createrepo .


启动ambari-server

yum install ambari-server

amari-server setup

ambari-server start

默认的端口为 8080,用户名密码: admin/admin


在各个节点启动ambari-agent

这部分操作可以完全在web UI 下操作,十分方便。


《使用Ambari搭建hadoop技术栈集群》

添加机器节点

注意:需要上传之前免密码登录的私钥:id_rsa


《使用Ambari搭建hadoop技术栈集群》

选择要安装的服务

首次尽量选择必须的组件,后面可以随时增加
注意:可以根据实际情况改变部署的分布和配置,这个需要跟硬件配置和实际负载情况折中
四. 线上的效果

《使用Ambari搭建hadoop技术栈集群》

安装成功后的效果

其中:

Ambari Metrics 负责实时收集端上相关的系统统计信息,并维护各个服务的报警触发条件
每个服务都可以通过使用UI工具进行启动/停止/下线的操作
可以提交一个系统自带的分布式shell任务来测试集群运行的正确性

su ambari-qa

cd /usr/hdp/2.4.0.0-169/hadoop-yarn/

yarn jar hadoop-yarn-applications-distributedshell.jar hadoop-yarn-client.jar --jar hadoop-yarn-applications-distributedshell.jar -container_memory 2 -master_vcores 3 -shell_args -a -shell_command ls


《使用Ambari搭建hadoop技术栈集群》
tags: Ambari,ambari,hadoop,yarn,jar,集群,搭建,Server,Agent,reposync,shell,Updates,distributedshell,UI
分页:12
转载请注明
本文标题:《使用Ambari搭建hadoop技术栈集群》
本站链接:http://www.codesec.net/view/420229.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(221)