未加星标

大数据资源如何管理

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二05 | 时间 2017 | 作者 红领巾 ] 0人收藏点击收藏

  Hadoop集群资源管理器是什么?它是如何为上层应用提供资源管理和调度的呢?我们一起来看Apache Hadoop YARN的引入,为集群在利用率、资源统一管理和数据共享等方面带来的巨大好处。

大数据资源如何管理

  从开发人员来讲提交作业(应用)到YARN集群,通过YARN的UI来监控和管理作业。Hadoop给开发员提供了三种主要YARN工具:(1)Hue Job Browser;(2)YARN Web UI;(3)YARN命令。YARN管理员可以使用Cloudera Manager,包含在Cloudera Express和Cloudera Enterprise中,对开发人员也有一些帮助。下面我们一起来看具体组件的作用:

  (1)Hue Job Browser: 可以监控作业状态 、 查看日志 、 杀掉作业

大数据资源如何管理

  (2)YARN Web UI: Resource Manager UI是主要的入口点,运行在RM主机的8088端口,相比Hue,提供了更多明细视图(可以查看每一个应用下面的任务,任务里面有多少attempt,以及一些日志情况),但是它不提供任何控制或者配置。在这里我们看一下YARN Web UI的类别:

  1) Resource Manager UI:Nodes

大数据资源如何管理

  2) Resource Manager UI:Applications

大数据资源如何管理

  3)Resource Manager UI:Application Detail

大数据资源如何管理

  (3)YARN命令行

  1)通过命令配置和查看关于YARN集群的信息

  a)yarn

  2)大多数YARN命令行工具是为管理员而不是开发员准备的

  3)一些对开发员有用的命令

  b)yarn application,使用-list来查看运行的应用,使用-kill来杀掉运行的应用.

  c)yarn logs –applicationId ,查看特定应用的日志

  (4)Cloudera Manager

  Cloudera Manager提供了强大地从单个节点监控和配置集群的能力

大数据资源如何管理

  YARN作为Hadoop的资源管理器,给集群的资源管理与共享带来了便捷,但是我们必须明确YARN 在实际应用中的特点,才能够更好的掌握和应用。大数据由于当下发展的需要,给每一位想要从事或者已经从事大数据的人员提供了机遇和挑战,我们不仅要多方位思考总结,还要借鉴和学习别人的经验,不断地改善自己的知识架构,才会取得更大的进步。平时可以关注“大数据cn”这样的微信资讯平台,上面分享的大数据相关知识对于我们从业者来说,很新颖独特,对开阔我们的视野,拓展我们的知识面,激发我们的思维都有着很好地帮助作用!


大数据资源如何管理
主题: Hadoop数据微信大数据
tags: YARN,UI,Manager,Cloudera,Hadoop,Resource,集群,Hue,yarn,Web,资源管理,查看,日志
分页:12
转载请注明
本文标题:大数据资源如何管理
本站链接:https://www.codesec.net/view/519393.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(133)