当前位置: 主页 > 行业资讯 > 大数据培训 > 大数据资源要如何管理

大数据资源要如何管理

2018-04-03 17:52:56 作者:光环大数据 栏目:未知

光环大数据作为国内知名的高端IT就业培训机构,多年来培养无数高薪人才!为了让更多人了解大数据、人工智能、数据分析、python等相关技能,光环大数据免费提供学习视频、2周免费跟班试听课程,如有需要,可点击留言

大数据资源要如何管理

Hadoop资源成本管理器是什么?

它是如作甚基层利用供应成本管理和调度的呢?我们一起来看Apache Hadoop YARN的引入,为资源在利用率、成本统一管理和数据共享等方面带来的弘大好处。

从开拓人员来讲提交作业(利用)到YARN资源,经过进程YARN的UI来监控和管理作业。Hadoop给开拓员供应了三种紧张YARN工具:

(1)Hue Job Browser;

(2)YARN Web UI;

(3)YARN命令。

YARN管理员能够或者利用Cloudera Manager,包含在Cloudera Express和ClouderaEnterprise中,对开拓人员也有一些帮助。下面我们一起来看具体组件的浸染:

(1)Hue Job Browser:能够或者监控作业状态、反省日志、杀掉作业wKioL1hh5PjxCcP-AAEWRMH67dg888.png-wh_50

(2)YARN Web UI:Resource Manager UI是紧张的入口点,运行在RM主机的8088端口,相比Hue,供应了更多明细视图(能够或者反省每一个利用下面的任务,任务里面有多少attempt,以及一些日志情况),但是它不供应任何节制或者设置设备陈设。在这里我们看一下YARN Web UI的类别:

1)Resource Manager UI:Nodes

2)Resource Manager UI:Applications

3)ResourceManager UI:Application Detail

(3)YARN命令行

1)经过进程命令设置设备陈设和反省对于YARN资源的信息

a)yarn <command>

2)大多数YARN命令行工具是为管理员而不是开拓员筹办的

3)一些对开拓员有用的命令

b)yarn application,利用-list来反省运行的利用,利用-kill来杀掉运行的利用.

c)yarn logs –applicationId<app-id>,反省特定利用的日志

(4)Cloudera Manager

Cloudera Manager供应了强大地从单个节点监控和设置设备陈设资源的能力

YARN作为Hadoop的成本管理器,给资源的成本管理与共享带来了便捷,但是我们必须明确YARN 在实际利用中的特点,能力够或者更好的节制和利用。

大数据由于当下成长的需要,给每一位想要从事或者已经从事大数据的人员供应了机遇和寻衅,我们不只需多方位思考总结,还要借鉴和学习别人的经验,赓续地改进自己的知识架构,才会得到更大的进步。

平常平常能够或者存眷“大数据cn”这样的微信资讯平台,下面分享的大数据干系知识对于我们从业者来讲,很新颖独特,对开阔我们的眼帘,拓展我们的知识面,激发我们的思惟都有着很好地帮助浸染!

想知道更多关于IT行业的信息吗?想远远不如行动,行动起来,一起加入光环大数据,一起进入IT行业,跟着光环大数据的脚步,一起走进如今的互联网信息时代,带给你不一样的色彩生活——【深圳大数据培训】


光环大数据作为国内知名的高端IT就业培训机构,多年来培养无数高薪人才!为了让更多人了解大数据、人工智能、数据分析、python等相关技能,光环大数据免费提供学习视频、2周免费跟班试听课程,如有需要,可点击留言
Tags标签 大数据培训
返回上一页
新浪微博
新浪微博

关注@我们

腾讯微博
腾讯微博

关注@我们

RSS订阅
RSS订阅

订阅我们

领取资料

X
立即免费领取

请准确填写您的信息

点击领取