大数据资源要如何管理
Hadoop资源成本管理器是什么?
它是如作甚基层利用供应成本管理和调度的呢?我们一起来看Apache Hadoop YARN的引入,为资源在利用率、成本统一管理和数据共享等方面带来的弘大好处。
从开拓人员来讲提交作业(利用)到YARN资源,经过进程YARN的UI来监控和管理作业。Hadoop给开拓员供应了三种紧张YARN工具:
(1)Hue Job Browser;
(2)YARN Web UI;
(3)YARN命令。
YARN管理员能够或者利用Cloudera Manager,包含在Cloudera Express和ClouderaEnterprise中,对开拓人员也有一些帮助。下面我们一起来看具体组件的浸染:
(1)Hue Job Browser:能够或者监控作业状态、反省日志、杀掉作业wKioL1hh5PjxCcP-AAEWRMH67dg888.png-wh_50
(2)YARN Web UI:Resource Manager UI是紧张的入口点,运行在RM主机的8088端口,相比Hue,供应了更多明细视图(能够或者反省每一个利用下面的任务,任务里面有多少attempt,以及一些日志情况),但是它不供应任何节制或者设置设备陈设。在这里我们看一下YARN Web UI的类别:
1)Resource Manager UI:Nodes
2)Resource Manager UI:Applications
3)ResourceManager UI:Application Detail
(3)YARN命令行
1)经过进程命令设置设备陈设和反省对于YARN资源的信息
a)yarn <command>
2)大多数YARN命令行工具是为管理员而不是开拓员筹办的
3)一些对开拓员有用的命令
b)yarn application,利用-list来反省运行的利用,利用-kill来杀掉运行的利用.
c)yarn logs –applicationId<app-id>,反省特定利用的日志
(4)Cloudera Manager
Cloudera Manager供应了强大地从单个节点监控和设置设备陈设资源的能力
YARN作为Hadoop的成本管理器,给资源的成本管理与共享带来了便捷,但是我们必须明确YARN 在实际利用中的特点,能力够或者更好的节制和利用。
大数据由于当下成长的需要,给每一位想要从事或者已经从事大数据的人员供应了机遇和寻衅,我们不只需多方位思考总结,还要借鉴和学习别人的经验,赓续地改进自己的知识架构,才会得到更大的进步。
平常平常能够或者存眷“大数据cn”这样的微信资讯平台,下面分享的大数据干系知识对于我们从业者来讲,很新颖独特,对开阔我们的眼帘,拓展我们的知识面,激发我们的思惟都有着很好地帮助浸染!
想知道更多关于IT行业的信息吗?想远远不如行动,行动起来,一起加入光环大数据,一起进入IT行业,跟着光环大数据的脚步,一起走进如今的互联网信息时代,带给你不一样的色彩生活——【深圳大数据培训】