本文最后更新于 2016 天前,其中的信息可能已经有所发展或是发生改变。
好了,终于说到这个。
是不是都觉得ctrl+c后退出hive窗口后就不会执行了?too young!!!!!!
在hive运行的过程中,采用 ctrl + c 的方法只是退出客户端,hive的job仍是在集群后台运行的!!!因为我就出现过一次,年轻阿程序在后台执行了一天还在跑,因为那数据有连表之后有100E左右。使用的资源也占了鸡巴多..
想要真正kill掉job,需要执行指令 hadoop job -kill job_id 指令!!!
别再以为ctrl+c无敌了,不然你会后悔一辈子的..
比如当你在执行一个job
job = job_1536239054008_141574
所以 要kill掉这个job –>hadoop job -kill job_1536239054008_141574
4.作业命令
mapred job -list –查看所有正在运行的job
mapred job -kill job_id 停止指定iobid作业
5.资源命令
yarn application -list 查看所有YARN正在运行的任务
yarn application -kill application_id 停止指定application_id任务
快乐射我
???什么鬼
我就是想问一下,yarn application -kill application_id 不可以吗,如果这个application有多个job,hadoop job -kill jobid 只杀一个也停不利索啊,能说一下吗
可先理解在Hadoop2.x版本中是有两种执行MapReduce的方式:MR V1与YARN。
然后如果是默认基本上可以到http://ip(master):8088/cluster/scheduler下查看当前资源用户执行,
如果想删除某个application_id 则执行yarn application -kill application_id 即可删除(停止任务)
而mapred job -kill job_id (MR V1)可执行mapred job -list 查看到正在执行的job,其实也可通过这个命令知道application_id
我也是自学的,在之前公司(刚出来工作的公司)基本上自己去折腾自己去学,没人带所有某些记录也不太靠谱~