Hive踩过的坑-ctrl+c不能 kill job
- 1557 次检阅

好了,终于说到这个。

是不是都觉得ctrl+c后退出hive窗口后就不会执行了?too young!!!!!!

在hive运行的过程中,采用 ctrl + c 的方法只是退出客户端,hive的job仍是在集群后台运行的!!!因为我就出现过一次,年轻阿程序在后台执行了一天还在跑,因为那数据有连表之后有100E左右。使用的资源也占了鸡巴多..

想要真正kill掉job,需要执行指令 hadoop job -kill job_id 指令!!!

别再以为ctrl+c无敌了,不然你会后悔一辈子的..

比如当你在执行一个job

job =  job_1536239054008_141574

所以 要kill掉这个job -->hadoop job -kill  job_1536239054008_141574


4.作业命令
mapred job -list --查看所有正在运行的job
mapred job -kill job_id 停止指定iobid作业
5.资源命令
yarn application -list 查看所有YARN正在运行的任务
yarn application -kill application_id 停止指定application_id任务


分享到:

这篇文章有5条评论

  1. YancyL
    NO:2875 / 發布於 - 2018-12-5 #1 回复

    快乐射我

  2. 小哥哥带带我
    NO:3024 / 發布於 - 2019-9-19 #2 回复

    我就是想问一下,yarn application -kill application_id 不可以吗,如果这个application有多个job,hadoop job -kill jobid 只杀一个也停不利索啊,能说一下吗

    • 發布於 - 2019-9-19 回复
      郭良俊只狗

      小哥哥带带我 可先理解在Hadoop2.x版本中是有两种执行MapReduce的方式:MR V1与YARN。
      然后如果是默认基本上可以到http://ip(master):8088/cluster/scheduler下查看当前资源用户执行,
      如果想删除某个application_id 则执行yarn application -kill application_id 即可删除(停止任务)
      而mapred job -kill job_id (MR V1)可执行mapred job -list 查看到正在执行的job,其实也可通过这个命令知道application_id

    • 發布於 - 2019-9-19 回复
      郭良俊只狗

      小哥哥带带我 我也是自学的,在之前公司(刚出来工作的公司)基本上自己去折腾自己去学,没人带所有某些记录也不太靠谱~

发表评论