一个 hive sql 使用 mapreduce 引擎, 运行生成 1 个或者多个 yarn 任务
想对这条 sql 使用的资源进行统计,需要获取下这条 sql 生成的 job id
请问下 v 友可以通过哪些方式获取?
1
scalaer OP sql 是通过 jdbc 客户端方式提交的
|
2
dtgxx 2022-06-20 19:22:12 +08:00
应该通过 spark 的 applicationId 就可以通过接口拿到应用运行的那些信息了吧
|
3
greengreengo 2022-06-21 09:50:55 +08:00
访问 yarn 的默认 19888 端口,查看 yarn 历史任务,里面有 job id
|
4
scalaer OP @greengreengo 想实现通过客户端提交的方式,获取到 job id ,然后调用 job history server 接口
|