请教关于 hadoop mapred.job.map.capacity 和 mapred.map.tasks 的问题
Chaox · 2021-10-03 16:22:12 +08:00 · 985 次点击这是一个创建于 1132 天前的主题，其中的信息可能已经有所发展或是发生改变。
虚心请教！我是 hadoop 新手，请问：
在 hadoop streaming 配置中 我看到:
- mapred.map.tasks 参数的意思是 map 任务个数
- mapred.job.map.capacity 是最多同时运行 map 任务数
令我费解的是
- 1.这两个参数的任务指的是一个意思吗？是 yarn 中分配的 container 所运行的任务吗
- 2.这个 mapred.job.map.capacity 指是集群的并发数还是单机的并发数呢
- 3.我看网上一些例子中 capacity 已经超过了 tasks 的数量，这不是很奇怪吗
目前尚无回复
Select Language