MR程序的资源申请参数

设置方式

  1. 可以通过提交任务时, 在命令后面用 -D 来传入
  2. 也可以在代码中, 用conf.set() 来传入
  3. 也可以在工程的配置文件mapred-site.xml中配置

mapred-site.xml

  1. 一个MRAppMaster进程所需的内存数
    yarn.app.mapreduce.am.resource.mb 1536

  2. 一个MRAppMaster进程所需的cpu虚拟核数
    yarn.app.mapreduce.am.resource.cpu-vcores 1

  3. 一个MapTask任务所需要的内存数
    mapreduce.map.memory.mb 1024

  4. 一个MapTask任务所需要的cpu vcores
    mapreduce.map.cpu.vcores 1

  5. 一个ReduceTask任务所需要的内存数
    mapreduce.reduce.memory.mb 1024

  6. 一个ReduceTask任务所需要的cpu vcores
    mapreduce.reduce.cpu.vcores 1

Author: Tunan
Link: http://yerias.github.io/2018/10/17/hadoop/21/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.