hadoop 常用端口 常用配置

张映 发表于 2018-12-28

分类目录: hadoop/spark

标签:, ,

配置hadoop集群,主要配置core-site.xml,hdfs-site.xml,mapred-site.xml yarn-site.xml,hadoop版本不同,这4个文件的配置可会有差异。以下是收集整理的参数,紧供参考

1,hadoop常用端口

组件 节点 默认端口 配置 用途说明
HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输
HDFS DataNode 50075 dfs.datanode.http.address http服务的端口
HDFS DataNode 50475 dfs.datanode.https.address https服务的端口
HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口
HDFS NameNode 50070 dfs.namenode.http-address http服务的端口
HDFS NameNode 50470 dfs.namenode.https-address https服务的端口
HDFS NameNode 8020 fs.defaultFS 接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS journalnode 8485 dfs.journalnode.rpc-address RPC服务
HDFS journalnode 8480 dfs.journalnode.http-address HTTP服务
HDFS ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController,用于NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
YARN ResourceManager 8030 yarn.resourcemanager.scheduler.address scheduler组件的IPC端口
YARN ResourceManager 8031 yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8033 yarn.resourcemanager.admin.address IPC
YARN ResourceManager 8088 yarn.resourcemanager.webapp.address http服务端口
YARN NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口
YARN NodeManager 8041 yarn.nodemanager.address NM中container manager的端口
YARN JobHistory Server 10020 mapreduce.jobhistory.address IPC
YARN JobHistory Server 19888 mapreduce.jobhistory.webapp.address http服务端口
HBase Master 60000 hbase.master.port IPC
HBase Master 60010 hbase.master.info.port http服务端口
HBase RegionServer 60020 hbase.regionserver.port IPC
HBase RegionServer 60030 hbase.regionserver.info.port http服务端口
HBase HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase HQuorumPeer 2888 hbase.zookeeper.peerport HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase HQuorumPeer 3888 hbase.zookeeper.leaderport HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>来更新默认端口
Hive HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 对客户端提供服务的端口
ZooKeeper Server 2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 follower用来连接到leader,只在leader上监听该端口。
ZooKeeper Server 3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

2,core-site.xml

参数名
参数值
参数说明
hadoop.tmp.dir
/tmp/hadoop-${user.name}
临时目录设定
hadoop.native.lib
true
使用本地hadoop库标识。
hadoop.http.filter.initializers
http服务器过滤链设置
hadoop.security.group.mapping
org.apache.hadoop.security.ShellBasedUnixGroupsMapping
组内用户的列表的类设定
hadoop.security.authorization
false
服务端认证开启
hadoop.security.authentication
simple
无认证或认证设置
hadoop.security.token.service.use_ip
true
是否开启使用IP地址作为连接的开关
hadoop.logfile.size
10000000
日志文件最大为10M
hadoop.logfile.count
10
日志文件数量为10个
io.file.buffer.size
4096
流文件的缓冲区为4K
io.bytes.per.checksum
512
校验位数为512字节
io.skip.checksum.errors
false
校验出错后是抛出异常还是略过标识。True则略过。
io.compression.codecs
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
压缩和解压的方式设置
io.serializations
org.apache.hadoop.io.serializer.WritableSerialization
序例化和反序列化的类设定
fs.default.name
file:///
缺省的文件URI标识设定。
fs.trash.interval
0
文件废弃标识设定,0为禁止此功能
fs.file.impl
org.apache.hadoop.fs.LocalFileSystem
本地文件操作类设置
fs.hdfs.impl
org.apache.hadoop.hdfs.DistributedFileSystem
HDFS文件操作类设置
fs.s3.impl
org.apache.hadoop.fs.s3.S3FileSystem
S3文件操作类设置
fs.s3n.impl
org.apache.hadoop.fs.s3native.NativeS3FileSystem
S3文件本地操作类设置
fs.kfs.impl
org.apache.hadoop.fs.kfs.KosmosFileSystem
KFS文件操作类设置.
fs.hftp.impl
org.apache.hadoop.hdfs.HftpFileSystem
HTTP方式操作文件设置
fs.hsftp.impl
org.apache.hadoop.hdfs.HsftpFileSystem
HTTPS方式操作文件设置
fs.webhdfs.impl
org.apache.hadoop.hdfs.web.WebHdfsFileSystem
WEB方式操作文件类设置
fs.ftp.impl
org.apache.hadoop.fs.ftp.FTPFileSystem
FTP文件操作类设置
fs.ramfs.impl
org.apache.hadoop.fs.InMemoryFileSystem
内存文件操作类设置
fs.har.impl
org.apache.hadoop.fs.HarFileSystem
压缩文件操作类设置.
fs.har.impl.disable.cache
true
是否缓存har文件的标识设定
fs.checkpoint.dir
${hadoop.tmp.dir}/dfs/namesecondary
备份名称节点的存放目前录设置
fs.checkpoint.edits.dir
${fs.checkpoint.dir}
备份名称节点日志文件的存放目前录设置
fs.checkpoint.period
3600
动态检查的间隔时间设置
fs.checkpoint.size
67108864
日志文件大小为64M
fs.s3.block.size
67108864
写S3文件系统的块的大小为64M
fs.s3.buffer.dir
${hadoop.tmp.dir}/s3
S3文件数据的本地存放目录
fs.s3.maxRetries
4
S3文件数据的偿试读写次数
fs.s3.sleepTimeSeconds
10
S3文件偿试的间隔
local.cache.size
10737418240
缓存大小设置为10GB
io.seqfile.compress.blocksize
1000000
压缩流式文件中的最小块数为100万
io.seqfile.lazydecompress
true
块是否需要压缩标识设定
io.seqfile.sorter.recordlimit
1000000
内存中排序记录块类最小为100万
io.mapfile.bloom.size
1048576
BloomMapFiler过滤量为1M
io.mapfile.bloom.error.rate
0.005
hadoop.util.hash.type
murmur
缺少hash方法为murmur
ipc.client.idlethreshold
4000
连接数据最小阀值为4000
ipc.client.kill.max
10
一个客户端连接数最大值为10
ipc.client.connection.maxidletime
10000
断开与服务器连接的时间最大为10秒
ipc.client.connect.max.retries
10
建立与服务器连接的重试次数为10次
ipc.server.listen.queue.size
128
接收客户连接的监听队例的长度为128
ipc.server.tcpnodelay
false
开启或关闭服务器端TCP连接算法
ipc.client.tcpnodelay
false
开启或关闭客户端TCP连接算法
webinterface.private.actions
false
Web交互的行为设定
hadoop.rpc.socket.factory.class.default
org.apache.hadoop.net.StandardSocketFactory
缺省的socket工厂类设置
hadoop.rpc.socket.factory.class.ClientProtocol
与dfs连接时的缺省socket工厂类
hadoop.socks.server
服务端的工厂类缺省设置为SocksSocketFactory.
topology.node.switch.mapping.impl
org.apache.hadoop.net.ScriptBasedMapping
topology.script.file.name
topology.script.number.args
100
参数数量最多为100
hadoop.security.uid.cache.secs
14400

3,hdfs-site.xml

参数名
参数值
参数说明
dfs.namenode.logging.level
info
输出日志类型
dfs.secondary.http.address
0.0.0.0:50090
备份名称节点的http协议访问地址与端口
dfs.datanode.address
0.0.0.0:50010
数据节点的TCP管理服务地址和端口
dfs.datanode.http.address
0.0.0.0:50075
数据节点的HTTP协议访问地址和端口
dfs.datanode.ipc.address
0.0.0.0:50020
数据节点的IPC服务访问地址和端口
dfs.datanode.handler.count
3
数据节点的服务连接处理线程数
dfs.http.address
0.0.0.0:50070
名称节点的http协议访问地址与端口
dfs.https.enable
false
支持https访问方式标识
dfs.https.need.client.auth
false
客户端指定https访问标识
dfs.https.server.keystore.resource
ssl-server.xml
Ssl密钥服务端的配置文件
dfs.https.client.keystore.resource
ssl-client.xml
Ssl密钥客户端的配置文件
dfs.datanode.https.address
0.0.0.0:50475
数据节点的HTTPS协议访问地址和端口
dfs.https.address
0.0.0.0:50470
名称节点的HTTPS协议访问地址和端口
dfs.datanode.dns.interface
default
数据节点采用IP地址标识
dfs.datanode.dns.nameserver
default
指定DNS的IP地址
dfs.replication.considerLoad
true
加载目标或不加载的标识
dfs.default.chunk.view.size
32768
浏览时的文件块大小设置为32K
dfs.datanode.du.reserved
0
每个卷预留的空闲空间数量
dfs.name.dir
${hadoop.tmp.dir}/dfs/name
存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份
dfs.name.edits.dir
${dfs.name.dir}
存贮文件操作过程信息的存贮目录
dfs.web.ugi
webuser,webgroup
Web接口访问的用户名和组的帐户设定
dfs.permissions
true
文件操作时的权限检查标识。
dfs.permissions.supergroup
supergroup
超级用户的组名定义
dfs.block.access.token.enable
false
数据节点访问令牌标识
dfs.block.access.key.update.interval
600
升级访问钥时的间隔时间
dfs.block.access.token.lifetime
600
访问令牌的有效时间
dfs.data.dir
${hadoop.tmp.dir}/dfs/data
数据节点的块本地存放目录
dfs.datanode.data.dir.perm
755
数据节点的存贮块的目录访问权限设置
dfs.replication
3
缺省的块复制数量
dfs.replication.max
512
块复制的最大数量
dfs.replication.min
1
块复制的最小数量
dfs.block.size
67108864
缺省的文件块大小为64M
dfs.df.interval
60000
磁盘空间统计间隔为6秒
dfs.client.block.write.retries
3
块写入出错时的重试次数
dfs.blockreport.intervalMsec
3600000
块的报告间隔时为1小时
dfs.blockreport.initialDelay
0
块顺序报告的间隔时间
dfs.heartbeat.interval
3
数据节点的心跳检测间隔时间
dfs.namenode.handler.count
10
名称节点的连接处理的线程数量
dfs.safemode.threshold.pct
0.999f
启动安全模式的阀值设定
dfs.safemode.extension
30000
当阀值达到量值后扩展的时限
dfs.balance.bandwidthPerSec
1048576
启动负载均衡的数据节点可利用带宽最大值为1M
dfs.hosts
可与名称节点连接的主机地址文件指定。
dfs.hosts.exclude
不充计与名称节点连接的主机地址文件设定
dfs.max.objects
0
文件数、目录数、块数的最大数量
dfs.namenode.decommission.interval
30
名称节点解除命令执行时的监测时间周期
dfs.namenode.decommission.nodes.per.interval
5
名称节点解除命令执行是否完检测次数
dfs.replication.interval
3
名称节点计算数据节点的复制工作的周期数.
dfs.access.time.precision
3600000
充许访问文件的时间精确到1小时
dfs.support.append
false
是否充许链接文件指定
dfs.namenode.delegation.key.update-interval
86400000
名称节点上的代理令牌的主key的更新间隔时间为24小时
dfs.namenode.delegation.token.max-lifetime
604800000
代理令牌的有效时间最大值为7天
dfs.namenode.delegation.token.renew-interval
86400000
代理令牌的更新时间为24小时
dfs.datanode.failed.volumes.tolerated
0
决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点

4,mapred-site.xml

参数名
参数值
参数说明
hadoop.job.history.location
作业跟踪管理器的静态历史文件的存放目录。
hadoop.job.history.user.location
可以指定具体某个作业的跟踪管理器的历史文件存放目录
mapred.job.tracker.history.completed.location
已完成作业的历史文件的存放目录
io.sort.factor
10
排完序的文件的合并时的打开文件句柄数
io.sort.mb
100
排序文件的内存缓存大小为100M
io.sort.record.percent
0.05
排序线程阻塞的内存缓存剩余比率
io.sort.spill.percent
0.80
当缓冲占用量为该值时,线程需要将内容先备份到磁盘中。
io.map.index.skip
0
索引条目的间隔设定
mapred.job.tracker
local
作业跟踪管理器是否和MR任务在一个进程中
mapred.job.tracker.http.address
0.0.0.0:50030
作业跟踪管理器的HTTP服务器访问端口和地址
mapred.job.tracker.handler.count
10
作业跟踪管理器的管理线程数,线程数比例是任务管理跟踪器数量的0.04
mapred.task.tracker.report.address
127.0.0.1:0
任务管理跟踪器的主机地址和端口地址
mapred.local.dir
${hadoop.tmp.dir}/mapred/local
MR的中介数据文件存放目录
mapred.system.dir
${hadoop.tmp.dir}/mapred/system
MR的控制文件存放目录
mapreduce.jobtracker.staging.root.dir
${hadoop.tmp.dir}/mapred/staging
每个正在运行作业文件的存放区
mapred.temp.dir
${hadoop.tmp.dir}/mapred/temp
MR临时共享文件存放区
mapred.local.dir.minspacestart
0
MR本地中介文件删除时,不充许有任务执行的数量值。
mapred.local.dir.minspacekill
0
MR本地中介文件删除时,除非所有任务都已完成的数量值。
mapred.tasktracker.expiry.interval
600000
任务管理跟踪器不发送心跳的累计时间间隔超过600秒,则任务管理跟踪器失效
mapred.tasktracker.resourcecalculatorplugin
指定的一个用户访问资源信息的类实例
mapred.tasktracker.taskmemorymanager.monitoring-interval
5000
监控任务管理跟踪器任务内存使用率的时间间隔
mapred.tasktracker.tasks.sleeptime-before-sigkill
5000
发出进程终止后,间隔5秒后发出进程消亡信号
mapred.map.tasks
2
每个作业缺省的map任务数为2
mapred.reduce.tasks
1
每个作业缺省的reduce任务数为1
mapreduce.tasktracker.outofband.heartbeat
false
让在任务结束后发出一个额外的心跳信号
mapreduce.tasktracker.outofband.heartbeat.damper
1000000
当额外心跳信号发出量太多时,则适当阻止
mapred.jobtracker.restart.recover
false
充许任务管理器恢复时采用的方式
mapred.jobtracker.job.history.block.size
3145728
作业历史文件块的大小为3M
mapreduce.job.split.metainfo.maxsize
10000000
分隔元信息文件的最大值是10M以下
mapred.jobtracker.taskScheduler
org.apache.hadoop.mapred.JobQueueTaskScheduler
设定任务的执行计划实现类
mapred.jobtracker.taskScheduler.maxRunningTasksPerJob
作业同时运行的任务数的最大值
mapred.map.max.attempts
4
Map任务的重试次数
mapred.reduce.max.attempts
4
Reduce任务的重试次数
mapred.reduce.parallel.copies
5
在复制阶段时reduce并行传送的值。
mapreduce.reduce.shuffle.maxfetchfailures
10
取map输出的最大重试次数
mapreduce.reduce.shuffle.connect.timeout
180000
REDUCE任务连接任务管理器获得map输出时的总耗时是3分钟
mapreduce.reduce.shuffle.read.timeout
180000
REDUCE任务等待map输出数据的总耗时是3分钟
mapred.task.timeout
600000
如果任务无读无写时的时间耗时为10分钟,将被终止
mapred.tasktracker.map.tasks.maximum
2
任管管理器可同时运行map任务数为2
mapred.tasktracker.reduce.tasks.maximum
2
任管管理器可同时运行reduce任务数为2
mapred.jobtracker.completeuserjobs.maximum
100
当用户的完成作业数达100个后,将其放入作业历史文件中
mapreduce.reduce.input.limit
-1
Reduce输入量的限制。
mapred.job.tracker.retiredjobs.cache.size
1000
作业状态为已不在执行的保留在内存中的量为1000
mapred.job.tracker.jobhistory.lru.cache.size
5
作业历史文件装载到内存的数量
mapred.child.java.opts
-Xmx200m
启动task管理的子进程时的内存设置
mapred.child.env
子进程的参数设置
mapred.child.ulimit
虚拟机所需内存的设定。
mapred.cluster.map.memory.mb
-1
mapred.cluster.reduce.memory.mb
-1
mapred.cluster.max.map.memory.mb
-1
mapred.cluster.max.reduce.memory.mb
-1
mapred.job.map.memory.mb
-1
mapred.job.reduce.memory.mb
-1
mapred.child.tmp
/tmp
Mr任务信息的存放目录
mapred.inmem.merge.threshold
1000
内存中的合并文件数设置
mapred.job.shuffle.merge.percent
0.66
mapred.job.shuffle.input.buffer.percent
0.70
mapred.job.reduce.input.buffer.percent
0.0
mapred.map.tasks.speculative.execution
true
Map任务的多实例并行运行标识
mapred.reduce.tasks.speculative.execution
true
Reduce任务的多实例并行运行标识
mapred.job.reuse.jvm.num.tasks
1
每虚拟机运行的任务数
mapred.min.split.size
0
Map的输入数据被分解的块数设置
mapred.jobtracker.maxtasks.per.job
-1
一个单独作业的任务数设置
mapred.submit.replication
10
提交作业文件的复制级别
mapred.tasktracker.dns.interface
default
任务管理跟踪器是否报告IP地址名的开关
mapred.tasktracker.dns.nameserver
default
作业和任务管理跟踪器之间通讯方式采用的DNS服务的主机名或IP地址
tasktracker.http.threads
40
http服务器的工作线程数量
mapred.task.tracker.http.address
0.0.0.0:50060
任务管理跟踪器的http服务器的地址和端口
keep.failed.task.files
false
失败任务是否保存到文件中
mapred.output.compress
false
作业的输出是否压缩
mapred.output.compression.type
RECORD
作业输出采用NONE, RECORD or BLOCK三种方式中一种压缩的写入到流式文件
mapred.output.compression.codec
org.apache.hadoop.io.compress.DefaultCodec
压缩类的设置
mapred.compress.map.output
false
Map的输出是否压缩
mapred.map.output.compression.codec
org.apache.hadoop.io.compress.DefaultCodec
Map的输出压缩的实现类指定
map.sort.class
org.apache.hadoop.util.QuickSort
排序键的排序类指定
mapred.userlog.limit.kb
0
每个任务的用户日志文件大小
mapred.userlog.retain.hours
24
作业完成后的用户日志留存时间为24小时
mapred.user.jobconf.limit
5242880
Jobconf的大小为5M
mapred.hosts
可与作业管理跟踪器连接的主机名
mapred.hosts.exclude
不可与作业管理跟踪器连接的主机名
mapred.heartbeats.in.second
100
作业管理跟踪器的每秒中到达的心跳数量为100
mapred.max.tracker.blacklists
4
任务管理跟踪器的黑名单列表的数量
mapred.jobtracker.blacklist.fault-timeout-window
180
任务管理跟踪器超时180分钟则訪任务将被重启
mapred.jobtracker.blacklist.fault-bucket-width
15
mapred.max.tracker.failures
4
任务管理跟踪器的失败任务数设定
jobclient.output.filter
FAILED
控制任务的用户日志输出到作业端时的过滤方式
mapred.job.tracker.persist.jobstatus.active
false
是否持久化作业管理跟踪器的信息
mapred.job.tracker.persist.jobstatus.hours
0
持久化作业管理跟踪器的信息的保存时间
mapred.job.tracker.persist.jobstatus.dir
/jobtracker/jobsInfo
作业管理跟踪器的信息存放目录
mapreduce.job.complete.cancel.delegation.tokens
true
恢复时是否变更领牌
mapred.task.profile
false
任务分析信息是否建设标志
mapred.task.profile.maps
0-2
设置map任务的分析范围
mapred.task.profile.reduces
0-2
设置reduce任务的分析范围
mapred.line.input.format.linespermap
1
每次切分的行数设置
mapred.skip.attempts.to.start.skipping
2
在跳转模式未被设定的情况下任务的重试次数
mapred.skip.map.auto.incr.proc.count
true
MapRunner在调用map功能后的增量处理方式设置
mapred.skip.reduce.auto.incr.proc.count
true
在调用reduce功能后的增量处理方式设置
mapred.skip.out.dir
跳过记录的输出目录
mapred.skip.map.max.skip.records
0
mapred.skip.reduce.max.skip.groups
0
job.end.retry.attempts
0
Hadoop偿试连接通知器的次数
job.end.retry.interval
30000
通知偿试回应的间隔操作为30秒
hadoop.rpc.socket.factory.class.JobSubmissionProtocol
指定与作业跟踪管理器的通讯方式,缺省是采用rpc方式
mapred.task.cache.levels
2
任务缓存级别设置
mapred.queue.names
default
分隔作业队例的分隔符设定
mapred.acls.enabled
false
指定ACL访问控制列表
mapred.queue.default.state
RUNNING
定义队列的状态
mapred.job.queue.name
default
已提交作业的队列设定
mapreduce.job.acl-modify-job
指定可修改作业的ACL列表
mapreduce.job.acl-view-job
指定可浏临作业的ACL列表
mapred.tasktracker.indexcache.mb
10
任务管理跟踪器的索引内存的最大容器
mapred.combine.recordsBeforeProgress
10000
在聚合处理时的记录块数
mapred.merge.recordsBeforeProgress
10000
在汇总处理时的记录块数
mapred.reduce.slowstart.completed.maps
0.05
mapred.task.tracker.task-controller
org.apache.hadoop.mapred.DefaultTaskController
任务管理器的设定
mapreduce.tasktracker.group
任务管理器的组成员设定
mapred.healthChecker.script.path
脚本的绝对路径指定,这些脚本是心跳服务的
mapred.healthChecker.interval
60000
节点心跳信息的间隔
mapred.healthChecker.script.timeout
600000
mapred.healthChecker.script.args
参数列表
mapreduce.job.counters.limit
120
作业计数器的最小值

5,yarn-site.xml

参数 默认值 描述
yarn.resourcemanager.hostname RM的hostname
yarn.resourcemanager.address ${yarn.resourcemanager.hostname}:8032 RM对客户端暴露的地址,客户端通过该地址向RM提交应用程序等
yarn.resourcemanager.scheduler.address ${yarn.resourcemanager.hostname}:8030 RM对AM暴露的地址,AM通过地址想RM申请资源,释放资源等
yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088 RM对外暴露的web  http地址,用户可通过该地址在浏览器中查看集群信息
yarn.resourcemanager.webapp.https.address ${yarn.resourcemanager.hostname}:8090 web https 地址
yarn.resourcemanager.resource-tracker.address ${yarn.resourcemanager.hostname}:8031 RM对NM暴露地址,NM通过该地址向RM汇报心跳,领取任务等
yarn.resourcemanager.resource-tracker.client.thread-count 50 处理来自NM的RPC请求的handler数
yarn.resourcemanager.admin.address ${yarn.resourcemanager.hostname}:8033 管理员可以通过该地址向RM发送管理命令等
yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager

.scheduler.capacity.CapacityScheduler

资源调度器主类
yarn.resourcemanager.scheduler.client.thread-count 50 处理来自AM的RPC请求的handler数
yarn.scheduler.minimum-allocation-mb 1024 可申请的最少内存资源,以MB为单位
yarn.scheduler.maximum-allocation-mb 8192 可申请的最大内存资源,以MB为单位
yarn.scheduler.minimum-allocation-vcores 1 可申请的最小虚拟CPU个数
yarn.scheduler.maximum-allocation-vcores 32 可申请的最 大虚拟CPU个数
yarn.nodemanager.local-dirs ${hadoop.tmp.dir}/nm-local-dir 中间结果存放位置,可配置多目录
yarn.log-aggregation-enable false 是否启用日志聚合
yarn.nodemanager.remote-app-log-dir /tmp/logs 日志聚合目录
yarn.nodemanager.resource.memory-mb 8192 NM总的可用物理内存,以MB为单位。一旦设置,不可动态修改
yarn.nodemanager.resource.cpu-vcores 8 可分配的CPU个数
yarn.nodemanager.aux-services NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序


转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2020.html

留下评论

留下评论
  • (必需)
  • (必需) (will not be published)
  • (必需)   8X1=?