配置hadoop集群，主要配置core-site.xml,hdfs-site.xml,mapred-site.xml yarn-site.xml，hadoop版本不同，这4个文件的配置可会有差异。以下是收集整理的参数，紧供参考
1，hadoop常用端口
| 组件 | 节点 | 默认端口 | 配置 | 用途说明 |
| HDFS | DataNode | 50010 | dfs.datanode.address | datanode服务端口，用于数据传输 |
| HDFS | DataNode | 50075 | dfs.datanode.http.address | http服务的端口 |
| HDFS | DataNode | 50475 | dfs.datanode.https.address | https服务的端口 |
| HDFS | DataNode | 50020 | dfs.datanode.ipc.address | ipc服务的端口 |
| HDFS | NameNode | 50070 | dfs.namenode.http-address | http服务的端口 |
| HDFS | NameNode | 50470 | dfs.namenode.https-address | https服务的端口 |
| HDFS | NameNode | 8020 | fs.defaultFS | 接收Client连接的RPC端口，用于获取文件系统metadata信息。 |
| HDFS | journalnode | 8485 | dfs.journalnode.rpc-address | RPC服务 |
| HDFS | journalnode | 8480 | dfs.journalnode.http-address | HTTP服务 |
| HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | ZooKeeper FailoverController，用于NN HA |
| YARN | ResourceManager | 8032 | yarn.resourcemanager.address | RM的applications manager(ASM)端口 |
| YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | scheduler组件的IPC端口 |
| YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | IPC |
| YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | IPC |
| YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | http服务端口 |
| YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | localizer IPC |
| YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | http服务端口 |
| YARN | NodeManager | 8041 | yarn.nodemanager.address | NM中container manager的端口 |
| YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | IPC |
| YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | http服务端口 |
| HBase | Master | 60000 | hbase.master.port | IPC |
| HBase | Master | 60010 | hbase.master.info.port | http服务端口 |
| HBase | RegionServer | 60020 | hbase.regionserver.port | IPC |
| HBase | RegionServer | 60030 | hbase.regionserver.info.port | http服务端口 |
| HBase | HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 |
| HBase | HQuorumPeer | 2888 | hbase.zookeeper.peerport | HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 |
| HBase | HQuorumPeer | 3888 | hbase.zookeeper.leaderport | HBase-managed ZK mode，使用独立的ZooKeeper集群则不会启用该端口。 |
| Hive | Metastore | 9083 | /etc/default/hive-metastore中export PORT=<port>来更新默认端口 | |
| Hive | HiveServer | 10000 | /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口 | |
| ZooKeeper | Server | 2181 | /etc/zookeeper/conf/zoo.cfg中clientPort=<port> | 对客户端提供服务的端口 |
| ZooKeeper | Server | 2888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 | follower用来连接到leader，只在leader上监听该端口。 |
| ZooKeeper | Server | 3888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]，标蓝部分 | 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 |
2，core-site.xml
|
参数名
|
参数值
|
参数说明
|
|
hadoop.tmp.dir
|
/tmp/hadoop-${user.name}
|
临时目录设定
|
|
hadoop.native.lib
|
true
|
使用本地hadoop库标识。
|
|
hadoop.http.filter.initializers
|
http服务器过滤链设置
|
|
|
hadoop.security.group.mapping
|
org.apache.hadoop.security.ShellBasedUnixGroupsMapping
|
组内用户的列表的类设定
|
|
hadoop.security.authorization
|
false
|
服务端认证开启
|
|
hadoop.security.authentication
|
simple
|
无认证或认证设置
|
|
hadoop.security.token.service.use_ip
|
true
|
是否开启使用IP地址作为连接的开关
|
|
hadoop.logfile.size
|
10000000
|
日志文件最大为10M
|
|
hadoop.logfile.count
|
10
|
日志文件数量为10个
|
|
io.file.buffer.size
|
4096
|
流文件的缓冲区为4K
|
|
io.bytes.per.checksum
|
512
|
校验位数为512字节
|
|
io.skip.checksum.errors
|
false
|
校验出错后是抛出异常还是略过标识。True则略过。
|
|
io.compression.codecs
|
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
|
压缩和解压的方式设置
|
|
io.serializations
|
org.apache.hadoop.io.serializer.WritableSerialization
|
序例化和反序列化的类设定
|
|
fs.default.name
|
file:///
|
缺省的文件URI标识设定。
|
|
fs.trash.interval
|
0
|
文件废弃标识设定，0为禁止此功能
|
|
fs.file.impl
|
org.apache.hadoop.fs.LocalFileSystem
|
本地文件操作类设置
|
|
fs.hdfs.impl
|
org.apache.hadoop.hdfs.DistributedFileSystem
|
HDFS文件操作类设置
|
|
fs.s3.impl
|
org.apache.hadoop.fs.s3.S3FileSystem
|
S3文件操作类设置
|
|
fs.s3n.impl
|
org.apache.hadoop.fs.s3native.NativeS3FileSystem
|
S3文件本地操作类设置
|
|
fs.kfs.impl
|
org.apache.hadoop.fs.kfs.KosmosFileSystem
|
KFS文件操作类设置.
|
|
fs.hftp.impl
|
org.apache.hadoop.hdfs.HftpFileSystem
|
HTTP方式操作文件设置
|
|
fs.hsftp.impl
|
org.apache.hadoop.hdfs.HsftpFileSystem
|
HTTPS方式操作文件设置
|
|
fs.webhdfs.impl
|
org.apache.hadoop.hdfs.web.WebHdfsFileSystem
|
WEB方式操作文件类设置
|
|
fs.ftp.impl
|
org.apache.hadoop.fs.ftp.FTPFileSystem
|
FTP文件操作类设置
|
|
fs.ramfs.impl
|
org.apache.hadoop.fs.InMemoryFileSystem
|
内存文件操作类设置
|
|
fs.har.impl
|
org.apache.hadoop.fs.HarFileSystem
|
压缩文件操作类设置.
|
|
fs.har.impl.disable.cache
|
true
|
是否缓存har文件的标识设定
|
|
fs.checkpoint.dir
|
${hadoop.tmp.dir}/dfs/namesecondary
|
备份名称节点的存放目前录设置
|
|
fs.checkpoint.edits.dir
|
${fs.checkpoint.dir}
|
备份名称节点日志文件的存放目前录设置
|
|
fs.checkpoint.period
|
3600
|
动态检查的间隔时间设置
|
|
fs.checkpoint.size
|
67108864
|
日志文件大小为64M
|
|
fs.s3.block.size
|
67108864
|
写S3文件系统的块的大小为64M
|
|
fs.s3.buffer.dir
|
${hadoop.tmp.dir}/s3
|
S3文件数据的本地存放目录
|
|
fs.s3.maxRetries
|
4
|
S3文件数据的偿试读写次数
|
|
fs.s3.sleepTimeSeconds
|
10
|
S3文件偿试的间隔
|
|
local.cache.size
|
10737418240
|
缓存大小设置为10GB
|
|
io.seqfile.compress.blocksize
|
1000000
|
压缩流式文件中的最小块数为100万
|
|
io.seqfile.lazydecompress
|
true
|
块是否需要压缩标识设定
|
|
io.seqfile.sorter.recordlimit
|
1000000
|
内存中排序记录块类最小为100万
|
|
io.mapfile.bloom.size
|
1048576
|
BloomMapFiler过滤量为1M
|
|
io.mapfile.bloom.error.rate
|
0.005
|
|
|
hadoop.util.hash.type
|
murmur
|
缺少hash方法为murmur
|
|
ipc.client.idlethreshold
|
4000
|
连接数据最小阀值为4000
|
|
ipc.client.kill.max
|
10
|
一个客户端连接数最大值为10
|
|
ipc.client.connection.maxidletime
|
10000
|
断开与服务器连接的时间最大为10秒
|
|
ipc.client.connect.max.retries
|
10
|
建立与服务器连接的重试次数为10次
|
|
ipc.server.listen.queue.size
|
128
|
接收客户连接的监听队例的长度为128
|
|
ipc.server.tcpnodelay
|
false
|
开启或关闭服务器端TCP连接算法
|
|
ipc.client.tcpnodelay
|
false
|
开启或关闭客户端TCP连接算法
|
|
webinterface.private.actions
|
false
|
Web交互的行为设定
|
|
hadoop.rpc.socket.factory.class.default
|
org.apache.hadoop.net.StandardSocketFactory
|
缺省的socket工厂类设置
|
|
hadoop.rpc.socket.factory.class.ClientProtocol
|
与dfs连接时的缺省socket工厂类
|
|
|
hadoop.socks.server
|
服务端的工厂类缺省设置为SocksSocketFactory.
|
|
|
topology.node.switch.mapping.impl
|
org.apache.hadoop.net.ScriptBasedMapping
|
|
|
topology.script.file.name
|
||
|
topology.script.number.args
|
100
|
参数数量最多为100
|
|
hadoop.security.uid.cache.secs
|
14400
|
3，hdfs-site.xml
|
参数名
|
参数值
|
参数说明
|
|
dfs.namenode.logging.level
|
info
|
输出日志类型
|
|
dfs.secondary.http.address
|
0.0.0.0:50090
|
备份名称节点的http协议访问地址与端口
|
|
dfs.datanode.address
|
0.0.0.0:50010
|
数据节点的TCP管理服务地址和端口
|
|
dfs.datanode.http.address
|
0.0.0.0:50075
|
数据节点的HTTP协议访问地址和端口
|
|
dfs.datanode.ipc.address
|
0.0.0.0:50020
|
数据节点的IPC服务访问地址和端口
|
|
dfs.datanode.handler.count
|
3
|
数据节点的服务连接处理线程数
|
|
dfs.http.address
|
0.0.0.0:50070
|
名称节点的http协议访问地址与端口
|
|
dfs.https.enable
|
false
|
支持https访问方式标识
|
|
dfs.https.need.client.auth
|
false
|
客户端指定https访问标识
|
|
dfs.https.server.keystore.resource
|
ssl-server.xml
|
Ssl密钥服务端的配置文件
|
|
dfs.https.client.keystore.resource
|
ssl-client.xml
|
Ssl密钥客户端的配置文件
|
|
dfs.datanode.https.address
|
0.0.0.0:50475
|
数据节点的HTTPS协议访问地址和端口
|
|
dfs.https.address
|
0.0.0.0:50470
|
名称节点的HTTPS协议访问地址和端口
|
|
dfs.datanode.dns.interface
|
default
|
数据节点采用IP地址标识
|
|
dfs.datanode.dns.nameserver
|
default
|
指定DNS的IP地址
|
|
dfs.replication.considerLoad
|
true
|
加载目标或不加载的标识
|
|
dfs.default.chunk.view.size
|
32768
|
浏览时的文件块大小设置为32K
|
|
dfs.datanode.du.reserved
|
0
|
每个卷预留的空闲空间数量
|
|
dfs.name.dir
|
${hadoop.tmp.dir}/dfs/name
|
存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份
|
|
dfs.name.edits.dir
|
${dfs.name.dir}
|
存贮文件操作过程信息的存贮目录
|
|
dfs.web.ugi
|
webuser,webgroup
|
Web接口访问的用户名和组的帐户设定
|
|
dfs.permissions
|
true
|
文件操作时的权限检查标识。
|
|
dfs.permissions.supergroup
|
supergroup
|
超级用户的组名定义
|
|
dfs.block.access.token.enable
|
false
|
数据节点访问令牌标识
|
|
dfs.block.access.key.update.interval
|
600
|
升级访问钥时的间隔时间
|
|
dfs.block.access.token.lifetime
|
600
|
访问令牌的有效时间
|
|
dfs.data.dir
|
${hadoop.tmp.dir}/dfs/data
|
数据节点的块本地存放目录
|
|
dfs.datanode.data.dir.perm
|
755
|
数据节点的存贮块的目录访问权限设置
|
|
dfs.replication
|
3
|
缺省的块复制数量
|
|
dfs.replication.max
|
512
|
块复制的最大数量
|
|
dfs.replication.min
|
1
|
块复制的最小数量
|
|
dfs.block.size
|
67108864
|
缺省的文件块大小为64M
|
|
dfs.df.interval
|
60000
|
磁盘空间统计间隔为6秒
|
|
dfs.client.block.write.retries
|
3
|
块写入出错时的重试次数
|
|
dfs.blockreport.intervalMsec
|
3600000
|
块的报告间隔时为1小时
|
|
dfs.blockreport.initialDelay
|
0
|
块顺序报告的间隔时间
|
|
dfs.heartbeat.interval
|
3
|
数据节点的心跳检测间隔时间
|
|
dfs.namenode.handler.count
|
10
|
名称节点的连接处理的线程数量
|
|
dfs.safemode.threshold.pct
|
0.999f
|
启动安全模式的阀值设定
|
|
dfs.safemode.extension
|
30000
|
当阀值达到量值后扩展的时限
|
|
dfs.balance.bandwidthPerSec
|
1048576
|
启动负载均衡的数据节点可利用带宽最大值为1M
|
|
dfs.hosts
|
可与名称节点连接的主机地址文件指定。
|
|
|
dfs.hosts.exclude
|
不充计与名称节点连接的主机地址文件设定
|
|
|
dfs.max.objects
|
0
|
文件数、目录数、块数的最大数量
|
|
dfs.namenode.decommission.interval
|
30
|
名称节点解除命令执行时的监测时间周期
|
|
dfs.namenode.decommission.nodes.per.interval
|
5
|
名称节点解除命令执行是否完检测次数
|
|
dfs.replication.interval
|
3
|
名称节点计算数据节点的复制工作的周期数.
|
|
dfs.access.time.precision
|
3600000
|
充许访问文件的时间精确到1小时
|
|
dfs.support.append
|
false
|
是否充许链接文件指定
|
|
dfs.namenode.delegation.key.update-interval
|
86400000
|
名称节点上的代理令牌的主key的更新间隔时间为24小时
|
|
dfs.namenode.delegation.token.max-lifetime
|
604800000
|
代理令牌的有效时间最大值为7天
|
|
dfs.namenode.delegation.token.renew-interval
|
86400000
|
代理令牌的更新时间为24小时
|
|
dfs.datanode.failed.volumes.tolerated
|
0
|
决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点
|
4，mapred-site.xml
|
参数名
|
参数值
|
参数说明
|
|
hadoop.job.history.location
|
作业跟踪管理器的静态历史文件的存放目录。
|
|
|
hadoop.job.history.user.location
|
可以指定具体某个作业的跟踪管理器的历史文件存放目录
|
|
|
mapred.job.tracker.history.completed.location
|
已完成作业的历史文件的存放目录
|
|
|
io.sort.factor
|
10
|
排完序的文件的合并时的打开文件句柄数
|
|
io.sort.mb
|
100
|
排序文件的内存缓存大小为100M
|
|
io.sort.record.percent
|
0.05
|
排序线程阻塞的内存缓存剩余比率
|
|
io.sort.spill.percent
|
0.80
|
当缓冲占用量为该值时，线程需要将内容先备份到磁盘中。
|
|
io.map.index.skip
|
0
|
索引条目的间隔设定
|
|
mapred.job.tracker
|
local
|
作业跟踪管理器是否和MR任务在一个进程中
|
|
mapred.job.tracker.http.address
|
0.0.0.0:50030
|
作业跟踪管理器的HTTP服务器访问端口和地址
|
|
mapred.job.tracker.handler.count
|
10
|
作业跟踪管理器的管理线程数,线程数比例是任务管理跟踪器数量的0.04
|
|
mapred.task.tracker.report.address
|
127.0.0.1:0
|
任务管理跟踪器的主机地址和端口地址
|
|
mapred.local.dir
|
${hadoop.tmp.dir}/mapred/local
|
MR的中介数据文件存放目录
|
|
mapred.system.dir
|
${hadoop.tmp.dir}/mapred/system
|
MR的控制文件存放目录
|
|
mapreduce.jobtracker.staging.root.dir
|
${hadoop.tmp.dir}/mapred/staging
|
每个正在运行作业文件的存放区
|
|
mapred.temp.dir
|
${hadoop.tmp.dir}/mapred/temp
|
MR临时共享文件存放区
|
|
mapred.local.dir.minspacestart
|
0
|
MR本地中介文件删除时，不充许有任务执行的数量值。
|
|
mapred.local.dir.minspacekill
|
0
|
MR本地中介文件删除时，除非所有任务都已完成的数量值。
|
|
mapred.tasktracker.expiry.interval
|
600000
|
任务管理跟踪器不发送心跳的累计时间间隔超过600秒，则任务管理跟踪器失效
|
|
mapred.tasktracker.resourcecalculatorplugin
|
指定的一个用户访问资源信息的类实例
|
|
|
mapred.tasktracker.taskmemorymanager.monitoring-interval
|
5000
|
监控任务管理跟踪器任务内存使用率的时间间隔
|
|
mapred.tasktracker.tasks.sleeptime-before-sigkill
|
5000
|
发出进程终止后，间隔5秒后发出进程消亡信号
|
|
mapred.map.tasks
|
2
|
每个作业缺省的map任务数为2
|
|
mapred.reduce.tasks
|
1
|
每个作业缺省的reduce任务数为1
|
|
mapreduce.tasktracker.outofband.heartbeat
|
false
|
让在任务结束后发出一个额外的心跳信号
|
|
mapreduce.tasktracker.outofband.heartbeat.damper
|
1000000
|
当额外心跳信号发出量太多时，则适当阻止
|
|
mapred.jobtracker.restart.recover
|
false
|
充许任务管理器恢复时采用的方式
|
|
mapred.jobtracker.job.history.block.size
|
3145728
|
作业历史文件块的大小为3M
|
|
mapreduce.job.split.metainfo.maxsize
|
10000000
|
分隔元信息文件的最大值是10M以下
|
|
mapred.jobtracker.taskScheduler
|
org.apache.hadoop.mapred.JobQueueTaskScheduler
|
设定任务的执行计划实现类
|
|
mapred.jobtracker.taskScheduler.maxRunningTasksPerJob
|
作业同时运行的任务数的最大值
|
|
|
mapred.map.max.attempts
|
4
|
Map任务的重试次数
|
|
mapred.reduce.max.attempts
|
4
|
Reduce任务的重试次数
|
|
mapred.reduce.parallel.copies
|
5
|
在复制阶段时reduce并行传送的值。
|
|
mapreduce.reduce.shuffle.maxfetchfailures
|
10
|
取map输出的最大重试次数
|
|
mapreduce.reduce.shuffle.connect.timeout
|
180000
|
REDUCE任务连接任务管理器获得map输出时的总耗时是3分钟
|
|
mapreduce.reduce.shuffle.read.timeout
|
180000
|
REDUCE任务等待map输出数据的总耗时是3分钟
|
|
mapred.task.timeout
|
600000
|
如果任务无读无写时的时间耗时为10分钟，将被终止
|
|
mapred.tasktracker.map.tasks.maximum
|
2
|
任管管理器可同时运行map任务数为2
|
|
mapred.tasktracker.reduce.tasks.maximum
|
2
|
任管管理器可同时运行reduce任务数为2
|
|
mapred.jobtracker.completeuserjobs.maximum
|
100
|
当用户的完成作业数达100个后，将其放入作业历史文件中
|
|
mapreduce.reduce.input.limit
|
-1
|
Reduce输入量的限制。
|
|
mapred.job.tracker.retiredjobs.cache.size
|
1000
|
作业状态为已不在执行的保留在内存中的量为1000
|
|
mapred.job.tracker.jobhistory.lru.cache.size
|
5
|
作业历史文件装载到内存的数量
|
|
mapred.child.java.opts
|
-Xmx200m
|
启动task管理的子进程时的内存设置
|
|
mapred.child.env
|
子进程的参数设置
|
|
|
mapred.child.ulimit
|
虚拟机所需内存的设定。
|
|
|
mapred.cluster.map.memory.mb
|
-1
|
|
|
mapred.cluster.reduce.memory.mb
|
-1
|
|
|
mapred.cluster.max.map.memory.mb
|
-1
|
|
|
mapred.cluster.max.reduce.memory.mb
|
-1
|
|
|
mapred.job.map.memory.mb
|
-1
|
|
|
mapred.job.reduce.memory.mb
|
-1
|
|
|
mapred.child.tmp
|
/tmp
|
Mr任务信息的存放目录
|
|
mapred.inmem.merge.threshold
|
1000
|
内存中的合并文件数设置
|
|
mapred.job.shuffle.merge.percent
|
0.66
|
|
|
mapred.job.shuffle.input.buffer.percent
|
0.70
|
|
|
mapred.job.reduce.input.buffer.percent
|
0.0
|
|
|
mapred.map.tasks.speculative.execution
|
true
|
Map任务的多实例并行运行标识
|
|
mapred.reduce.tasks.speculative.execution
|
true
|
Reduce任务的多实例并行运行标识
|
|
mapred.job.reuse.jvm.num.tasks
|
1
|
每虚拟机运行的任务数
|
|
mapred.min.split.size
|
0
|
Map的输入数据被分解的块数设置
|
|
mapred.jobtracker.maxtasks.per.job
|
-1
|
一个单独作业的任务数设置
|
|
mapred.submit.replication
|
10
|
提交作业文件的复制级别
|
|
mapred.tasktracker.dns.interface
|
default
|
任务管理跟踪器是否报告IP地址名的开关
|
|
mapred.tasktracker.dns.nameserver
|
default
|
作业和任务管理跟踪器之间通讯方式采用的DNS服务的主机名或IP地址
|
|
tasktracker.http.threads
|
40
|
http服务器的工作线程数量
|
|
mapred.task.tracker.http.address
|
0.0.0.0:50060
|
任务管理跟踪器的http服务器的地址和端口
|
|
keep.failed.task.files
|
false
|
失败任务是否保存到文件中
|
|
mapred.output.compress
|
false
|
作业的输出是否压缩
|
|
mapred.output.compression.type
|
RECORD
|
作业输出采用NONE, RECORD or BLOCK三种方式中一种压缩的写入到流式文件
|
|
mapred.output.compression.codec
|
org.apache.hadoop.io.compress.DefaultCodec
|
压缩类的设置
|
|
mapred.compress.map.output
|
false
|
Map的输出是否压缩
|
|
mapred.map.output.compression.codec
|
org.apache.hadoop.io.compress.DefaultCodec
|
Map的输出压缩的实现类指定
|
|
map.sort.class
|
org.apache.hadoop.util.QuickSort
|
排序键的排序类指定
|
|
mapred.userlog.limit.kb
|
0
|
每个任务的用户日志文件大小
|
|
mapred.userlog.retain.hours
|
24
|
作业完成后的用户日志留存时间为24小时
|
|
mapred.user.jobconf.limit
|
5242880
|
Jobconf的大小为5M
|
|
mapred.hosts
|
可与作业管理跟踪器连接的主机名
|
|
|
mapred.hosts.exclude
|
不可与作业管理跟踪器连接的主机名
|
|
|
mapred.heartbeats.in.second
|
100
|
作业管理跟踪器的每秒中到达的心跳数量为100
|
|
mapred.max.tracker.blacklists
|
4
|
任务管理跟踪器的黑名单列表的数量
|
|
mapred.jobtracker.blacklist.fault-timeout-window
|
180
|
任务管理跟踪器超时180分钟则訪任务将被重启
|
|
mapred.jobtracker.blacklist.fault-bucket-width
|
15
|
|
|
mapred.max.tracker.failures
|
4
|
任务管理跟踪器的失败任务数设定
|
|
jobclient.output.filter
|
FAILED
|
控制任务的用户日志输出到作业端时的过滤方式
|
|
mapred.job.tracker.persist.jobstatus.active
|
false
|
是否持久化作业管理跟踪器的信息
|
|
mapred.job.tracker.persist.jobstatus.hours
|
0
|
持久化作业管理跟踪器的信息的保存时间
|
|
mapred.job.tracker.persist.jobstatus.dir
|
/jobtracker/jobsInfo
|
作业管理跟踪器的信息存放目录
|
|
mapreduce.job.complete.cancel.delegation.tokens
|
true
|
恢复时是否变更领牌
|
|
mapred.task.profile
|
false
|
任务分析信息是否建设标志
|
|
mapred.task.profile.maps
|
0-2
|
设置map任务的分析范围
|
|
mapred.task.profile.reduces
|
0-2
|
设置reduce任务的分析范围
|
|
mapred.line.input.format.linespermap
|
1
|
每次切分的行数设置
|
|
mapred.skip.attempts.to.start.skipping
|
2
|
在跳转模式未被设定的情况下任务的重试次数
|
|
mapred.skip.map.auto.incr.proc.count
|
true
|
MapRunner在调用map功能后的增量处理方式设置
|
|
mapred.skip.reduce.auto.incr.proc.count
|
true
|
在调用reduce功能后的增量处理方式设置
|
|
mapred.skip.out.dir
|
跳过记录的输出目录
|
|
|
mapred.skip.map.max.skip.records
|
0
|
|
|
mapred.skip.reduce.max.skip.groups
|
0
|
|
|
job.end.retry.attempts
|
0
|
Hadoop偿试连接通知器的次数
|
|
job.end.retry.interval
|
30000
|
通知偿试回应的间隔操作为30秒
|
|
hadoop.rpc.socket.factory.class.JobSubmissionProtocol
|
指定与作业跟踪管理器的通讯方式，缺省是采用rpc方式
|
|
|
mapred.task.cache.levels
|
2
|
任务缓存级别设置
|
|
mapred.queue.names
|
default
|
分隔作业队例的分隔符设定
|
|
mapred.acls.enabled
|
false
|
指定ACL访问控制列表
|
|
mapred.queue.default.state
|
RUNNING
|
定义队列的状态
|
|
mapred.job.queue.name
|
default
|
已提交作业的队列设定
|
|
mapreduce.job.acl-modify-job
|
指定可修改作业的ACL列表
|
|
|
mapreduce.job.acl-view-job
|
指定可浏临作业的ACL列表
|
|
|
mapred.tasktracker.indexcache.mb
|
10
|
任务管理跟踪器的索引内存的最大容器
|
|
mapred.combine.recordsBeforeProgress
|
10000
|
在聚合处理时的记录块数
|
|
mapred.merge.recordsBeforeProgress
|
10000
|
在汇总处理时的记录块数
|
|
mapred.reduce.slowstart.completed.maps
|
0.05
|
|
|
mapred.task.tracker.task-controller
|
org.apache.hadoop.mapred.DefaultTaskController
|
任务管理器的设定
|
|
mapreduce.tasktracker.group
|
任务管理器的组成员设定
|
|
|
mapred.healthChecker.script.path
|
脚本的绝对路径指定，这些脚本是心跳服务的
|
|
|
mapred.healthChecker.interval
|
60000
|
节点心跳信息的间隔
|
|
mapred.healthChecker.script.timeout
|
600000
|
|
|
mapred.healthChecker.script.args
|
参数列表
|
|
|
mapreduce.job.counters.limit
|
120
|
作业计数器的最小值
|
5，yarn-site.xml
| 参数 | 默认值 | 描述 |
| yarn.resourcemanager.hostname | RM的hostname | |
| yarn.resourcemanager.address | ${yarn.resourcemanager.hostname}:8032 | RM对客户端暴露的地址，客户端通过该地址向RM提交应用程序等 |
| yarn.resourcemanager.scheduler.address | ${yarn.resourcemanager.hostname}:8030 | RM对AM暴露的地址，AM通过地址想RM申请资源，释放资源等 |
| yarn.resourcemanager.webapp.address | ${yarn.resourcemanager.hostname}:8088 | RM对外暴露的web http地址，用户可通过该地址在浏览器中查看集群信息 |
| yarn.resourcemanager.webapp.https.address | ${yarn.resourcemanager.hostname}:8090 | web https 地址 |
| yarn.resourcemanager.resource-tracker.address | ${yarn.resourcemanager.hostname}:8031 | RM对NM暴露地址，NM通过该地址向RM汇报心跳，领取任务等 |
| yarn.resourcemanager.resource-tracker.client.thread-count | 50 | 处理来自NM的RPC请求的handler数 |
| yarn.resourcemanager.admin.address | ${yarn.resourcemanager.hostname}:8033 | 管理员可以通过该地址向RM发送管理命令等 |
| yarn.resourcemanager.scheduler.class | org.apache.hadoop.yarn.server.resourcemanager
.scheduler.capacity.CapacityScheduler |
资源调度器主类 |
| yarn.resourcemanager.scheduler.client.thread-count | 50 | 处理来自AM的RPC请求的handler数 |
| yarn.scheduler.minimum-allocation-mb | 1024 | 可申请的最少内存资源，以MB为单位 |
| yarn.scheduler.maximum-allocation-mb | 8192 | 可申请的最大内存资源，以MB为单位 |
| yarn.scheduler.minimum-allocation-vcores | 1 | 可申请的最小虚拟CPU个数 |
| yarn.scheduler.maximum-allocation-vcores | 32 | 可申请的最 大虚拟CPU个数 |
| yarn.nodemanager.local-dirs | ${hadoop.tmp.dir}/nm-local-dir | 中间结果存放位置，可配置多目录 |
| yarn.log-aggregation-enable | false | 是否启用日志聚合 |
| yarn.nodemanager.remote-app-log-dir | /tmp/logs | 日志聚合目录 |
| yarn.nodemanager.resource.memory-mb | 8192 | NM总的可用物理内存，以MB为单位。一旦设置，不可动态修改 |
| yarn.nodemanager.resource.cpu-vcores | 8 | 可分配的CPU个数 |
| yarn.nodemanager.aux-services | NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 |
转载请注明
作者:海底苍鹰
地址:http://blog.51yip.com/hadoop/2020.html