温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

【总结】Hadoop配置文件core-site.xml

发布时间:2020-09-13 14:12:42 来源:网络 阅读:2124 作者:巧克力黒 栏目:大数据
<property>
<name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  <description>缺省文件服务的协议和NS逻辑名称,和hdfs-site里的对应此配置替代了1.0里的
fs.default.name,ns1 与 
hdfs-site.xml中的dfs.nameservices配置项对应</description>
</property>

<property>
<name>hadoop.tmp.dir</name>
    <value>/hadoop/1/tmp/hadoop-${user.name}${hue.suffix}</value>
  <description>A base for other temporary 
directories.存放一些解压jar包后的class文件,类似 
hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中
dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等
配置项会用到该配置项内容</description>
</property>

<property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.GzipCodec,
            com.hadoop.compression.lzo.LzopCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            org.apache.hadoop.io.compress.Lz4Codec
        </value>
        <description>提供压缩/解压的java工具</description>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>  128M
        <description>SequenceFiles在读写中可以使用的缓存大小,在x86系统上一般配置4096倍数;决定了在读写过程当中,有多大的缓存</description>
</property>

<property>
        <name>ha.zookeeper.quorum</name>
        <value>nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181</value>
  
      <description>A list of ZooKeeper server addresses, separated
 by commas, that are to be used by the ZKFailoverController in automatic
 failover</description>
</property>

<property>
        <name>ipc.client.connection.maxidletime</name>
        <value>60000</value>
        <description>超出客户端与服务器连接的最大空闲期maxidletime,断开服务器与客户端的连接</description>
</property>

<property>
        <name>io.seqfile.compression.type</name>
        <value>BLOCK</value>
  
      <description>Hadoop SequenceFile 
是一个由二进制形式key/value的字节流组成的存储文件,SequenceFile可压缩可切分,非常适合hadoop文件存储特 
性,SequenceFile的写入由SequenceFile.Writer来实现, 
根据压缩类型SequenceFile.Writer又派生出两个子类SequenceFile.BlockCompressWriter和 
SequenceFile.RecordCompressWriter, 
压缩方式由SequenceFile类的内部枚举类CompressionType来表示,定义了三种方式[NONE|RECORD|BLOCK],
CompressionType.NONE 时 记录信息不压缩
CompressionType.RECORD 时 记录信息压缩(单条记录压缩)
CompressionType.BLOCK  一个block内会有多条记录组成,压缩是作用在block之上的,比RECODE方式能获得更好的压缩比
</description>
</property>

<property>
    <name>topology.script.file.name</name>
    <value>/usr/local/hadoop/etc/hadoop/topology.sh</value>
    <description>机架识别脚本</description>
</property>




向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI