#

namenode

  • 重新format namenode后,datanode无法正常启动

    测试环境,由于测试需求,重新format namenode后,导致datanode无法正常启动。1. 查看datanode日志,可以发现错误“Initialization failed for Blo

    作者:hsbxxl
    2020-08-06 10:02:30
  • 浅谈HDFS架构

    1、HDFS   HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件

    作者:半边书生123
    2020-08-04 01:53:20
  • namenode ha切换优化

    一、背景目前namenode使用了ha的部署模式,但系统会经常出现ha的自动切换(namenode节点其实正常)。经过调研发现可能的原因如下: HealthMonitor check本地namen

    作者:zouqingyun
    2020-07-25 09:57:58
  • namenode gc故障及解决办法记录

    问题:WARN org.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager: Waited 19016 ms (timeout=20000

    作者:wx5b10a81d5bb2f
    2020-07-15 01:11:42
  • 恢复hdfs的namenode

      最近公司因为断电之前没有关闭Hadoop集群,造成数据丢失,namenode坏了,无法启动,所以我尝试恢复。方法一:使用hadoop namenode -importCheckpoint

    作者:choulanlan
    2020-07-14 01:48:59
  • hadoop2.x 将namenode 与 SecondaryNameNode 分开部署

    修改方法在hadoop namenode节点上修改hadoop2.7.7 目录 cd ~/hadoop-2.7.7/etc/hadoop/配置[hadoop@namenodeyw&

    作者:A小小书童
    2020-07-10 17:15:21
  • 格式化namenode的命令

    1.格式化namenode节点hdfs namenode -format2.注意点,格式化命令只能在指定的namenode节点上使用3.格式化命令做了哪些操作?生成了fsp_w_p

    作者:素颜猪
    2020-07-01 10:08:13
  • 安装hadoop和配置hadoop,启动namenode和设置免密登录的详细解析!

    首先安装hadoop要安装好java的开发环境,配置好jdk其实创建一个hadoop的用户cd到这个用户的目录下创建一个apps的目录。以后所有的东西都解压进入apps解压后的目录中的文件如下这里li

    作者:神迹难觅
    2020-06-22 10:49:26
  • HADOOP 格式化 namenode节点 准备脚本

    一般来说Live nodes 是 0 的情况是由于namenode和datanode中的clusterID号不同,诱因是因为重复格式化。如果不需要保存数据,直接重做的话,需要下面这些步骤。ssh h

    作者:刀刀_高扬
    2020-06-22 09:44:21
  • Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

    关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 关于ResourceManager高可靠需要配置的文件有yarn-site.xml 

    作者:葬月仙帝
    2020-06-19 17:41:04