温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Linux环境下部署Hadoop 2.x的方式

发布时间:2021-09-16 18:24:18 来源:亿速云 阅读:114 作者:chen 栏目:云计算
# Linux环境下部署Hadoop 2.x的方式

## 环境准备
1. **系统要求**:推荐使用Ubuntu/CentOS等主流Linux发行版,确保已安装JDK 1.7+。
2. **用户配置**:创建专用用户(如`hadoop`)并配置SSH免密登录:
   ```bash
   ssh-keygen -t rsa
   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

部署步骤

  1. 下载解压

    wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
    tar -xzvf hadoop-2.10.1.tar.gz -C /opt/
    
  2. 配置环境变量: 编辑~/.bashrc,追加:

    export HADOOP_HOME=/opt/hadoop-2.10.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
  3. 核心配置

    • core-site.xml:配置fs.defaultFS为HDFS地址(如hdfs://localhost:9000
    • hdfs-site.xml:设置副本数(dfs.replication)等参数
    • yarn-site.xml:启用YARN资源管理器
  4. 格式化与启动

    hdfs namenode -format  # 首次需格式化
    start-dfs.sh && start-yarn.sh
    

验证

通过jps命令检查进程,访问http://<IP>:50070确认Web UI正常显示。 “`

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI