#

hadoop

  • centos6.8下hadoop3.1.1完全分布式安装指南(推荐)

    前述: 这篇文档是建立在三台虚拟机相互ping通,防火墙关闭,hosts文件修改,SSH 免密码登录,主机名修改等的基础上开始的。 一.传入文件 1.创建安装目录 mkdir /usr/local/s

    作者:骑猪少年✘
    2020-09-25 01:50:17
  • hadoop的wordcount实例代码

    可以通过一个简单的例子来说明MapReduce到底是什么:   我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件,然后安排多个人去统计。这个过程就是”Map”。

    作者:杭州胡欣
    2020-09-24 18:06:05
  • 大数据入门学习之Hadoop技术优缺点

    大数据入门学习之Hadoop技术优缺点 (1)Hadoop具有按位存储和处理数据能力的高可靠性。 (2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的

    作者:a大数据
    2020-09-22 15:12:03
  • ASP.NET实现Hadoop增删改查的方法

    小编给大家分享一下ASP.NET实现Hadoop增删改查的方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!具体如下:packages.config

    作者:小新
    2020-09-22 11:43:34
  • HBASE 0.98版本安装,四步曲:安装HBAES 0.98

    1、下载hbase-0.98.2-hadoop2-bin.tar.gz2、解压缩3、挪动hbase到相应的位置去/home/hadoop/hbase4、配置hbase/home/hadoop/hbas

    作者:刀刀_高扬
    2020-09-21 21:58:10
  • flume 收集日志,写入hdfs

    首先安装flume:建议和Hadoop保持统一用户来安装Hadoop,flume本次我采用Hadoop用户安装flumehttp://douya.blog.51cto.com/6173221/1860

    作者:crazy_charles
    2020-09-19 17:43:17
  • Hadoop Combiner使用方法详解

    Hadoop Combiner使用方法详解 Combiner函数是一个可选的中间函数,发生在Map阶段,Mapper执行完成后立即执行。使用Combiner有如下两个优势: Combiner可以

    作者:csguo007
    2020-09-19 13:51:05
  • 生产环境下hadoop HA集群及Hbase HA集群配置

    一、环境准备操作系统版本:centos7 64位hadoop版本:hadoop-2.7.3hbase版本:hbase-1.2.41、机器及角色IP角色192.168.11.131NamenodeDFS

    作者:断臂人
    2020-09-19 12:56:05
  • datanode 内存及GC优化

    事件描述:datanode内存被占用过大,负载过高,查看 hdfs dfsadmin -report 发现状态为 Dead ,查看datanode日志文件hadoop-sphuser-datanode

    作者:断臂人
    2020-09-18 15:18:04
  • hadoop配置名称节点HA基本流程

    hadoop配置HA(NN)配置信息参考hadoop配置名称节点HA原理1、停止所有进程stop-dfs.sh2、配置hdfs-site.xml和core-site.xml3、将s201的id_rsa

    作者:AricaCui
    2020-09-18 14:50:04