#

hadoop

  • Hadoop监控分析工具Dr.Elephant

    公司基础架构这边想提取慢作业和获悉资源浪费的情况,所以装个dr elephant看看。LinkIn开源的系统,可以对基于yarn的mr和spark作业进行性能分析和调优建议。DRE大部分基于java开

    作者:Slaytanic
    2020-07-03 13:44:07
  • Hive文件压缩测试

    hive上可以使用多种格式,比如纯文本,lzo、orc等,为了搞清楚它们之间的关系,特意做个测试。一、建立样例表hive> create table tbl( id int, name stri

    作者:alexanda2000
    2020-07-03 11:25:49
  • Cloudera Manager 6.0.1 安装注意事项及细节

    此篇基本与官方文档一致,细节不一样的地方会标注我的环境:server1 192.168.1.201 4核 8G 120G(固态)server2 192.168.1.202 4核 8G 120G+500

    作者:zzzqqwa
    2020-07-03 10:07:59
  • Hadoop 单节点 & 伪分布 安装手记

    实验环境CentOS 6.XHadoop 2.6.0JDK    1.8.0_65目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布

    作者:oceanszf
    2020-07-03 09:25:15
  • hadoop启动start-all.sh出错(master: ssh: connect to host master port 22: Connection refused)

    当我们打开系统输入hadoop启动命令start-all.sh时出现以下错误: [root@master ~]# start-all.sh starting nameno

    作者:Bing661129
    2020-07-03 09:13:50
  • HBASE 0.98版本安装,三步曲:安装Zookeeper 3.4.5

    1、下载zookeeper 3.4.52、解压3、挪到合适的位置/home/hadoop/zookeeper4、设置一个zookeeper放置数据的位置/home/hadoop/zk5、修改zooke

    作者:刀刀_高扬
    2020-07-03 08:28:36
  • Hadoop 系列(四)—— Hadoop 开发环境搭建

    一、前置条件 Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见: Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件之间需要基于 SSH 进行通讯。 2.1 配置映射

    作者:heibaiying
    2020-07-03 08:21:04
  • 0006-Zookeeper指标分析

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1. 问题描述 通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标

    作者:Hadoop实操
    2020-07-03 08:08:25
  • 10亿数据量的即席查询 spark 和 kylin的对比

        数据量大约在10亿+,需要做一个即席查询,用户可以主动输入搜索条件,如时间。可提供一定的预处理时间。每天还有新数据加入。  &nbs

    作者:去买大白兔
    2020-07-03 07:32:44
  • 大数据:Map终结和Spill文件合并

    当Mapper没有数据输入,mapper.run中的while循环会调用context.nextKeyValue就返回false,于是便返回到runNewMapper中,在这里程序会关闭输入通道和输出

    作者:爱码学院
    2020-07-03 01:57:11