#

hadoop

  • Java代码访问Hbase测试

    import java.io.IOException;import java.util.Iterator;import java.util.List;import org.apache.had

    作者:刀刀_高扬
    2020-06-27 17:11:06
  • 0015-如何使用Sentry管理Hive外部表权限

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.文档编写目的 本文档主要讲述如何使用Sentry对Hive外部表权限管理,并基于以下假设: 1.操作系统版本:RedHat6.5

    作者:Hadoop实操
    2020-06-27 12:58:09
  • cdh4云存储最实用搭建方法

    一、cdh是什么 CDH is Cloudera’s 100% open source Hadoop distribution, built specifically to meet en

    作者:zhouyuqin3510
    2020-06-27 11:25:18
  • 基于HBASE的并行计算架构之rowkey设计篇

     1.大数据在HBASE存储、计算以及查询的应用场景 海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,

    作者:xdataopen
    2020-06-27 06:16:14
  • 一篇文章教你使用RDMA技术提升Spark的Shuffle性能

    Spark Shuffle 基础在 MapReduce 框架中,Shuffle 是连接 Map 和 Reduce 之间的桥梁,Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节

    作者:Hjiangxue
    2020-06-27 00:53:11
  • 学习日志---hadoop的join处理

    Join方法需求:处理input1和input2文件,两个文件中的id都一样,也就是key值一样,value值不同,把两者合并。input1存的是id和名字,input2存的是id和各种信息。处理方法

    作者:wukong0716
    2020-06-26 13:33:42
  • 为何曙光能走在大数据落地的最前沿?

    “如果用过去传统的处理方式,很难去处理如今规模如此庞大和复杂的数据集,基于数据的业务创新也无从入手。”江苏省公路网管理与应急指挥中心工程师陈超如是说。陈超所言正在当前用户数字化转型中的一个缩影。在各行

    作者:大数据在线
    2020-06-26 09:27:06
  • Cloudera Manager和CDH升级流程

    1.Cloudera升级概述 升级包括两个主要的步骤,升级Cloudera Manager和升级CDH群集 升级CM: *升级CM时 可以使用rpm命令; Cloudera Manager升级时,Cl

    作者:ClouderaHadoop
    2020-06-26 08:05:11
  • Hadoop 系列(七)—— HDFS Java API

    一、 简介 想要使用 HDFS API,需要导入依赖 hadoop-client。如果是 CDH 版本的 Hadoop,还需要额外指明其仓库地址:

    作者:heibaiying
    2020-06-25 22:44:04
  • 0003-如何在CDH中使用LZO压缩

    温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.问题描述 CDH中默认不支持Lzo压缩编码,需要下载额外的Parcel包,才能让Hadoop相关组件如HDFS,Hive,Spa

    作者:Hadoop实操
    2020-06-25 21:37:19