#

hadoop

  • Spark应用领域广泛,能做什么呢?

    Spark能做什么?Spark应用领域Spark是大数据技术中数据计算处理的王者,能够一次处理PB级的数据,分布在数千个协作的物理或虚拟服务器集群中,它有一套广泛的开发者库和API,并且支持Java,

    作者:mo默羽
    2020-07-08 18:10:34
  • hadoop hive 安装

    雷顿学院大数据:http://www.leidun.site/https://segmentfault.com/a/1190000009103629 hadoop 安装 datanode无法启动htt

    作者:雷顿学院
    2020-07-08 13:58:58
  • 大数据发展最快的那些省份!看看你的家乡排第几

    中国已经进入大数据创新突破与应用落地的发展上升期,根据相应调查对中国大数据发展的十大趋势进行了展望。 大数据发展呈现十大新趋势 趋势之一:政务大数据应用开发将获得有力支撑。作为一直阻碍大数据发展的一个

    作者:Hjiangxue
    2020-07-08 12:15:12
  • HADOOP HBASE配置注意事项

    1、yum安装的jdk工具1.8版本,在配置hbase1.2版本需要在hbase-env.sh配置文件中注释掉下面的内容:export HBASE_MASTER_OPTS="$HBASE_M

    作者:断臂人
    2020-07-08 12:04:35
  • 安装hadoop

    1:安装包http://hadoop.apache.org/releases.htmlhttp://www.oracle.com/technetwork/java/javase/downloads/j

    作者:liufu1103
    2020-07-08 06:45:29
  • 大数据分析学习必须用到的工具,一定要收藏

    简单来说,我们可以把大数据分析工具简单分成两个维度: 第一维度:数据存储层——数据报表层——数据分析层——数据展现层 第二维度:用户级——部门级——企业级——BI级 1、数据存储层 数据存储涉及到数据

    作者:a大数据
    2020-07-08 04:13:13
  • application master 持续org.apache.hadoop.ipc.Client: Retrying connect to server

    一、问题现象    某一个nodemanager退出后,导致 application master中出现大量的如下日志,并且持续很长时间,application master才成功

    作者:zouqingyun
    2020-07-08 01:03:53
  • 大数据开发生态圈之Apache Hadoop简介

    Hadoop概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop实现了一

    作者:Emmanuel赵
    2020-07-07 23:16:54
  • Hadoop 部署之环境准备(一)

    一、软硬件规划 ID 主机类型 主机名 IP 应用软件 操作系统 硬件配置 1 物理机 namenode01 192.168.1.200 jdk1.8.0_171、hadoop-2.7.

    作者:wzlinux
    2020-07-07 21:16:35
  • 记录一次生产环境hadoop集群优化以及pid文件缺失处理

    一、优化准备优化需要根据实际情况综合分析1、关闭系统swap分区(如果未关闭的话)在Hadoop中,如果使用系统默认设置,会导致swap分区被频繁使用,集群会不断发出警告。对于每个作业处理的数据量和每

    作者:断臂人
    2020-07-07 20:06:04