#
HDFS Hadoop 分布式文件系统分布式文件系统分布式文件系统可以有效解决数据的存储和管理难题– 将固定于某个地点的某个文件系统,扩展到任意多个地点/多个文件系统– 众多的节点组成一个
Cloudera Manager Cloudera Manager 分为两个部分：CDH和CM。 CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera
package main.java;import java.io.*;import java.util.LinkedList;import java.util.List;import java.uti
Hadoop Cluster中的角色： HDFS： N
耗时很长时间解决了一个spark in docker的问题，记录一下。这是个非常奇怪的问题，找遍谷歌都找不到答案，与其说是分析出来倒不如说是偶然发现。先介绍一下架构和环境。Z机器是docker的宿主机
1.前言“大云物移”是当年很火热的一个话题，分别指大数据、云计算、物联网和移动互联网，其中大数据领域谈论得多就是Hadoop。当然Hadoop不代表大数据，而是大数据处理领域的一个比较有名的开源框架而
如果你看完有信心能坚持学习的话，那就当下开始行动吧！ 一、大数据技术基础 1、linux操作基础 linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用
引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 对于Spark来说有3中Joi
hadoop+spark环境--单实例版1、修改主机名及关系映射2、关闭防火墙并创建文件夹mkdir /hadoop/tmpmkdir /hadoop/dfs/namemkdir /hadoop/df
背景：公司自建IDC机房，基于IDC机房构建大数据集群；需要对集群资源进行监控，集群采用的是CDH集群，采集主要分两块进行： HDFS和YARN相关的指标进行采集IDC机器自身的指标进行采集 注意：
