#
一、问题描述之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数，见http://zouqingyun.
前言由于最近开始涉及MR程序的编写，之前会一点HIVE，对MR接触不多，不论从原理还是实际操作上，都有些障碍，终于在今天柳暗花明，将这一过程记录下，与大家分享~环境准备在VM上搭建好LINUX虚拟机，
Hivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive 定义了简单的类 SQL 查询语言，称为
前言： 前面几篇博客主要介绍了MapReduce与Yarn的架构设计及简单工作流程，本篇文章将以wordcount程序为例，简单介绍下Yarn的使用。 1.wordcount示例运行 [root@
关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难，最烦的可
任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结
背景 最近在整理以前学过的大数据相关知识，今天从Hadoop的机架感知开始，Hadoop机架感知的实现有2种方式：1）、通过实现一个Java接口DNSToSwitchMapping，然后在core-s
最近学习搭建hadoop,通过边查资料边搭建，花了半天也搭建好了，借此写下搭建总结，在这里感谢博友【数据放大镜】的文章，很不错，就是按照他的步骤搭建下来的，在这里，自己完善了一下，不说了，直接开搞：P
HDFS前言l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为
HDFS web访问 50070YARN web管理 8088HistoryServer web管理 19888Zookeeper 服务端口 2181Hive 服务端口 10000Kafka 服务端口
