#
一、Tornado的语言国际化方法Tornado做国际化折腾了一下下，Tornado这部分的官方文档太poor了。所以自己记录一下如何用tornado结合gettext做国际化。第一步，在项目路径下建
本文主要分享Hadoop三大分析工具：Hive、Pig和Impala。Hive和Pig是高级数据语言，基于Mapreduce，底层处理的时候会转换成Mapreduce去提交，Hive和Pig都是开源的
一、hadoop2.4编译方法可参考：Linux64位操作系统（CentOS6.6）上如何编译hadoop2.4.0。二、准备工具1.部署准备两个机器test1为Master，test2为Slave。
一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 Resou
import java.io.ByteArrayOutputStream;import java.io.FileInputStream;import java.io.FileOutputStream;
MapReduce自带的分区器是HashPartitioner原理：先对map输出的key求hash值，再模上reduce task个数，根据结果，决定此输出kv对，被匹配的reduce任务取走。自定
如下图所示，从逻辑上来看，Hive包含了3大部分。 Hive Clients Hive Services Hive Storage and Computing 用户操作Hive的接口主要有三个：C
(1)discp原理 DistCp（Distributed Copy）是用于大规模集群内部或者集群之间的高性能拷贝工具，和在linux上执行cp，scp实
[TOC] Yarn流程 可以参考《Hadoop权威指南》P79中的图示与介绍进行理解，当然结合下面这个图示与其中的解释进行理解则会更加清晰易懂，当然，基本的参考个人觉得书本上的图示要更精简，下面这
2019/2/18 星期一 yarn知识体系总结 Yarn 产生的原因（1）MapreduceV1 中，jobtracker 存在瓶颈：集群上运行的所有mr 程序都有jobtracker 来调度SPO
