#
众所周知，大数据开发工程师是当今非常受欢迎的职业。当今大数据技术人才的短缺，网络圈的时间越长，资历越高，它就越受欢迎。但最近，一个小版本发现，“大数据工程师不能做超过35个”的话题已经引起了很大的关注
企业需要什么样的人才 企业需要两类大数据人才，一是数据平台建设人才；二是数据挖掘应用人才。大数据是因应结合应用来体现其价值……例如推动大数据技术在金融、气象、行政管理等领域的应用，推进基于大数据技术的
环境准备：环境CentOS7安装了JDK1.8这里用的elasticsearch6.2.2为例，你也可以用5.6.1或者更高的版本参考之前的单节点模式https://blog.51cto.com/69
大家都知道Hadoop是一个数据库，其实说的的就是Hbase。它和我们平常理解的关系型数据库有什么区别呢？1.它是NoSQL的，它没有SQL的接口，有自己的一套API。2.关系型数据库可以
需求：导出一个月数据提供测试分析实施：直接hive -e “xxxxx”> testdata.txt然后看输出信息，map%1 %2 %3...... %100，但是reduce一直是0%，等啊
大数据、数据分析的兴起和火爆，也带动了数据可视化的广泛应用。说起数据分析和可视化的关系，就好比你为一堆散乱的拼图写了一份说明，告诉他这个数据是什么样子，代表什么。可以说，数据可视化虽然不是必不可少的，
采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。如下监
大数据框架 hadoop/spark/hbase/storm/hive 等最近会抽时间开写这篇博客
logstash可以理解为log的采集传输组件老样子第一步下载sudo wget https://artifacts.elastic.co/downloads/logstash/logstash-6.
数据采集过程包括集成、导入、格式化。 数据采集过程中首先集成来自不同来源的数据。数据集成要考虑存储架构、采集方式、接口方式、采集周期等。 在存储架构方面，可以考虑在数据源侧设置数据暂存区（Stagin
