温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

TSDB的数据怎么利用Hadoop/spark集群做数据分析

发布时间:2021-12-09 15:19:38 来源:亿速云 阅读:154 作者:iii 栏目:大数据

这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数据分析”,在日常操作中,相信很多人在TSDB的数据怎么利用Hadoop/spark集群做数据分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”TSDB的数据怎么利用Hadoop/spark集群做数据分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

举个栗子:

一个风机监测站,用TSDB来存储风速的实时数据。大家知道,风速可是矢量数据,TSDB存储了x轴和y轴的数据,需要对x和y轴的数据求矢量和才能得到风速。

TSDB中的原始数据用简单的表格示意一下,就是如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

背景就是这么简单,我们就开始三步走啦。

一、下载Jar包。这个Jar包支持实现了一个TSDB的HiveStorageHandler,通过Hive CLI或Hue使用,支持对TSDB的读取。如果是本地hive集群,请下载jar包到本地,如果使用百度MapReduce(BMR),请直接使用地址bos://iot-tsdb/hive-tsdb-handler-all.jar


二、Hadoop集群中加载Jar包,并初始化。

示例代码如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

上面的代码由以下几部分组成,

1、加载Jar包、创建表、设置storage为TSDBStorageHandler

2、初始化TSDB的参数。在TBLPROPERTIES中初始化在TSDB中用到的相关参数,如tsdb.metric_name、tsdb.timestamp_name、tsdb.field_names、tsdb.tag_keys初始化为TSDB中的值

三、通过SQL得到结果

上面的x轴和y轴的风速,需要计算矢量和拿到最后的风速,利用SQL和计算函数就很简单啦

TSDB的数据怎么利用Hadoop/spark集群做数据分析

得到的结果如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

到此,关于“TSDB的数据怎么利用Hadoop/spark集群做数据分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注亿速云网站,小编会继续努力为大家带来更多实用的文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI