温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Storm开发中易犯的 小错误

发布时间:2020-08-02 07:58:08 来源:网络 阅读:1876 作者:飞鱼之恋 栏目:大数据

Storm开发中易犯的 小错误

Storm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。

Storm的优点
1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行实时处理的复杂性。
2. 服务化,一个服务框架,支持热部署,即时上线或下线App.
3. 可以使用各种编程语言。你可以在Storm之上使用各种编程语言。默认支持ClojureJavaRubyPython。要增加对其他语言的支持,只需实现一个简单的Storm通信协议即可。
4. 容错性。Storm会管理工作进程和节点的故障。
5. 水平扩展。计算是在多个线程、进程和服务器之间并行进行的。
6. 可靠的消息处理。Storm保证每个消息至少能得到一次完整处理。任务失败时,它会负责从消息源重试消息。
7. 快速。系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列。
8. 本地模式。Storm有一个“本地模式”,可以在处理过程中完全模拟Storm集群。这让你可以快速进行开发和单元测试。

然而,在开发的过程中,由于Stormkill Topology,常常会导致一些莫名的错误,比如下面的一个错误:

Storm开发中易犯的 小错误

造成异常的原因就是,

没有kill 正在运行的topology却先kill nimbussupervisorstorm进程

解决方案:

删除了配置中"storm.local.dir"的文件夹内的内容(这个是导致ERROR的主要原因)

Zookeeper客户端下   delete   /storm/assignments

Zookeeper客户端下   delete   /storm/workerbeats

删除 storm目录下的workdir(即配置文件中配置的将TOPOLOGY序列化所放置的文件夹)


向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI