博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm消息可靠机制
阅读量:5944 次
发布时间:2019-06-19

本文共 965 字,大约阅读时间需要 3 分钟。

一:介绍

1.介绍

  默认情况是,Spout每获取一条数据,封装后发送给后面的组件,不再管后面是否处理完成或成功接收,不再考虑。

  这种的情况是不用太精确,没有启用可靠性消息机制。

 

2.方面的体现

  spout组件

  bolt组件

  ack机制

 

二:Spout组件

1.发送Tuple,给每个tuple设置一个msgId(用来标识、追踪)

  重载emit()方法。

  

 

2.使用内存缓存已经发射过的tuple

  首先新建缓存

  

  在open中初始化缓存

  

  保存到缓存

  

 

3.ack方法(成功)

  如果消息发送成功后的处理

  

 

4.fail的处理

  在conf(map类型)中设置最大的重发次数,方面后面的进行获取

  

  在spout类中的初始化中获得次数

  

  新建已经重发的次数的内存(在初始化的时候初始化即可)

  

  fail方法

  这里一开始有一个hasSendTuples.containKey(msgId)的判断,因为后面后面需要在这个Map中取值,所以需要先判断。

  

 

三:测试spout

1.超时时间的设置

  设置的是1秒。

  意思是1秒内后面没有处理,就是说明发送失败。

  

2.测试结果

  因为在Bolt没有处理成功的Tuple,所以,在这里显示的只会是失败的返回信息。

  

 

四:Bolt设置

1.确认ack

  

2.构造ack树(锚定)

  就是一个Tuple衍生的Tuple都成功,才表示这个tuple被处理成功。

  接受过来的input,与将要发送的new Values(word)绑定起来。

  

  

  

 

 

五:测试

1.超时时间设定

  使用默认时间,30秒

  

 

2.结果

  

 

六:Acker组件

1.介绍

  这个组件与Spout与Bolt同级。

  在使用消息可靠性保证的时候,的确认组件。

  也是使用executor来进行执行。

 

2.注意

  当启用消息可靠性保障机制的时候,运行性能明显下降。

  调整acker组件运行的executor线程数量来优化。

  config.setNumAckers(4);

  这样就是每个Spout或者Bolt一个execute、

  但是具体是几个,需要进行测试。

 

 

  

 

 

转载地址:http://kbwxx.baihongyu.com/

你可能感兴趣的文章
CoinWhiteBook:区块链在慈善事业中的应用
查看>>
Mac上基于Github搭建Hexo博客
查看>>
阿里云服务器ECS开放8080端口
查看>>
Spring中实现监听的方法
查看>>
使用Tooltip会出现一个问题,如果行上出现复选框
查看>>
11.03T1 DP
查看>>
P2924 [USACO08DEC]大栅栏Largest Fence
查看>>
jQuery操作table tr td
查看>>
工作总结:MFC自写排序算法(升序)
查看>>
螺旋队列问题之二
查看>>
扩展运算符和解构赋值的理解
查看>>
手机H5显示一像素的细线
查看>>
Menu 菜单栏
查看>>
Integer跟int的区别(备份回忆)
查看>>
集合解析
查看>>
详解分布式应用程序协调服务Zookeeper
查看>>
软件工程之构建之法
查看>>
UVa 10902
查看>>
Mathf.Sin正弦
查看>>
禁止浏览器缓存js
查看>>