博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
storm资源冲突
阅读量:5300 次
发布时间:2019-06-14

本文共 685 字,大约阅读时间需要 2 分钟。

本方案出自《storm应用实践:实时事务处理之策略》,简略的写了一部分,详细的方法就看书吧

1)集群中工作进程冲突:

  解决:通过查看stormUI cluster summary中的free slots是否为零(为零表示新拓扑无法部署,没有可用空进程)

2)拓扑停止或者不执行:

  一般是因为没有可用空进程了,可以通过减少现存拓扑在用的工作进程数量或者增加集群总的进程数量(修改jvm默认内存配置/添加工作进程数量(添加端口)或者增加节点)

3)slot或者jvm内存冲突:

  通过配置GC日志记录进行日志分析OOM(outofmemary)错误

4)节点间内存冲突

  开启内存交换(不考虑传输延迟)

  或者降低工作进程使用的总体内存量(减少整体工作进程的数量/降低jvm空间大小)

  或者为每个节点增加内存

5)cpu资源冲突:

  增强cpu

  减少每个工作节点上的工作进程数量来分担jvm上的负载

6)节点间io冲突:

  磁盘io

    减少磁盘写入/换固态/不写入NFS类型的网络文件系统

  网络io

    换快网/减少每个节点上的工作进程/增加socket端口数量

7)缓冲区溢出:(包括执行器的输入队列、输出队列、工作节点中的对外队列)

  通过查看debug入职进行判断。

  解决方法一般:

  1、调整生产和消耗的比例

  2、提升所有拓扑的缓冲区大小

  3、提升特定拓扑的缓冲区大小

  4、设置spout的最大待定数

 

转载于:https://www.cnblogs.com/51python/p/11149951.html

你可能感兴趣的文章
00-自测1. 打印沙漏
查看>>
UNITY在VS中调试
查看>>
福建省第八届 Triangles
查看>>
P1182 数列分段`Section II` P1316 丢瓶盖 二分答案
查看>>
SDUTOJ3754_黑白棋(纯模拟)
查看>>
Scala入门(1)Linux下Scala(2.12.1)安装
查看>>
laravel
查看>>
installing the matplotlib via pip in the enviroment dos
查看>>
如何改善下面的代码 领导说了很耗资源
查看>>
Quartus II 中常见Warning 原因及解决方法
查看>>
高德地图 – 1.问题集锦
查看>>
php中的isset和empty的用法区别
查看>>
Android ViewPager 动画效果
查看>>
Android UI-仿微信底部导航栏布局
查看>>
MySQL 第六天
查看>>
python 笔记一
查看>>
pip和easy_install使用方式
查看>>
博弈论
查看>>
Redis sentinel & cluster 原理分析
查看>>
我的工作习惯小结
查看>>