温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

只需4个步骤,分析解决在生产环境下JVM内存泄露问题

发布时间:2020-10-11 23:27:05 来源:网络 阅读:519 作者:架构师追风 栏目:编程语言

作者:未完成交响曲

发现异常

首先通过我们内部搭建的日志平台发现我们线上环境一个java应用有大量的http接口请求超时,登录linux服务器查看网络环境没有问题,判断是应用自身运行异常,重启应用后发现异常还在,开始查找问题。

初步查找问题

通过指令:jstat -gcutil 查看jvm内存占用和gc情况:
只需4个步骤,分析解决在生产环境下JVM内存泄露问题

发现老年代内存占用比例过高,并且每次fullGC后并没有有效回收。老年代内存占用百分比变化趋势大致如下:
只需4个步骤,分析解决在生产环境下JVM内存泄露问题

初步判断大量请求超时和服务瘫痪的直接原因:
每次fullGC后的内存占用越来越高
内存占用增长速度越来越快
fullGC的频率越来越高
最终占用达到100%,服务完全瘫痪

分析处理

使用指令:jmap -histo:live *** | more 查看堆内存中的对象数量和大小只需4个步骤,分析解决在生产环境下JVM内存泄露问题

发现Log4jLogEvent这个对象实例很多,占用内存也异常的大,初步分析是异步日志传输速度跟不上,导致日志对象堆积在内存中。
尝试使用调整Flume传输日志参数:提高flume单次传输量,减少最大延迟时间
重启应用并监控接口调用情况发现应用暂时恢复正常了。

后续分析

在前一步分析内存的同时,使用指令:jmap -dump:format=b,file=heapDump.hprof将实时内存信息导出(dump过程比较慢,所以在问题暂时处理完后进行后续分析),使用mat分析内存结构:只需4个步骤,分析解决在生产环境下JVM内存泄露问题

可以看到主要占据堆内存的对象信息,果然是Flume异步传输日志堵塞的问题。
只需4个步骤,分析解决在生产环境下JVM内存泄露问题

总结

对jvm内存泄露这类问题的解决,主要是要善于利用jvm提供的类似jstat、jmap等工具来分析查找问题。这次问题虽然解决,但是后续还是存在出现此类问题的风险。所以除了加强jvm问题排查能力的同时,我们也将建立应用监控平台的计划提上日程,希望能对jvm内存、线程等应用实时运行指标进行监控,便于尽早发现问题。

欢迎大家一起交流,喜欢文章记得点个赞哟,感谢支持!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI