java 堆内存溢出梗概分析 -买球官网平台

0顶
0踩

java 堆内存溢出梗概分析

2018-03-30 10:13 by 副主编 jihong10102006 评论(0) 有12331人浏览
引用
原文:java out of memory heap analysis
链接:
译者:dreamanzhao, 无若

任何使用过基于 java 的企业级后端应用的软件开发者都会遇到过这种低劣、奇怪的报错,这些报错来自于用户或是测试工程师: java.lang.outofmemoryerror:java heap space。

为了弄清楚问题,我们必须返回到算法复杂性的计算机科学基础,尤其是“空间”复杂性。如果我们回忆,每一个应用都有一个最坏情况特征。具体来说,在存储维度方面,超过推荐的存储将会被分配到应用程序上,这是不可预测但尖锐的问题。这导致了堆内存的过度使用,因此出现了"内存不够"的情况。

这种特定情况最糟糕的部分是应用程序不能修复,并且将崩溃。任何重启应用的尝试 - 甚至使用最大内存(-xmx option)- 都不是长久之计。如果不明白什么导致了堆使用的膨胀或突出,内存使用稳定性(即应用稳定性)就不能保障。于是,什么才是更有效的理解关于内存的编程问题的途径?当内存溢出时,明白应用程序的内存堆和分布情况才能回答这个问题。

在这一前提下,我们将聚焦以下方面:
  • 当内存溢出时,获取到 java 进程中的堆转储。
  • 明白应用程序正在遭遇的内存问题的类型。
  • 使用一个堆分析器,可以使用 eclipse mat 这个优秀的开源项目来分析内存溢出的问题。
配置应用,为堆分析做准备

任何像内存溢出这种非确定性的、时有时无的问题对于事后的分析都是一个挑战。所以,最好的处理内存溢出的方法是让 jvm 虚拟机转储一份 jvm 虚拟机内存状态的堆文件。
sun hotspot jvm 有一种方法可以引导 jvm 转储内存溢出时的堆状态到一个文件中。其标准格式为 .hprof 。所以,为了实现这种操作,向 jvm 启动项中添加 xx: heapdumponoutofmemoryerror 。因为内存溢出可能经过很长一段时间才会发生,向生产系统增加这一选项也是必须的。
如果堆转储 .hprof 文件必须被写在一个特定的文件系统位置,那么就添加目录途径到 xx:heapdumppath 。只需确保该应用对于指定目录途径始终拥有写入权限。

原因分析

101:了解内存溢出错误的本质

当尝试去评估和了解一个内存溢出错误时,最先做的事情应该是观察内存增长特征。根据情况做出可能性的评估:
  • 尖峰状:这种类型的内存溢出在某种类型的加载上会是比较激烈的。当 jvm 分配内存给 20 个用户时,应用程序可以正常运行。但是,如果到第 100 个用户时可能会遭遇到内存峰值,从而导致内存溢出。有两种可能的办法去解决这个问题。
  • 泄露:由于某些编程问题,内存使用随着时间的推移逐渐增加。

拥有良性垃圾回收机制的健康图表
 

健康一段时间后,随时间推移而泄露的图表
       

引起内存使用凸起、导致内存溢出的内存图表

在我们了解导致使用率激增的内存问题的本质之后,基于从对分析中得到的推断,下面的这些方法或许可以用来避免遭遇内存溢出的错误。

解决内存问题

  • 修复引起内存溢出的代码:由于应用在某段时间内增量添加了一个对象而没有清除其引用(来自正在运行的应用程序的对象引用),导致不得不修复程序错误。例如,这一错误可能是插入了一个哈希表, 其中的业务对象会逐渐增加,然而业务逻辑和事务在完成之后并没有删除这些对象。
  • 增加内存最大值作为一种修复方法。在了解了运行内存特征和堆之后,可能必须增加分配的最大堆内存来避免再次发生内存溢出,因为推荐的最大内存值不能够满足应用程序的稳定性。所以,应用程序可能不得不基于堆分析器的评估,将 java -xmx 的 flag 信息更新成一个更高值后再来运行。
堆分析

下面我们将详细分析如何使用一个堆分析工具来分析堆转储。在示例中,将使用到 eclipse 基金会的开源工具 mat 。

使用 mat 进行堆分析

是时候进行深入探讨了。我们将通过一系列的步骤,帮助探索在 mat 中的不同表现和视图,以获取一个堆内存溢出的示例并思考分析。
1. 打开内存溢出错误发生时产生的 .hprof 堆文件。确保复制转储文件到一个专门的文件夹下,因为 mat 会创建许多索引文件:文件 -> 打开
2. 打开转储文件,有内存泄漏嫌疑报告和组件报告的选项。选择运行泄漏嫌疑报告。

3. 泄漏嫌疑表打开后,在预览窗口的饼状图会展示在每个对象基础上保留内存的分布情况。它显示了内存中的最大对象(拥有最高保留内存的对象 —— 累积的内存和引用的对象)。
4. 上面的饼图通过聚合拥有最高内存引用(本身内存和总内存)的对象来展示 3 个问题嫌疑人。
让我们逐一分情况查看,评估它是否是内存溢出错误的根本原因。

可疑点 1

由 “” 加载的 454,570 个 “java.lang.ref.finalizer” 实例占用了 790,205,576(47.96%)个字节。
这就是告诉我们有 454,570 个 jvm finalizer(终结器)实例占据了分配的应用内存的近 50 %。
假设读者知道 java finalizer 是做什么的,上面的信息会让我们明白什么呢?
入门阅读:
本质上,开发者编写了一些定制化的终结器去释放一个实例的资源。这些由终结器收集的实例不在 jvm 使用单独队列的垃圾回收算法的范围之内。实际上,这种途径比起垃圾回收机制的清理路径更长。所以现在我们应该努力搞清楚这些终结器到底终结了什么?
也或许是可疑点 2 ,占据了 20% 的 sun.security.ssl.sslsocketimpl 。我们能确认是否这些就是要被终结器终结的实例吗?

可疑点 2

现在,让我们打开在 mat 顶部的工具按钮下面的 dominator 视图。我们会看到所有的列出的类实例,经由 mat 解析展示出有效的堆存储。

下一步,在 dominator 视图,我们尝试理解 java.lang.finalizer 和 sun.security.ssl.sslsocketimpl 之间的关系。我们右键点击 sun.security.ssl.sslsocketimpl 这一列,打开 gc roots  -> exclude soft/weak references。

现在,mat 将会开始绘制内存的图表来显示 gc root 的路径以及它所对应的实例引用。这会被显示在另外一个页面上,显示的引用如下:

如上面引用链显示,实例 sslsocketimpl 来自于 java.lang.ref.finalizer,整个 sslsocketimpl 实例大约占用了 88k。我们还注意到 finalizer 链是一个针链表数据结构它指向下一个实例。
推论:在这一点上,我们有一个明确的感觉,java finalizer 试图在收集 sslsocketimpl 对象。为了解释为什么还有很多信息没有被收集到,我开始检查代码。

检查代码

代码检查需要查看是不是由 socket 套接字被关闭导致的。在这种情况下,它显示与 i/o 相关的所有流,需要被正确地关闭。在一点上,我们怀疑 jvm 是始作俑者。实际上,在 open jdk 6.0.xx 的 gc(垃圾收集器)上的代码中有一个 bug。
我希望这篇文章给你一个模式来分析 java 应用中的错误是由堆存储还是内部问题导致的。希望你使用堆分析愉快!

扩展阅读

shallow heap (浅堆) vs. retained heap (保留堆)
浅堆是一个对象消耗的内存。根据情况,一个对象需要 32 位或 64 位(取决于其操作系统架构),对于整型为 4 字节,对于 long 型为 8 字节等等。依据堆转储格式,其内存大小(比如,向 8 对齐)或许适应于更好地塑造虚拟机的真实消耗。
x 的保留集合是当 x 被垃圾回收时,那些将要被移除的对象集合。
x 的保留堆是在 x 的保留集合中所有对象的浅堆之和,也就是 x 存留的内存。
总体讲,一个对象的浅堆就是其在堆中的大小。同一个对象的保留大小就是当对象被垃圾回收时堆内存的总量。
一些对象的主要集合,比如某一特定类的所有对象、或是由某一特定类加载器加载的所有类的所有对象、或仅仅是一些任意的对象,它们的保留集是如果那些主要集的所有对象变得不可接近时所释放的对象集。
保留集包括这些对象和仅通过这些对象才能获取的其它对象。保留集的大小是包含在保留集中的所有对象的堆的大小。
  • 大小: 31.2 kb
  • 大小: 82.6 kb
  • 大小: 15.2 kb
  • 大小: 176.7 kb
  • 大小: 12.3 kb
  • 大小: 123.6 kb
  • 大小: 109.4 kb
来自:
0
0
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 像java程序一样,虽然python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题。 对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。 1、内存泄露的...

  • 堆分析下面我们将详细分析如何使用一个堆分析工具来分析堆转储。在示例中,将使用到 eclipse 基金会的开源工具 mat 。使用 mat 进行堆分析是时候进行深入探讨了。我们将通过一系列的步骤,帮助探索在 mat 中的不同...

  • java内存管理 简介 首先我们要了解我们为什么要学习java虚拟机的内存管理,不是java的gc垃圾回收机制都帮我们释放了内存了吗?但是在写程序的过程中却也往往因为不懂内存管理而造成了一些不容易察觉到的内存问题,...

  • 前言 在本篇文章开始前,我想想来回答一个问题:我为什么要写这一篇关于面试的文章...或许这份面试题还不足以概括所有java问题,但有了它,我相信你一定不会”败“的很惨,因为有哦了它,足以应对目前市面上绝大部分的j

  • 如图,我们将内存分成了5大块区域:方法区,堆,虚拟机栈,本地方法栈以及程序计数器。 这几个区域的功能概括如下: 程序计数器:占用内存很小,作用就是指示下一条将要执行指令的地址,分支,循环,跳转,异常处理...

  • java与c 之间有一堵由内存动态分配和垃圾收集技术所围成的"高墙",墙外面的人想进去,墙里面的人却想出来。css概述对于从事c、c 程序开发的开发人员来讲,在内存管理领域,他们既是拥有最高权力的“皇帝”又是从事...

  • 我正在用java编写一个数据分析程序,该程序依赖r的arulesviz库来挖掘关联规则。我想要什么?我的目的是将规则存储在java中的string变量中,以便以后进行处理。它是如何工作的?该代码分别使用string.format和eval ...

  • 最近在学习jvm的内存分配机制,于是就网上各种查找资料,看博客等,发现有些博客解释的比较好,我便引来记录学习一下. 以下内容转载自:https://www.cnblogs.com/wangjzh/p/5258254.html ...jvm内存分配 ...

  • java内存泄漏原因和内存泄漏检测工具摘要虽然java虚拟机(jvm)及其垃圾收集器(garbage collector,gc)负责管理大多数的内存任务,java软件程序中还是有可能出现内存泄漏。实际上,这在大型项目中是一个常见的问题。...

  • 再双击installedjres,在右边选择前面有对勾的jre,再单击右边的“edit”按钮,出现一个 edit jre 的对话框,在其中的default vm arguments: 框中输入 -xms128m -xmx512m,这样设置java拟虚机内存使用最小是128m,...

  • 概括:程序计数器是一块较小的内存空间,可以看作是当前线程所执行的字节码的行号指示器. 作用:在java虚拟机的概念模型里,字节码解释器工作是就是通过改变这个计数器的值爱选取下一条需要执行的字节码指令,它是程序...

  • 本文仅关注一些常见的虚拟机内存监视手段,以及jvm运行时数据区各个部分内存溢出的发生和对应的买球软件推荐的解决方案,总体来说属于概括性总结,涉及相对不是很深入,目的是让自己和其它初学者有一个框架性、概念性的了解,当...

  • 作为java开发者,一般可能关注最多的就是堆内存(heap)和栈内存(stack),实际可分为以下几个区域: 方法区(method area):与java堆一样,是各个线程共享内存区域,它存储已被虚拟机加载的类信息 、常量、静态...

global site tag (gtag.js) - google analytics