网站建设 >

查看其它板块

记一次某制造业ERP系统 CPU打爆事故分析

一：背景

1.讲故事

前些天有位朋友微信找到我，说他的程序出现了CPU阶段性爆高，过了一会就下去了，咨询下这个爆高阶段程序内部到底发生了什么？画个图大概是下面这样，你懂的。

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比仙居网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式仙居网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖仙居地区。费用合理售后完善，十多年实体公司更值得信赖。

按经验来说，这种情况一般是程序在做 CPU 密集型运算，所以让朋友在 CPU 高的时候间隔 5~10s 抓两个 dump 下来，然后就是用 WinDbg 分析。

二：WinDbg 分析

1. CPU 真的爆高吗

耳听为虚，眼见为实，我们用 !tp 观察下当前的CPU情况。


0:000> !tp
CPU utilization: 100%
Worker Thread: Total: 16 Running: 2 Idle: 14 MaxLimit: 32767 MinLimit: 2
Work Request in Queue: 0
--------------------------------------
Number of Timers: 2
--------------------------------------
Completion Port Thread:Total: 2 Free: 2 MaxFree: 4 CurrentLimit: 2 MaxLimit: 1000 MinLimit: 2

果不其然，CPU直接打满，接下来就是看看当前有几个CPU逻辑核，这么不够扛。。。


0:000> !cpuid
CP  F/M/S  Manufacturer     MHz
 0  6,106,6     2700
 1  6,106,6     2700

我去，一个生产环境居然只有两个核。。。果然这大环境下公司活着都不够滋润。

2. 到底是谁引发的

既然是阶段性爆高，最简单粗暴的就是看下各个线程栈，使用 ~*e !clrstack 命令即可，因为只有两核，所以理论上两个线程就可以把 CPU 干趴下，扫了一下线程栈，果然有对号入座的，输出信息如下：


0:000> ~*e !clrstack 
OS Thread Id: 0x146c (42)
        Child SP               IP Call Site
00000089abcfca18 00007ffc4baffdb4 [InlinedCallFrame: 00000089abcfca18] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089abcfca18 00007ffbdd4a7a48 [InlinedCallFrame: 00000089abcfca18] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089abcfc9f0 00007ffbdd4a7a48 DomainNeutralILStubClass.IL_STUB_PInvoke(System.Runtime.InteropServices.HandleRef)
00000089abcfcaa0 00007ffbdd52ad0a System.Drawing.SafeNativeMethods+Gdip.GdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089abcfcae0 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)
00000089abcfcb30 00007ffbdd556b5a System.Drawing.Image.Dispose()
00000089abcfcb60 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089abcfcc00 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089abcfcd30 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)
00000089abcfcdc0 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)
...

OS Thread Id: 0x1c8c (46)
        Child SP               IP Call Site
00000089ad43dba8 00007ffc4baffdb4 [InlinedCallFrame: 00000089ad43dba8] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089ad43dba8 00007ffbdd4a7a48 [InlinedCallFrame: 00000089ad43dba8] System.Drawing.SafeNativeMethods+Gdip.IntGdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089ad43db80 00007ffbdd4a7a48 DomainNeutralILStubClass.IL_STUB_PInvoke(System.Runtime.InteropServices.HandleRef)
00000089ad43dc30 00007ffbdd52ad0a System.Drawing.SafeNativeMethods+Gdip.GdipDisposeImage(System.Runtime.InteropServices.HandleRef)
00000089ad43dc70 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)
00000089ad43dcc0 00007ffbdd556b5a System.Drawing.Image.Dispose()
00000089ad43dcf0 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089ad43dd90 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089ad43dec0 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)
00000089ad43df50 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)
...
00000089ad43e460 00007ffbe115b193 System.Web.Mvc.ControllerActionInvoker.InvokeActionMethod(System.Web.Mvc.ControllerContext, System.Web.Mvc.ActionDescriptor, System.Collections.Generic.IDictionary`2)
...
00000089abcfd310 00007ffbe115b147 System.Web.Mvc.Async.AsyncControllerActionInvoker+c.b__9_0(System.IAsyncResult, ActionInvocation)
...

有些朋友要问了，你是怎么确定就是这两个线程呢？其实有两个方法可以验证。

使用 !whttp 看http请求

既然是 web 请求，自然就可以拿到里面的 HttpContext，这里面记录着当前请求的运行时间，这个信息非常重要，截图如下：

从图中可以看到，有两个 xxxx/Export 请求运行时间非常高，一个是 4min30s ，一个是 50s ，刚好落在了 42 和 46 号线程上。

借助第二个 dump 文件

这就是为什么要抓二个dump的原因了，因为另一个dump会给我们相当有价值的对比信息，同样使用 !whttp 验证。

接下来我们就要调研为什么这两个线程会运行这么久？

3. 为什么会运行这么久

既然是 Export 导出文件，第一时间就应该想到是不是和数据量有关？通过线程栈上的方法，发现是一个List 集合，接下来用 !dso 命令找出来看看。


0:042> !dso
OS Thread Id: 0x146c (42)
RSP/REG          Object           Name
00000089ABCFCAC8 0000020683b7c128 System.Drawing.Bitmap
00000089ABCFCAF8 0000020683b7c158 System.Drawing.Graphics
00000089ABCFCB10 0000020683b7c128 System.Drawing.Bitmap
00000089ABCFCB30 0000020683b7c128 System.Drawing.Bitmap
00000089ABCFCB40 0000020683b7c4d0 NPOI.XSSF.UserModel.XSSFCellStyle
00000089ABCFCB50 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString
00000089ABCFCB68 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString
00000089ABCFCBC0 0000020683b7c198 NPOI.XSSF.UserModel.XSSFRichTextString
00000089ABCFCBC8 0000020683b7c2e8 System.String[]
00000089ABCFCBD0 0000020683b7c360 System.Drawing.Font
00000089ABCFCDE8 0000020666501240 System.Collections.Generic.List`1[[System.Collections.Generic.List`1[[System.Object, mscorlib]], mscorlib]]
...

0:042> !do 0000020666501240
Name:        System.Collections.Generic.List`1[[System.Collections.Generic.List`1[[System.Object, mscorlib]], mscorlib]]
MethodTable: 00007ffbde342440
EEClass:     00007ffc36fc2af8
Size:        40(0x28) bytes
File:        C:\Windows\Microsoft.Net\assembly\GAC_64\mscorlib\v4.0_4.0.0.0__b77a5c561934e089\mscorlib.dll
Fields:
              MT    Field   Offset                 Type VT     Attr            Value Name
00007ffc36e4e250  40018a0        8     System.__Canon[]  0 instance 00000207658592d8 _items
00007ffc36e385a0  40018a1       18         System.Int32  1 instance            44906 _size
00007ffc36e385a0  40018a2       1c         System.Int32  1 instance            44906 _version
00007ffc36e35dd8  40018a3       10        System.Object  0 instance 0000000000000000 _syncRoot
00007ffc36e4e250  40018a4        0     System.__Canon[]  0   shared           static _emptyArray
                                 >> Domain:Value dynamic statics NYI 0000020563eec3c0:NotInit dynamic statics NYI 0000020795f5b9a0:NotInit  <<

可以清楚的看到，这个list高达 4.5w，这个量级说多也不多，说少也不少，言外之意就是代码写的也不好不到哪里去。

4. 用户代码要承担责任吗

要判断用户代码是不是很烂，除了白盒看代码，也可以黑盒观察这几个线程栈，可以发现两个dump 显示的栈信息都和 AutoSizeColumn 方法有关。


00000089abcfcae0 00007ffbdd52ac3f System.Drawing.Image.Dispose(Boolean)
00000089abcfcb30 00007ffbdd556b5a System.Drawing.Image.Dispose()
00000089abcfcb60 00007ffbe39397c7 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089abcfcc00 00007ffbe3939654 NPOI.SS.Util.SheetUtil.GetCellWidth(NPOI.SS.UserModel.ICell, Int32, NPOI.SS.UserModel.DataFormatter, Boolean)
00000089abcfcd30 00007ffbe39382e1 NPOI.SS.Util.SheetUtil.GetColumnWidth(NPOI.SS.UserModel.ISheet, Int32, Boolean)
00000089abcfcdc0 00007ffbe39380bc NPOI.XSSF.UserModel.XSSFSheet.AutoSizeColumn(Int32, Boolean)

从名字看是 NOPI 提供的自动调整列宽 的方法，那是不是这个方法的单次性能很慢呢？要寻找答案，只能求助百度啦。。。

图一
图二

到这里我们基本就搞清楚了，导致 reqeust 高达 5min + 的诱因大概有三个。

数据量大
AutoSizeColumn 速度慢
代码上的其他因素

跟朋友沟通后，朋友说这块请求中的 AutoSizeColumn 方法忘了改掉。

三：总结

这个 Dump 分析起来其实非常简单，思路也比较明朗，重点还是提醒一下大家慎用 NPOI 的 AutoSizeColumn 方法，弄不好就得出个生产事故！

文章题目：记一次某制造业ERP系统 CPU打爆事故分析
分享URL：http://www.cdkjz.cn/article/dsoidgd.html

返回首页了解更多建站资讯

多年建站经验

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

咨询相关问题或预约面谈，可以通过以下方式与我们联系

大客户专线成都：13518219792 座机：028-86922220

在线咨询提交需求

友情链接交换友情链接

温江做网站子晨包装营销型网站建设简阳做网站成都网站设计公司内江网站建设成都塑料加工软文推广公司网站推广成都门窗定制

成都网站建设公司地址：成都市青羊区太升南路288号锦天国际A座10层建设咨询028-86922220

专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网！ | 成都网站建设哪家好？ | 网站建设地图

网站建设

网站推广

案例

方案

电商网站开发

微信小程序

我们

联系

精准传达 • 有效沟通

查看其它板块

记一次某制造业ERP系统 CPU打爆事故分析

一：背景

1.讲故事

二：WinDbg 分析

1. CPU 真的爆高吗

2. 到底是谁引发的

3. 为什么会运行这么久

4. 用户代码要承担责任吗

三：总结

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

大客户专线成都：13518219792 座机：028-86922220

友情链接交换友情链接

网络推广

Network promotion

网站方案

Solution

电商网站开发

E-commerce & System

我们

About Us

联系

Contact Us

精准传达 • 有效沟通

查看其它板块

记一次某制造业ERP系统 CPU打爆事故分析

一：背景

1.讲故事

二：WinDbg 分析

1. CPU 真的爆高吗

2. 到底是谁引发的

3. 为什么会运行这么久

4. 用户代码要承担责任吗

三：总结

相关资讯

linux命令ipcs linux命令ipconfig用不了

怎么获取阿里云服务器ip地址 调取阿里云服务器数据

java代码pmd实例 java代码详解

在阿里云服务器上安装kali 阿里云服务器安装tomcat

怎么核查域名信息呢 怎么查询域名信息

帝国cms地图 帝国cms城市分站

腾讯融媒体云服务器 腾讯云服务器百度百科

腾讯云服务器1m3年 腾讯云600三年服务器

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

大客户专线 成都：13518219792 座机：028-86922220

友情链接 交换友情链接

怎么获取阿里云服务器ip地址调取阿里云服务器数据

怎么核查域名信息呢怎么查询域名信息

帝国cms地图帝国cms城市分站

腾讯融媒体云服务器腾讯云服务器百度百科

腾讯云服务器1m3年腾讯云600三年服务器

大客户专线成都：13518219792 座机：028-86922220

友情链接交换友情链接