使用dotnet-dump 查找 .net core 3.0 占用CPU 100%的原因解析

 更新時間:2019-09-08 20:01:22   作者:佚名   我要評論(0)

公司的產品一直緊跟 .net core 3.0 preview 不斷升級, 部署到 Linux 服務器后, 偶爾會出現某個進程CPU占用100%.

  由于服務部署在云上, 不能使用遠程調試

公司的產品一直緊跟 .net core 3.0 preview 不斷升級, 部署到 Linux 服務器后, 偶爾會出現某個進程CPU占用100%.
  由于服務部署在云上, 不能使用遠程調試; 在局域網內的Linux 服務器 或 Windows開發機上又不能重現這個問題, 聯想到Java的jstack, 很是羨慕啊. 想到.net core 已經出來這么久了, 還是試著找找看吧, 結果還真找到一篇博客Introducing diagnostics improvements in .NET Core 3.0

  這篇文章介紹了3個工具

•dotnet-counters: 實時統計runtime的狀況, 包括 CPU、內存、GC、異常等
•dotnet-trace: 類似性能探測器
•dotnet-dump: 程序崩潰時使用該工具

  這次使用的是dotnet-dump, 即使程序沒有崩潰, 也可以dump程序快照, 用于分析

實驗環境

ubuntu-16.04.5-desktop-amd64
SDK 3.0.100-preview6-012264

1. 新建一個簡單Console程序(只能是 .net core 3.0的程序, 不支持 .net core 2.2), 模擬CPU占用100%的情況

mkdir NetCoreDumpTest && cd NetCoreDumpTest
dotnet new console

編輯Program.cs

namespace NetCoreDumpTest
{
 using System;
 using System.Threading.Tasks;
 class Program
 {
  static void Main(string[] args)
  {
   Task.Factory.StartNew(() => PrintNumber("Print", 5));
   Console.WriteLine("Press any key to exit.");
   Console.ReadKey();
  }
  static void PrintNumber(string message, int startNumber)
  {
   var number = startNumber;
   while (true)
    Console.WriteLine($"{message} {number++}");
  }
 }
}

2. 安裝dotnet-dump

dotnet tool install --global dotnet-dump --version 1.0.4-preview6.19311.1

提示

If you are using bash, you can add it to your profile by running the following command:
cat << \EOF >> ~/.bash_profile
# Add .NET Core SDK tools
export PATH="$PATH:/home/****/.dotnet/tools"
EOF
You can add it to the current session by running the following command:
export PATH="$PATH:/home/****/.dotnet/tools"
You can invoke the tool using the following command: dotnet-dump
Tool 'dotnet-dump' (version '1.0.4-preview6.19311.1') was successfully installed.

建議將 $HOME/.dotnet/tools加入到PATH, 好吧, 照著做吧, 記得使用下面的命令使設置立即生效

source ~/.bash_profile

3. 使用 dotnet NetCoreDumpTest.dll 啟動我們的問題程序, 然后使用  ps -ef | grep dotnet  查看程序的進程ID, 可以看到進程ID是 3411

ps -ef | grep dotnet
z*****e  3411 1464 22 07:51 pts/8 00:00:59 dotnet NetCoreDumpTest.dll
z*****e  3431 2935 0 07:55 pts/9 00:00:00 grep --color=auto dotnet

針對進程3411, 我們還需要知道是哪個線程占CPU, 使用 top -Hp 3411 可以列出所有線程, 由于top每隔3秒刷新一次, 所以可能需要多觀察幾秒才能看到具體是哪個線程占用CPU比較高, 這里我們可以看到是PID=3418的線程(Linux的進程ID和線程ID請自行了解一下).

top -Hp 3411
 PID USER  PR NI VIRT RES SHR S %CPU %MEM  TIME+ COMMAND
 3418 z*****e 20 0 2997700 29060 22400 R 10.3 1.4 0:20.68 dotnet
 3411 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.11 dotnet
 3412 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.02 dotnet
 3413 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.00 dotnet
 3414 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.00 dotnet
 3415 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.01 dotnet
 3416 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.00 dotnet
 3417 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.00 dotnet
 3421 z*****e 20 0 2997700 29060 22400 S 0.0 1.4 0:00.00 dotnet

獲取dump, 只能正對進程進行dump, 所以我們輸入的是 3411

dotnet-dump collect -p 3411
Writing minidump with heap to /tmp/core_20190623_075649
Complete

4. 分析

dotnet-dump analyze core_20190623_075649

使用clrthreads 查看所有線程

>clrthreads
ThreadCount:      4
UnstartedThread:  0
BackgroundThread: 3
PendingThread:    0
DeadThread:       0
Hosted Runtime:   no
                                                                                                        Lock
 DBG   ID OSID ThreadOBJ           State GC Mode     GC Alloc Context                  Domain           Count Apt Exception
   0    1  d53 0000000001307D80    20020 Preemptive  0000000000000000:0000000000000000 0000000001306450 1     Ukn
   4    2  d57 000000000135BBD0    21220 Preemptive  0000000000000000:0000000000000000 0000000001306450 0     Ukn (Finalizer)
   6    3  d59 00007F666C0009F0  1020220 Preemptive  0000000000000000:0000000000000000 0000000001306450 0     Ukn (Threadpool Worker)
   7    4  d5a 000000000130DA40  1021220 Preemptive  00007F6678106860:00007F6678106F20 0000000001306450 1     Ukn (Threadpool Worker)

我們關心的線程3418的16進制是d5a, 也就是最后一行, 它的DBG是7, 我們需要使用 setthread 7, 將其設置為  當前操作的線程

然后使用 clrstack 獲取線程調用信息

> setthread 7
> clrstack
OS Thread Id: 0xd5a (7)
  Child SP    IP Call Site
00007F6715561558 00007f671a2bd4bd [InlinedCallFrame: 00007f6715561558] Interop+Sys.Write(System.Runtime.InteropServices.SafeHandle, Byte*, Int32)
00007F6715561558 00007f669f669a9e [InlinedCallFrame: 00007f6715561558] Interop+Sys.Write(System.Runtime.InteropServices.SafeHandle, Byte*, Int32)
00007F6715561540 00007F669F669A9E ILStubClass.IL_STUB_PInvoke
00007F67155615E0 00007F669F67333E System.ConsolePal.Write(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte*, Int32, Boolean)
00007F67155616A0 00007F669F67360C System.ConsolePal.Write(Microsoft.Win32.SafeHandles.SafeFileHandle, Byte[], Int32, Int32, Boolean) [/_/src/System.Console/src/System/ConsolePal.Unix.cs @ 1236]
00007F67155616C0 00007F669F672B2A System.IO.StreamWriter.Flush(Boolean, Boolean) [/_/src/System.Private.CoreLib/shared/System/IO/StreamWriter.cs @ 261]
00007F6715561710 00007F669F6729F3 System.IO.StreamWriter.WriteLine(System.String) [/_/src/System.Private.CoreLib/shared/System/IO/StreamWriter.cs @ 474]
00007F6715561760 00007F669F6727D3 System.IO.TextWriter+SyncTextWriter.WriteLine(System.String) [/_/src/System.Private.CoreLib/shared/System/IO/TextWriter.cs @ 891]
00007F67155617A0 00007F669F672770 System.Console.WriteLine(System.String) [/_/src/System.Console/src/System/Console.cs @ 550]
00007F67155617C0 00007F669F663791 NetCoreDumpTest.Program.PrintNumber(System.String, Int32) [/home/zhouke/NetCoreDumpTest/Program.cs @ 18]
00007F6715561800 00007F669F6636D9 NetCoreDumpTest.Program+<>c.<Main>b__0_0()
00007F6715561820 00007F669F1872A1 System.Threading.Tasks.Task.InnerInvoke() [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2466]
00007F6715561840 00007F669F18CBC2 System.Threading.Tasks.Task+<>c.<.cctor>b__274_0(System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2445]
00007F6715561850 00007F669F171AF2 System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(System.Threading.Thread, System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [/_/src/System.Private.CoreLib/shared/System/Threading/ExecutionContext.cs @ 289]
00007F6715561890 00007F669F187111 System.Threading.Tasks.Task.ExecuteWithThreadLocal(System.Threading.Tasks.Task ByRef, System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2406]
00007F6715561910 00007F669F186F28 System.Threading.Tasks.Task.ExecuteEntryUnsafe(System.Threading.Thread) [/_/src/System.Private.CoreLib/shared/System/Threading/Tasks/Task.cs @ 2344]
00007F6715561930 00007F669F186EBB System.Threading.Tasks.Task.ExecuteFromThreadPool(System.Threading.Thread)
00007F6715561940 00007F669F17B754 System.Threading.ThreadPoolWorkQueue.Dispatch() [/_/src/System.Private.CoreLib/shared/System/Threading/ThreadPool.cs @ 663]
00007F67155619C0 00007F669F169A5B System.Threading._ThreadPoolWaitCallback.PerformWaitCallback() [/_/src/System.Private.CoreLib/src/System/Threading/ThreadPool.CoreCLR.cs @ 29]
00007F6715561D50 00007f6718a1ccaf [DebuggerU2MCatchHandlerFrame: 00007f6715561d50]

 嘩啦啦一大片, 有點Java調用堆棧的味道, 不過我們還是找到了我們的問題代碼

NetCoreDumpTest.Program.PrintNumber(System.String, Int32)

有時候我們想知道傳入的什么參數導致CPU占用高, 可以給clrstack加上參數 -a

> clrstack -a
..............
00007F0DD6FFC7C0 00007F0D6EEF3791 NetCoreDumpTest.Program.PrintNumber(System.String, Int32) [/home/zhouke/NetCoreDumpTest/Program.cs @ 18]
  PARAMETERS:
    message (0x00007F0DD6FFC7E8) = 0x00007f0d4800b8b0
    startNumber (0x00007F0DD6FFC7E4) = 0x0000000000000005
  LOCALS:
    0x00007F0DD6FFC7E0 = 0x000000000014e42b
    0x00007F0DD6FFC7DC = 0x0000000000000001
...............

可以看到PARAMETERS里, startNumber作為值類型, 可以直接看到數值為5, 而message是引用類型, 指向0x00007f0d4800b8b0, 這時候需要用到 dumpobj 命令

> dumpobj 0x00007f0d4800b8b0
Name:    System.String
MethodTable: 00007f0d6ef70f90
EEClass:   00007f0d6eede1c0
Size:    32(0x20) bytes
File:    /home/zhouke/dotnet/shared/Microsoft.NETCore.App/3.0.0-preview6-27804-01/System.Private.CoreLib.dll
String:   Print
Fields:
       MT  Field  Offset         Type VT   Attr      Value Name
00007f0d6ef6a138 400022b    8     System.Int32 1 instance        5 _stringLength
00007f0d6ef66f38 400022c    c     System.Char 1 instance        50 _firstChar
00007f0d6ef70f90 400022d   108    System.String 0  static 00007f0d47fff360 Empty

好了, 可以看到它是一個字符串, 內容為 "Print"

假如message是一個復雜類型, 可以查看Fields下面的信息進一步查看

clrstack 還有一個實驗性質的參數 -i, 協助查看各種變量信息, 需要用到lldb, 按照官方教程, 我暫時沒有實驗成功.

查看進程ID和線程ID, 更方便的方法是 htop(需要安裝), 然后按 F4 進行過濾, 輸入dotnet 即可

這張圖是重新運行問題程序的結果, 進程ID和線程ID與前面不一樣

第二行白色的是進程ID=1650, 第一行CPU占用高, 是問題線程ID=1658

總結

以上所述是小編給大家介紹的使用dotnet-dump 查找 .net core 3.0 占用CPU 100%的原因解析,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!
如果你覺得本文對你有幫助,歡迎轉載,煩請注明出處,謝謝!

相關文章

  • 使用dotnet-dump 查找 .net core 3.0 占用CPU 100%的原因解析

    使用dotnet-dump 查找 .net core 3.0 占用CPU 100%的原因解析

    公司的產品一直緊跟 .net core 3.0 preview 不斷升級, 部署到 Linux 服務器后, 偶爾會出現某個進程CPU占用100%.   由于服務部署在云上, 不能使用遠程調試
    2019-09-08
  • .NET Core 3.0中WPF使用IOC的圖文教程

    .NET Core 3.0中WPF使用IOC的圖文教程

    前言 我們都知道.NET Core 3.0已經發布了第六個預覽版,我們也知道.NET Core 3.0現在已經支持創建WPF項目了,剛好今天在寫一個代碼生成器的客戶端的時候用到了
    2019-09-08
  • .Net微信網頁開發解決用戶在不同公眾號或在公眾號、移動應用之間帳號統一問題

    .Net微信網頁開發解決用戶在不同公眾號或在公眾號、移動應用之間帳號統一問題

    開發背景: 最近一段時間一直在做關于微信方面的網站應用開發,這段時間也收獲的不少關于微信開發方面的開發技能,接觸的比較多的主要有微信公眾號和微信網站
    2019-09-08
  • 很實用的NLog配置分享

    很實用的NLog配置分享

    前言 NLog是一個基于.NET平臺編寫的類庫,我們可以使用NLog在應用程序中添加極為完善的跟蹤調試代碼。本文主要介紹的是關于NLog配置的相關內容,下面話不多說
    2019-09-08
  • ASP.NET Core MVC學習教程之路由(Routing)

    ASP.NET Core MVC學習教程之路由(Routing)

    前言 ASP.NET Core MVC 路由是建立在ASP.NET Core 路由的,一項強大的URL映射組件,它可以構建具有理解和搜索網址的應用程序。這使得我們可以自定義應用程序的
    2019-09-08
  • 使用.NET Core實現餓了嗎拆紅包功能

    使用.NET Core實現餓了嗎拆紅包功能

    需求說明 以前很討厭點外賣的我,最近中午經常點外賣,因為確實很方便,提前點好餐,算準時間,就可以在下班的時候吃上飯,然后省下的那些時間就可以在中午的
    2019-09-08
  • ASP.NET Core實現自定義WebApi模型驗證詳解

    ASP.NET Core實現自定義WebApi模型驗證詳解

    Framework時代   在Framework時代,我們一般進行參數驗證的時候,以下代碼是非常常見的 [HttpPost] public async Task<JsonResult> SaveNewCustomer
    2019-09-08
  • 如何給asp.net core寫個中間件記錄接口耗時

    如何給asp.net core寫個中間件記錄接口耗時

    Intro 寫接口的難免會遇到別人說接口比較慢,到底慢多少,一個接口服務器處理究竟花了多長時間,如果能有具體的數字來記錄每個接口耗時多少,別人再說接口
    2019-09-08
  • ASP.NET Core 中的模型綁定操作詳解

    ASP.NET Core 中的模型綁定操作詳解

    ASP.Net Core的模型綁定是一個非常有用的功能。一般我們控制器處理Http請求的數據,是通過路由數據提供一個記錄鍵,然后發布的表單域為模型提供一個值,這個過
    2019-09-08
  • Linux服務器下利用Docker部署.net Core項目的全過程

    Linux服務器下利用Docker部署.net Core項目的全過程

    發布ASP.NET Core項目 和普通的項目發布一樣,將項目發布到目標文件夾中 構建Dockerfile文件 在目標文件根目錄新建Dockerfile文件(沒有后綴) FROM
    2019-09-08

最新評論

双色球基本走势图200