Re: [問題] offheap的記憶體怎麼分析比較好

作者: qrtt1 (有些事,有時候。。。)   2018-02-12 13:08:59
======================================================================== 引文
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 126.236.33.110
※ 文章網址: https://www.ptt.cc/bbs/java/M.1518253506.A.2C4.html
推 zephyrhymn: 你說的好用的工具是指檢測工具?02/11 23:38
→ zephyrhymn: 如果是改善memory leak的話,就只能從程式邏輯和行為02/11 23:39
→ zephyrhymn: 來解決了。02/11 23:39
推 zephyrhymn: 你給的資訊很籠統,可以的話希望再明確些,謝謝。02/11 23:43
因為引發這段問題的code來自open source的使用
情境是這樣的
我的客戶用apache spark streaming去kafka收資料
他做了dataframe物件的某些操作的時候會發生memory leak
想要找的是檢測工具
想看看那些leak的部分的內容 想說從字符串能不能看出是那些物件被操作了造成的issue
之前有想過用gdb 不過這東西怎麼用還在研究
現在傾向把這問題直接回報給apache jira就是了
※ 編輯: del680202 (114.137.115.125), 02/12/2018 00:36:01
推 zephyrhymn: 最近在玩kafka不過是在AWS上就是了,使用的是AWS的02/12 09:14
→ zephyrhymn: CloudWatch,可能幫不上你的忙就是了... 02/12 09:14
我們家是on-premise. aws沒辦法用就是
還是先謝了
※ 編輯: del680202 (223.139.70.24), 02/12/2018 09:55:38
======================================================================== 引文^
單純 native 部分,有試過 valgrind 嗎?
http://valgrind.org/docs/manual/faq.html
另外,你的重要資訊沒有儘可能揭露清楚:
1. 可疑的 open source library 名稱,
都 open source project 了這講出來應該沒問題
2. 同樣的問題,有沒有人發生?
3. 自己用官網的範例,能不能 reproduce 出一樣的問題
3.1 若能,那是範例沒有適當的 close 資源嗎?
3.2 若不能,專案內的用法,跟官網的差別是什麼
... 繼續思考是否有 race condition 問題
... client(library) 與 server 與 jvm 是否為文件說明的相容性搭配
... 繼續假設其它問題 ...
雖然目前工作上的問題是你的痛點,
但版友沒有跟你一樣的 context,所以我們只在意使用 pattern 是否合理
你得描述你的使用情境,最好能做到給一個 dockerfile 就能 reproduce
才有機會逼近問題的真相
作者: zephyrhymn   2017-02-11 23:38:00
你說的好用的工具是指檢測工具?如果是改善memory leak的話,就只能從程式邏輯和行為來解決了。你給的資訊很籠統,可以的話希望再明確些,謝謝。最近在玩kafka不過是在AWS上就是了,使用的是AWS的CloudWatch,可能幫不上你的忙就是了...

Links booklink

Contact Us: admin [ a t ] ucptt.com