借題發揮一下XD 也順便簡介一下AI在醫療臨床可以的應用(純個人經驗)
也希望臥虎藏龍的板上可以提供建議或是討論(OwO)
小弟廢廢病理科R1 手上跟AI有關的主題有3-4個
也參與系統開發和優化 在邊做邊學中
使用語言主要是R 因為R的作圖和視覺化功能強大
再加上向量分析運算的效率可以跟C媲美 也是我最熟悉的語言XD
但是因為某些AI model建立或是為了底層運算提速
在某些地方程式碼會改成python或C
使用的backend是tensorflow 或是直接用keras完成 端看model需要
自己的參考書目如下：
http://imgur.com/a/69zaalu
==================================================================
目前處理過的資料大至可以分成兩類 圖像和文字
1.圖像分析
在圖像分析中可以再細分成兩個領域 圖像處理和AI模型
a.圖像處理指單純透過色塊的filter 透明度調整 對比調整
顏色深淺調整等等像是photoshop圖片處理的功能
將圖片有意義的部分萃取出 甚至是分類
b.AI模型大部份指的是CNN的模型 有training和validation
當然還包括其他像是SVM, K-means clustering等等的分析或分類
畢竟machine learining不是只有deep learning的神經網絡而已
小弟目前做過或是正在做的主題有的主題有
a.acid fast stain找出TB的位置
(single object detection)
此主題已接近完成 剩下只是模組持續的優化和好的介面系統而已
利用初步影像處理把紅色物體挑出
再利用自己設計的CNN model 把是TB的部分identify出來
b.H&E染色中 辨認出tumor的位置 並且計算mitosis在tumor中的比例
(combine U-net and single object detection)
此部分目前以GIST還有其他soft tissue tumor為處理大宗
正在case蒐集還有自己胸口碎大石一個一個標記腫瘤位置
細胞核位置 還有mitosis的地方 XDD
因為特徵相對明顯 所以可以在初步標完一部分之後
就可以先train一個比較廢的model 讓他做screen和pre-label
我再去調整結果 再丟回去train 效率會快很多 XDD
c.Synaptophycin-Ki67 double stain分析出tumor cell實際染上ki的比例
(pure image processing)
此主題也接近完成 以NET或NEC的處理為大宗
利用單純的圖像處理
用紅色filter把double stain中tumor的位置標出
再透過藍色和褐色的filter把細胞核的位置標出 (配合大小來篩選出真正的細胞核)
最後計算tumor中實際有染上Ki67的比例
此部分之後有會朝向AI分析方式轉變
因為有些細胞核或是Ki67染色在pure image processing會出現問題
AI model是可以隨著資料量增加而慢慢進步的
所以會開始像b.一樣慢慢自己annotation再丟進去training
d.腎臟biopsy中 辨認出絲球和動脈的位置以及之後的分析
(combine U-net and multiclass classification)
目前在設計annotation system
讓我或是其他使用者可以在玻片viewer中標記出絲球和動脈
之後訓練方式類似b. 只不過分類上改成multiclass classification的輸出
2.文字分析
小弟文字分析參予的不多 目前只有兩個小專題在自己玩而已XD
a.cytology報告和surgical報告的匹配程度
(text classification, word embeded-LSTM-1DCNN model)
病人來醫院健檢有許多項目是cytology的
如果有問題之後可能會再開刀 所以會有另一個surgical的報告
此處主要是蒐集病人的cytology報告和surgical最終結果
判斷cytology當下是unrelated, under diagnosis, overdiagnosis 或是 match
例如cytology HSIL而surgical下來是LSIL 就是overdiagnosis
或是cytology carcinoma而surgical開下來是adenocarcinoma就是 match
如果cytology cervix HSIL而surgical是口腔 severe displasia 就是 unrelated
採用bidirectional LSTM和 1DCNN 嵌合的自設model完成
目前accuracy大概在95% 還在調整model看會不會有更好的performace中
b.乳癌文字報告轉變成格式化的form
(named entity recognition, word embeded-LSTM-(1DCNN)-CRS model)
乳癌文字報告中 透過NLP方式 把有臨床意義的內容結取出來
例如:ER,PR,Her2強弱 百分比; cancer histology type; size;
margin condition; leagth near margin;
tumor-infiltrating lymphocytes (TIL) 比例等等
把各種文字報告經過NLP處理之後 一個一個標註其位置.... <