https://www.inside.com.tw/2018/04/18/deep-learning-and-ar-microscope
用 AR 顯微鏡「圈出」腫瘤！Google 發表 AI 深度學習新平台
2018/4/18 【合作媒體】雷鋒網
本文由 雷鋒網 譯自 Google Blog，作者為 Google 大腦團隊產品經理 Craig Mermel
和技術主管 Martin Stumpe，INSIDE 獲授權轉載。
深度學習技術近來在眼科、皮膚科、放射科和病理科等醫學學科領域展現出了極大的應用
前景，它可以幫助為世界各地的患者提供更加精準、可用的高品質醫療服務。Google 近
期也發佈了一項研究成果，該成果顯示，卷積神經網路檢測淋巴結中的乳腺癌轉移的準確
率，可以媲美一名訓練有素的病理學家。然而，目前為止，用複合光學顯微鏡直接觀察組
織仍然是病理學家診斷疾病的主要手段，如何將微觀組織進行數位化展示成了深度學習技
術在病理學科大規模應用的關鍵挑戰。
今天，在美國癌症研究協會年會（AACR）的一個演講中，團隊透過一篇題為《擴增實境（
AR）顯微鏡即時自動檢測癌症（正在審查）》的論文，介紹了一款擴增實境顯微鏡
(ARM) 的平台原型，團隊相信這款產品可以幫助加速深度學習技術在全球病理學領域的
推廣應用。
該平台由一個經過改良的光學顯微鏡組成，能夠對圖像進行即時分析並直接在用戶的視野
中顯示機器學習演算法的分析結果。
值得一提的是，只需使用低成本的、現成的元件，就可以將這款擴增實境顯微鏡改造成世
界各地醫院和診所中常見的普通光學顯微鏡，而且無需對數位系統進行全面升級就能進行
組織分析。
現代計算組件和深度學習模型——比如在 TensorFlow 平台上構建的模型，使得這個擴增
實境顯微鏡平台能夠執行大量的預訓練模型。和使用傳統顯微鏡的方法一樣，用戶透過目
鏡觀察樣品，機器學習演算法輸出的結果將即時投射到光路中，疊加在樣本的原始圖像之
上，幫助觀察者快速定位和量化感興趣的特徵。而且，平台的計算和視覺回饋非常迅速—
—目前速度已經達到了 10 幀/秒，這意味著當用戶移動組織或放大倍數做進一步觀察時
，可以獲得流暢、無縫的視覺體驗。
理論上，擴增實境顯微鏡可以提供各式各樣的視覺回饋，包括文本、箭頭、輪廓、熱圖和
動畫，而且可以運行多種類型的機器學習演算法以應對不同的任務，比如目標檢測、量化
和分類等。
為了示範擴增實境顯微鏡的功能，團隊讓其運行兩種不同的癌症檢測演算法：一種用於檢
測淋巴結標本中的乳腺癌轉移，另一種用於檢測前列腺切除術標本中的前列腺癌。這些演
算法可以在 4-40x 的放大倍數下運行，並用綠色輪廓勾畫出檢測到
▲左圖：擴增實境顯微鏡的原理概述。一台數位相機捕捉到與用戶相同的視場 (FoV)，然
後將圖像傳送給一個附加的計算單元，該單元能夠運行即時推理的機器學習模型。隨後推
理結果被回饋到一個特製的 AR 螢幕，該顯示螢幕與目鏡內聯，並將模型輸出的結果與標
本顯示在同一平面上。右圖：該圖展示了平台原型被改造成典型臨床級光學顯微鏡後的樣
子。Photo credit: Google Brain
腫瘤的區域。這些輪廓可以幫助病理學家注意到感興趣的區域，而不至於遺漏外觀模糊的
腫瘤細胞。
透過擴增實境顯微鏡觀察到的視圖。這些圖像展示了 4x、10x、20x 和 40x 放大倍數下
的淋巴結標本。Photo credit: Google Brain
雖然這兩個癌症檢測模型並非用擴增實境顯微鏡直接捕獲的圖像進行訓練，但它們表現非
常出色，無需額外的訓練。團隊相信，假如直接用擴增實境顯微鏡獲取的圖像做進一步訓
練，這些演算法的表現還將繼續提升。
他們最初都是用來自一種光學結構完全不同的完整標本掃描儀的圖像訓練，但在擴增實境
顯微鏡平台上的表現一樣非常出色，無需額外的再訓練。例如，淋巴結轉移檢測模型在擴
增實境顯微鏡上運行時曲線面積達到了 0.98，前列腺癌檢測模型的曲線面積達到了 0.96
，僅略低於 WSI 上得到的結果。
團隊相信，這款擴增實境顯微鏡將為全球衛生事業產生重大影響，尤其是在發展中國家的
傳染病診斷方面——包括結核病和瘧疾等。此外，在即將採用數位病理工作流程的醫院，
擴增實境顯微鏡也可以與數位工作流程結合使用。光學顯微鏡已經在很多產業已經證明其
價值，但在病理學領域作用有限。團隊相信擴增實境顯微鏡可以應用於醫療、生命科學研
究和材料科學等眾多領域。他們很高興能繼續探索這款擴增實境顯微鏡，幫助加速機器學
習技術在世界各地產生積極影響。