SEMI：AI人工智慧和未來新興運算架構
新聞來源：https://bit.ly/2XyxjRu
本文：
隨著深度學習的數據運算需求，AI人工智慧晶片呈現倍數成長，然而「效能」與「能耗」
卻成為晶片工藝亟需解決的兩項問題。為此，全球 IC 設計企業轉向系統級層面的解決方
案，衍生出 GPU、FPGA及ASIC等異質運算架構。
人工智慧架構從建構到應用可以分為兩層，分別是後端的「訓練（Training）」與前端的
「推導（Inference）」。訓練是指將複雜的圖形、影像或是語音數據輸入到深度學習模
型，重複運算與修正以提高演算法準確度，最後產出可用的類神經網路軟體；後者是將已
經訓練好的類神經網路軟體放入終端裝置，用以推導新的數據，實現生活中的人工智慧應
用，例如自動駕駛、語音識別、圖像辨識及影像處理等等功能。
為了洞察未來 AI 晶片的產業趨勢， SEMI國際半導體產業協會日前所舉辦的「智慧數據
產業論壇」邀請到來自聯發科（MediaTek）、英特爾（Intel）、輝達（NVIDIA）、新思
科技（Synopsys）的技術專家出席進行專題分享，從業界的角度探討 AI 晶片產業的發展
現況。以下，精彩內容：
<<邊緣運算（Edge Computing）是智慧應用的發展關鍵>>
倘若，執行 AI 運算的設備並不在雲端伺服器，而是在效能有限的終端裝置，使得「邊緣
運算」成為企業在發展人工智慧應用中必須解決的難題。
聯發科（MediaTek）的吳驊處長
認為邊緣運算對於人工智慧產業越來越重要，例如手機上的系統晶片、具備人臉辨識功能
的攝影機等等，AI 應用都仰賴終端設備的晶片進行運算。但邊緣運算的硬體卻有體積與
耗能上的嚴格限制，面對額外的計算需求，聯發科選擇在新一代的 Helio P90 晶片整合
獨立的 APU （AI Processing Unit），專門處理 AI 演算法的運算需求，以異質整合的
方式提升晶片效能並降低耗電量。
長遠來看，他認為更多的 AI 應用都會在終端裝置上完成「推導」，隨著運算越趨複雜，
邊緣計算晶片將面臨散熱與面積的挑戰，由於 AI 專用晶片運算效率遠高於通用晶片，使
得發展專用晶片架構成為業界的普遍共識。
<< FPGA 彈性架構適合開發 AI 推論晶片>>
FPGA (可程式化邏輯閘陣列) 是目前最受歡迎的AI 晶片設計架構之一。
英特爾（Intel）的周凱楓工程師
Intel 看好 FPGA 在 AI 應用晶片的潛力，因為FPGA架構除了有低功耗、高度設計彈性以
及低成本等優勢，它的開發時程也相對短，有助於企業滿足變化萬千的利基市場。Intel
所開發的 OpenVINO 工具包或是eASIC 解決方案都進一步將FPGA架構的優勢最大化，加速
AI晶片的開發展。
<<多GPU架構能提供強大的平行運算能力>>
相較於前端的「推論」，後端的AI 演算法「訓練」需要龐大的平行運算能力，單個 GPU
已經無法滿足日漸複雜的深度學習模型。
輝達（NVIDIA）的康勝閔經理
從架構層面出發，比較新一代 NVSwitch 架構藉由改善多顆 GPU 之間的溝通效率，將深
度學習模型的訓練時間從 15 天縮短到 1.5 天。他認為改善 AI 的運算效率不只是追求
更強的晶片效能，對演算法的了解與軟體的堆疊也非常重要，例如針對不同的演算法開發
對應的加速函式庫（cuDNN），透過軟硬整合才能達到更高的運算效率。
<<人工智慧晶片設計的未來發展：異質整合>>
新思科技（Synopsys）的魏志中策略總監
隨著運算的需求種類增加，如果要兼顧耗能及成本，單一晶圓（Die）的晶片已經無法滿
足。他強調「異質整合」（Heterogeneous Integration）的概念，透過在系統級封裝（
System in Package, SiP）中整合多項異質運算晶片，試圖解決效能、功耗以及設計彈性
上的問題。
好比聯發科在原本的 SoC 整合一個獨立的 AI 加速器，另外 Intel 所提出的 eASIC，原
理也是把ASIC 透過 FPGA 的方式埋進晶片以提高設計架構上的彈性。
結語
AI 晶片的應用很廣，單一架構無法滿足所有的運算需求，使得「異質整合」晶片的需求
應運而生。然而，不只是單純晶片效能改進，企業也必須進行全面思考，從上層的演算法
、中層的編譯器以及底層的硬體進行全面最佳化，才是未來 AI 晶片的整合趨勢。