狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT？
https://bit.ly/45gV8LO
眾所周知，這一波OpenAI夯遍全球的ChatGPT，係指一種基於生成式預訓練轉換模型
(Generative Pre-trained Transformer，簡稱GPT)，其字母中的「T」代表Transformer
即轉換模型之意。然而，該Transformer模型中極為重要之「自注意力」
(Self-attention)，卻並非由OpenAI所原創，而是由軟體科技業的領頭羊Google研究實驗
室，所創造出來的大型語言模型之核心技術。
近年來Google一向積極建構AI相關智財，並以擁有眾多AI相關專利組合技術著稱。此
Google所創造出的Transformer模型，為這波聊天機器人在深度學習方面帶來重大突破，
該轉換模型神經網路(Transformer Neural Networks)關鍵技術，為ChatGPT-3打下強大基
礎，更醞釀出眾多生成式AI (Generative AI)，得以有今日的非凡成就，故此一
Transformer模型之自注意力機制，Google可謂是原始發明人。
按Google旗下科學家2017年在神經資訊處理系統（NIPS: Neural Information
Processing Systems，後更名為NeuroIPS）會議上，發表一篇題為《Attention is All
You Need》的開創性論文。截至2023年1月，該論文已被引用超過62,000次，成為AI領域
被引用次數最多的論文之一。Google不僅創造這項技術，還獲得相關的專利，其中如極為
重要之US 10,452,978 B2專利[1]（以下稱’978專利），是一件在專利佈局上涵蓋非常全
面的專利(請參本刊之前報導：Google Transformer模型專利 – ChatGPT自注意力機制之
重要推手)，其最早先透過美國臨時案於2017年5月23日與2017年8月4日先行申請，然後在
2018年6月28日轉為正式案申請，並在2019年10月22日被核准授予。
這意味著，Google可以透過訴訟來維權，從而挫敗競爭對手。但，Google會用
Self-attention專利來挑戰ChatGPT嗎？值得關注。其實，根據別人論文中的技術來開發
應用，不一定就會侵犯到該技術中的專利，這還得看實際個案而定，但就Open AI之GPT中
Transformer模型的運用，的確帶有一些’978專利申請範圍內之特徵，但是否真的落入請
求項的範圍，當然還需視Claim Construction的結果而定。具體而言，Google的’978專
利包含系統項、電腦儲存媒介項與方法項，其中又以系統項涵蓋層面最廣，所以就系統項
之獨立項1所記載的重要元件，再配合專利說明書中的實施例做統整，現試圖用簡單的方
式說明’978專利中Transformer模型的技術特徵。關於系統項的獨立項1所記載的重點，
整理如下：
1. 系統包含一或多計算機，透過計算機執行指令一序列轉導神經網路(Sequence
Transduction Neural Network)，該序列轉導神經網路將一輸入序列轉導為一輸出序列
[2]；
2. 該序列轉導神經網路包含一編碼神經網路（其實就是編碼器），用以接收該輸入序列並產
生編碼表示法（其實就是詞嵌入(Word Embedding)[3]），以及一解碼神經網路（其實就
是解碼器），用以接收該編碼表示法並產生該輸出序列；
3. 該編碼神經網路又包含一或多個編碼器子網路(Encoder Subnetwork)，用以接收該編碼表
示法並處理其對應的輸入位置做位置嵌入(Positional Embedding)，而位置嵌入正是透過
編碼器自注意力子層(Encoder Self-attention Sub-layer)所接收與執行；以及
4. 透過編碼器子網路應用一自注意力機制，使多個輸入位置而產生對應的個別輸出，其中該
注意力機制又包含計算Q (Query)、K (Key)、V (Value)矩陣等三大步驟，最後將Q、K、V
矩陣計算完畢後而產生對應的個別輸出。
關於’978專利的詳細內涵，請參前揭文：「Google Transformer模型專利 – ChatGPT自
注意力機制之重要推手」。如從’978專利獨立項1所揭露的技術內容來看，真的與
Transformer模型相關的技術特徵只有3與4。換言之，若把3和4抽離，’978專利可能就和
習知的深度學習神經網路沒什麼兩樣。簡單來說，Transformer模型的特色就是，透過結
合位置嵌入與自注意力機制的運作，而能夠在冗長的輸入序列中，做出很好的語言推理與
「理解」（或是「類理解」），例如機器翻譯、人機對話，就是很好的應用場景。
過去AI發展因歷經幾波載沉載浮之影響，專利部署相對不那麼被重視，很多學術文獻的發
表往往停留在概念驗證階段，而AI平台帶來的典範轉移(paradigm shifts)，也僅在少數
利基市場(niche markets)中發生，較少去實行專利貨幣化。至2014年AI迎來深度學習革
命性破口，於2015年深度神經網路包括圖像辨識、語音識別等方面開始大幅超越人類，一
些企業才開始積極建構AI智財組合。而Google在AI相關之智財權保護很積極，其在收購
DeepMind後，將許多公開發表或習知概念申請專利[4]，隨意簡單檢索其於WIPO的專利至
少即有數百多件，甚至 Alphabet子公司DeepMind，也擁有強大的IP智財組合，帶動業者
紛紛起而效尤。
當時為了證明AI公司的估值合理，風險投資常會建議對一些核心技術申請專利，但10年前
由於仍受限於算力和晶片技術的影響，即便有再好的AI演算法，也難以透過當時的技術水
平，作出今日各領域令人驚豔的AI創新產品與服務，所以投資AI研發的風險仍大。因此，
Google在對待處理許多AI新創時，可能遵循類似的思路，認為拿AI專利起訴別人或許無太
大的商業意義，而業界共同努力建立AI生態系統才是王道。換言之，長期以來Google的理
念，似乎是抱持著開放其研究成果(available as open source)，讓外部研究人員用
Google開源的AI相關研究與程式碼，繼續迭代開發，而相對的，這樣也有利於Google的產
品與服務，發展為屬於Google自己的技術生態圈。
然而，近幾個月來的情況似乎發生了些變化，隨者ChatGPT、DALL-E、Midjourney等具突
破性典範轉移工具席捲市場，在在挑戰Google作為AI領域的主導地位，且甚至可能會削弱
其重要之搜尋引擎的業務時，Google領導階層的態度可能略有改變，其領導階層認為，
Google在努力發布產品的同時，應將新技術保留在內部，DeepMind實驗室研究人員皆認知
：「是時候進行競爭，並將知識保留在公司內了(keep knowledge in-house)」。
Google迄未提告緣由 1