解析Google Pixel相機原理 Pixel 3、Pixel 3a單鏡頭相機為什麼這麼強？
https://www.cool3c.com/article/144036
Google 的 Pixel 手機自進入 Pixel 2 世代後，以獨特的 Visual Core 與 AI 技術顛覆單
相機鏡頭影像的極致，而後續的 Pixel 3 家族更在多鏡頭旗艦機強敵環伺下仍有出色的影
像表現，自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機種甚至更為傑出，最近
更以更平價的 Pixel 3a 家族以 AI 攝影技術使其足以以下犯上，挑戰高階機種。
軟體定義為既有硬體帶來創新與突破-
Google 台灣也請到擁有 Google 傑出工程師 Marc Levoy ，他擁有資深數位影像技術背景
、同時也是 VMWare 創辦人暨史丹佛大學電腦科學榮譽退休教授，為台灣媒體解開 Pixel
相機能如此出色的關鍵，而他開宗明義的指出， Pixel 手機的影像技術是顛覆過往的硬體
定義相機，並轉化至軟體定義相機的科技結晶。
Pixel 手機的做法是打破過往靠固定功能硬體的作法，藉由計算攝影與連拍，透過高效率的
機器學習技術取代傳統演算法，以 Google 的巨量資料作為基礎，配合 Google 的機器學習
建立模型，在當代高性能的 Pixel 手機實現驚人的演算，同時 Google 也不藏私的將影像
技術對外分享，藉此驅動創新與吸引更多人才。
Marc Levoy 指出，在手機上的相機應用程式需要符合幾項基本原則：執行需要迅速，預設
模式不能失敗，重現消費者在攝影遇到的特殊情況，與在特殊模式下可接受偶發的失敗。在
即時速度的要求，即時監看的資訊需要高於 15fps ，快門延遲需要低於 150ms ，成像時間
需低於 5 秒內。
結合連拍與 AI 的先進 HDR+
在過往相機的 HDR 技術仰賴曝光定標試驗做法，此技術是藉由捕捉不同曝光程度影像，並
將多重影像加以疊合，實現從低光到高光皆清晰、細節清楚的影像，然而這項作法卻因為需
要精確的影像疊合，在缺乏三腳架與手機晃動的情形難以成功拍出 HDR 影像。
而在 Pixel 3+ 的做法則是改變捕捉不同曝光的照片進行合成，以曝光不足、相同曝光的連
拍影像作為基礎，如此一來影像更為相似也容易校準，並且能夠具備更吃惡的信號雜訊比(
SNR )與減少陰影的雜訊，同時利用色調映射( Tonemap )強化陰影、降低亮處，雖會犧牲整
體色調與對比，但能保留局部對比。藉突破的概念，也讓 Pixel 手機的 HDR+ 影像拍攝的
成功率與影像品質超越傳統 HDR 模式。
結合機器學習與雙像素技術的單鏡頭肖像模式
由於手機先天感光元件尺寸，若以硬體定義相機技術，難以拍出如專業相機的景深，而肖像
模式就是當代手機所使用的方式；在初期為了實現肖像模式，過往使用雙鏡頭先在相似焦點
捕捉兩個影像，透過立體匹配演算計算深度，接著選擇一個平面作為保留銳利的基準，最終
模糊基準外的影像，不過如此一來會增加硬體複雜度，並且還需要處理雙鏡頭的資訊。
然而僅有單鏡頭的 Pixel 手機則是透過機器學習作為基礎，在主鏡頭結合雙像素對焦元件
取得深度資訊，而前鏡頭則是透過機器學習而來的影像分析，仍可實現單鏡頭的肖像； Goo
gle 透過卷積神經網路預估圖像中每個像素的人物，以超過百萬張標籤過的人物與配件進行
培訓，使 AI 模型能夠在影像中框出人像輪廓。
以 AI 技術實現出色的高解析變焦
過往手機由於僅有單焦點單鏡頭設計，故要拍攝遠處的影像，只能透過數位變焦、也就是數
位裁切的方式，但如此一來等同只是對影像進行局部裁切，畫質也會隨之下降， Google 雖
未在 Pixel 的高解析變焦使用 AI 相關技術，然而藉由高速連拍技術合成更高畫素影像，
使其可媲美當前具備 2 倍鏡頭的機種。
其中的關鍵，就是當代數位相機元件所使用的拜耳陣列結構，透過矩陣中配置 R 、 G 與 B
畫素組合構成影像，當手持進行高速連拍時，將原始、水平、垂直、與水平與垂直同時位
移的四張影像結合，可藉由連拍之後將多張影像的顏色資訊相互填補，並透過顏色資訊重建
方式，提升高解析度，若在完美不搖晃的環境，則反過來利用防手振技術製造手振使像素偏
移。
將黑暗化為白晝的夜視模式
Google 的夜視模式也仍是基於高速連拍的技術結晶，按下快門後，高速捕捉達 15 張的影
像，另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間，有晃動就會延長取景時間
，反之則縮短。而自 Pixel 3 則在此為基礎之上，再導入高解析變焦功能的技術概念，最
終結合學習式白平衡調整色調。
夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間
景物， Google 透過古典畫作的三大特徵，以強化對比、將陰影投射為黑色與透過黑暗環繞
場景作為原則，並透過色調映射還原色彩，以古典畫作為師呈現出色的夜視模式。
少了 VisualCore 的 Pixel 3a 與 Pixel 3 僅有速度差異
或許會有消費者認為在少了 VisualCore 後， Pixel 3a 的影像表現會有所差異，不過 Mar
c Levoy 拍胸掛保證，除了少了 VisualCore 帶來的處理高效率外，由於相機相同， AI 模
型相同， Pixel 3a 系列僅有處理速度較慢，影像品質不會有差異。