[新聞] 手機照片邊緣變形有解!新功能竟是Google

作者: lf5471 (lf)   2019-06-25 14:10:35
手機照片邊緣變形有解!新功能竟是Google台灣工程師打造
https://udn.com/news/story/7098/3890834
先前由帶領Google Camera功能研發的Marc Lavoy說明,Google如何在Pixel 3手機相機功
能實現極端夜間拍攝,以及透過單顆鏡頭達成高解析度變焦效果之後,Google稍早更釋出
預計在7月底於SIGGRAPH 2019具體說明的廣角修正技術,藉此說明如何讓時下手機流行採
用廣角鏡頭實現更好的邊緣變形修正效果。
值得說明的是,此項技術是由三名台灣出身的工程師打造,分別是施易昌 (YiChang
Shih)、賴威昇 (Wei-Sheng Lai),以及梁家愷 (Chia-Kai Liang),三人均從台灣大學畢
業,而施易昌更進一步在麻省理工學院獲得碩士、博士學位,並且曾在Adobe、Google、
微軟等公司實習,賴威昇則分別在Adobe、NVIDIA與Google實習,目前在加州大學美熹德
分校進修博士學位,至於梁家愷與施易昌目前則是Google資深軟體工程師。
依照三人提出論文內容,簡略描述當前多數針對廣角鏡頭進行修正的軟體演算法,主要是
以梯形修正為基礎,針對邊緣產生變形部分進行修正,在處理一般景象時候可能不會有太
大問題,但是如果用在人像拍攝 (例如多人合影、多人自拍)等情況,很可能就會面臨人
臉變形部分被修正,背後影像卻無法被正常修正,或是背景被正常修正,人臉卻維持扭曲
情況。
因此在論文中提出技術便採用人工智慧進行影像分析,藉由將人臉,甚至身體涵蓋部分自
影像中抽離,並且進梯度修正,相同情況也針對抽離人像之後的背景進行修正,後續再將
兩組影像合併,成為背景歪曲被修正、人像部分也被修正的影像結果。
依照說明,這樣的演算法可以對應70°至120°廣角範圍內的影像拍攝修正,而對於手機
拍照使用廣角設計,其實也已經相當足夠。配合Pixel相機原本已經整合夜間拍攝、人臉
識別 (包含側臉、長髮遮蔽、配戴眼鏡等情況),加上此項廣角拍攝修正技術,預期將能
使手機拍攝功能更加「完美」。
不過,此項演算法依然有其限制,就是目前修正範圍依然是以臉部為主,身體部份仍有可
能受限演算法,導致修正後變得「修長」,或是呈現些微扭曲,但預期日後加入更多演算
法修正,將能讓廣角拍攝應用更加完善。
除了應用在手機拍攝,此項技術預期也能應用在監控攝影機,或是自駕車、電腦視覺在內
的影像識別判斷等領域,藉此降低識別判斷錯誤機率,另外也可能應用在Google Maps街
景、360度環景影像或VR全息影像拍攝,藉此讓影像呈現效果更加擬真。
而此項演算法,日後應該將會陸續開放Pixel系列機種更新使用,預期也會應用在即將推
出的Pixel 4。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》
作者: j0958322080 (Tidus)   2019-06-25 14:21:00
這跟opencv裡面修正distortion有什麼不一樣?
作者: pponywong (pony)   2019-06-25 14:30:00
內文有講啦 就是梯度修正 不過有AI 影像識別的技術
作者: bluebluelan (新陰流大目錄免許皆傳)   2019-06-25 14:36:00
UCMerced那個台灣人教授實驗室出來的吧
作者: DaveLu (Dave)   2019-06-25 14:43:00
不同物距幾何失真不同,所以臉(近距)跟背景(遠距)要分開修臉跟頭髮比較容易從影像抽出,但是衣服就難了
作者: Iamjkc (萬年死會)   2019-06-25 14:48:00
真強者 之前有在台灣找人 不曉得找滿了沒
作者: YandereLove (Rem)   2019-06-25 14:56:00
神歪
作者: ckvir (ckvir)   2019-06-25 15:21:00
這功能之前影像處理不就早有了
作者: deray (Deray)   2019-06-25 15:45:00
跟我想的一樣 只是我太忙沒時間實做
作者: misson (綠色九層)   2019-06-25 16:01:00
美圖: 不是把皮膚變白,身體拉長就一堆瞎妹會來買了嗎?
作者: ohohohya (安安你好我草泥馬)   2019-06-25 16:55:00
這需要AI嗎?記者是不是亂寫影像中找出人當前景其他當背景 分別校正再重組影像 這到底哪裡需要AI
作者: ziggyzzz (觸手與蘿莉阿斯)   2019-06-25 17:10:00
跟我想的一樣
作者: kaltu (ka)   2019-06-25 17:12:00
Semantic Segmentation不用AI哪個技術夠穩定?
作者: leoloveivy (cried)   2019-06-25 17:15:00
臉大可能是臉很大或很近 應該說沒ai可能可以但有ai可以做的更好
作者: kaltu (ka)   2019-06-25 17:16:00
現在 state of the art 的 synthetic depth 都馬是 CNN
作者: Lowpapa (崩到你叫媽媽)   2019-06-25 17:18:00
跟我想的一樣
作者: followwar (嫌疑犯X的獻身)   2019-06-25 18:17:00
就Network記住了臉的prior,硬尻還原
作者: utn875 (utn875)   2019-06-25 19:41:00
推一個
作者: ruthertw (小葉老大)   2019-06-25 20:16:00
阿不就好棒棒,名師出高徒咩~更!
作者: csgod1325 (alex)   2019-06-25 21:50:00
好猛 人體不變形達成超廣角拍攝
作者: ruthertw (小葉老大)   2019-06-25 22:24:00
設備一躍進,這些都沒用了
作者: getbacker (工作十年了啊.......)   2019-06-25 22:42:00
手機相機模組的物理限制就是擺在那邊,硬體端能改善的空間越來越小,當然是走CI的路線來突破啊
作者: shadowppt (硬頸客家人)   2019-06-26 00:12:00
噓的人真的很可憐
作者: s96387799 (Digo)   2019-06-26 01:56:00
噓的人是不是只會代工?以為科技進步不用過程
作者: mike8469 (mike8469)   2019-06-26 02:26:00
作者: tinglottery (小權)   2019-06-26 03:44:00
Google是真強者
作者: ruthertw (小葉老大)   2019-06-26 08:34:00
硬體端能改善的空間越來越小?哈哈哈Google是真強者,但某師不是強者,沾光開心嗎?
作者: Satansblessi (chaotic warrior)   2019-06-26 08:54:00
噓的人真的有病,台灣之光推~
作者: fantasyhorse (水多多)   2019-06-26 10:18:00
看他ID不就知道
作者: ruthertw (小葉老大)   2019-06-26 10:50:00
說人有病的才是有病~
作者: andy7829 (罐頭)   2019-06-26 11:24:00
某R有夠可撥 只能耍嘴皮子了 真強者給推
作者: Tkuei (it's me)   2019-06-26 12:25:00
某r真能嘴,這麼會嘴去做一個完全沒有畸變的硬體模組來給大家開開眼界啊
作者: balius (愛喝鮮奶茶)   2019-06-26 13:33:00
梯形失真用移軸鏡可以修正,看誰有辦法做到手機鏡頭上
作者: zasxqw56 (宗宗)   2019-06-26 15:41:00
為什麼要用「竟是」,瞧不起台灣嗎...
作者: sonywei (sonywei)   2019-06-26 17:59:00
ZF6也有喔
作者: diabloiii (天才珈)   2019-06-27 10:16:00
文章看不出來有誰沾光啊

Links booklink

Contact Us: admin [ a t ] ucptt.com