[情報] Toyota正在研究基於視覺的Pseudo-Lidar

作者: Scape (non)   2020-07-08 18:57:09
影片:
https://youtu.be/SLEK2vAgjOI
https://i.imgur.com/FyhcjVO.jpg
Toyota 研究院的一位資深研究科學家在去年10月份的Stanford Seminar 介紹
了他們的深度估算方法,該方法利用其深度學習從單顆鏡頭的未標記拍攝影片
中做到類似LiDAR 對於深度(距離)的測量。影片很長所以提供幾個重點:
1. https://i.imgur.com/EOJq2ih.jpg
Toyota 每年售出1000萬輛汽車,這可能可以提供很多影片數據(數十PB),相較
起來YT 影片數據量就只是個小泡泡。
2. https://i.imgur.com/TTuloRZ.jpg
以往的機器學習方式是(人工)標記資訊後的監督式學習(Supervised learning),
未來要擴展到加入自監督學習(Self-supervised Learning)。
3. https://i.imgur.com/3fUsRzM.jpg
為什麼不用LiDAR 而要用Cameras + pseudo-LiDAR?簡單來說LiDAR 太貴了,
而且Cameras 便宜且易於安裝,不需要改變目前的車輛設計。
4.
他們認為他們自己的結果適用於白天和理想的天氣條件,在雨中效果也很好。
,另外夜晚測試他們還未做過。
與其他人的比較:
https://i.imgur.com/dMlPQH0.jpg
真實視覺影像、他們的結果、與3D 點雲的比較:
https://i.imgur.com/vk1t7Yh.jpg
影片從約14:00 開始:
https://youtu.be/SLEK2vAgjOI?t=839
5. 為何可以用單目攝影機就做到偵測深度?利用frame t 與frame t-1
雙目攝影機的做法:
https://i.imgur.com/Sn6w8yV.jpg
單目攝影機的做法:
https://i.imgur.com/XsCmPdl.jpg
後面幾乎都是在解釋技術細節,有興趣的人麻煩自己看就不節錄了。他們的工
作已經在2019年5月寫成論文發表,而這段在研討會上的影片則是在10月份。他
們所做的事情幾乎可以說跟Tesla 在做的事情十分的類似,在去年4月的Tesla
Autonomy Day 上,Autopilot 部門主管就曾經展示過類似的影片:
https://i.imgur.com/fmtBWFV.jpg
https://youtu.be/Ucp0TTmvqOE?t=8480
另外在今年二月份時,他也在Annual Scaled Machine Learning Conference
上展示了更詳細的成果:
https://i.imgur.com/gqWQtD8.jpg
https://youtu.be/hx7BXih7zx8?t=1313
Self-supervised Learning 與泛稱為pseudo-LiDAR 的技術其實有許多人在做,
其中有學者、有新創公司、當然也有車廠在做,其中最為人知的應該就是Tesla。
但是從這份資料中可以知道Toyota 這種老車廠其實也有在研究,而且據他們的
說法得到的結果很好可行性很高,所以用一般的攝影機來取代LiDAR 並不是不
可能的事情,當然還是有人認為要做到真正的無人駕駛非LiDAR 不可,到底結
果如何這就留待時間去證明,再過幾年就會知道了。
作者: bluemkevin (WHO WHO)   2020-07-08 19:02:00
車用感測器從來就不是一般消費型的LiDAR 成本也可能越來越低
作者: demo68 (打爆章魚哥)   2020-07-08 19:11:00
https://imgur.com/MCtVU2E.gif為了避免像特吹一樣在路上睡覺碰碰吧
作者: highca0709   2020-07-08 21:00:00
再怎麼低也不會比鏡頭低啦
作者: chewei55 (小黃)   2020-07-09 07:09:00
第一條怪怪的,它賣了1000萬台,但是有網路能即時提供影像回傳的又有多少
作者: PeriImg (帕里帕里)   2020-07-09 09:10:00
MonoDepth != Pseudo-LidarMonoDepth主要指在camera coorindate利用depth consistency來提供depth net損失信號Pseudo-lidar主要是在有了per-pixel depth情況下將pixel投射回camera or world coordinate 來當作semantic/densepoint-cloud處理

Links booklink

Contact Us: admin [ a t ] ucptt.com