[情報] xCloud導入Direct Capture技術降低延遲

作者: talan (---)   2022-06-26 23:42:42
微軟在今年E3期間除了有兩場遊戲發布會之外,
其實還有一系列針對遊戲開發的Xfest影片,分享一些遊戲技術與開發技巧,
有興趣的可以在以下網址下收看
Xfest 2022
https://www.youtube.com/watch?v=4aBEi4SbPlQ&list=
PLRs2lXTYCDQ3uPs2PBJoc69ET6LrM_EK5
https://tinyurl.com/2bw2kp4w
其中,微軟發表一項今年開始導入Xbox Cloud Gaming雲端遊戲串流技術-Direct Capture
https://www.youtube.com/watch?v=-WIXftoHCl4
影片有中文字幕,雖然是機翻,但大致可以看懂。
Xbox雲端遊戲串流,從遊戲中的一幀遊戲畫面從渲染完成到被編碼成串流畫面,
以往是要完整走完硬體HDMI顯示的流程
https://i.imgur.com/m3yP5MT.jpg
present queue (0-66ms) -> 顯示 -> 顯示回寫 (8.3ms)
根據遊戲不同,遊戲畫面在顯示前會有一個佇列,有些遊戲有雙重甚至三重緩衝,
會占用0到66ms不等的時間。而在螢幕顯示之後,還有一個固定8.3ms的顯示回寫,
才能進入串流編碼,因此走完整個HDMI顯示流程會有8.3至74.3ms不等的延遲,
但2022年,微軟推出新技術Direct Capture,遊戲畫面被編碼成串流畫面前,
可以直接繞過整個HDMI流程
https://i.imgur.com/jiM2cKn.jpg
https://i.imgur.com/OyOfrvR.jpg
Direct Capture處理時間為2-12ms,可以節省至多72.3ms的延遲,
繞過硬體顯示流程,能避免垂直同步、雙重/三重緩衝所造成的等待時間,
免了那台根本不存在雲端資料中心的顯示器所需的縮放處理時間。
而Direct Capture可以自動應用在許多雲端遊戲上,
但目前技術還有一些限制,某些遊戲需要開發者作點變更才能使用
https://i.imgur.com/ewirHY0.png
如目前只支援到1440P的最高解析度,不支援動態解析度、HDR等,
但這些限制會隨技術進步逐漸改進。
另外微軟也堆如何降低遊戲延遲,對開發者作出一些建議
目前Xbox雲端遊戲,PC支援的最高解析度為1080P,移動設備則是720P,
所以遊戲原生解析度超過上述解析度,在串流中都需要縮放處理,增加處理時間,
若想強化雲端遊戲體驗,微軟建議可以降低解析度,除了免去縮放處理時間,
也能在運算資源投在強化遊戲畫面
作者: TETUO (鉄雄)   2022-06-26 23:59:00
直接繞過去也太威了,不愧是微軟作為軟體開發本業的實力!
作者: Avier (出生便撿骨)   2022-06-27 00:03:00
慘了太猛了希望未來 PC 也不用透過顯示卡,直接雲端 8K 開下去解析度串流遊戲玩
作者: JIKUAI (聽媽媽說)   2022-06-27 00:09:00
台灣資料中心何時蓋好啊QQ
作者: faang (昉)   2022-06-27 00:10:00
裡面也提到不少讓玩家在各平台都能用最佳方式進行遊戲的設計(例如可以依平台設不同的亮度設定),看來微軟還滿用心讓玩家在不同硬體平台都能有良好的遊戲體驗
作者: Avier (出生便撿骨)   2022-06-27 00:14:00
前陣子有應徵資料中心職缺,有錄取,不過目前都在他處受訓任職 @@有任何資訊再來回報
作者: oldk13 (OldK)   2022-06-27 00:17:00
買zenimax效果出來了吧
作者: AccLaborGo (跳跳飛剪刀)   2022-06-27 01:06:00
預祝樓上A大及部門順利,好期待呀
作者: iceranger (iceranger)   2022-06-27 02:09:00
嗯,跟我想的一樣(喂
作者: rakuinn (烙印者)   2022-06-27 03:40:00
微軟雲端就是業界NO.1啦
作者: skybrest (Be Still My Heart)   2022-06-27 06:28:00
作者: horseorange (橘小馬)   2022-06-27 07:07:00
作者: aa08175 (Q小賢)   2022-06-27 07:40:00
恭喜A大
作者: supereva (eva)   2022-06-27 08:15:00
還以為是在你動手指之前 direct capture你的腦波 做到預先輸入無延遲
作者: sumarai (Pawn)   2022-06-27 08:39:00
那麼台灣要去哪裡才能用得到呢?
作者: js0431 (嚎冷熊)   2022-06-27 08:54:00
這真的我的超人
作者: midas82539 (喵)   2022-06-27 09:25:00
這個就輸入源fps的問題啊,基本上由於不同訊號會有不同Hz的問題,例如要把24p的訊號播放在60p更新率的螢幕上,你的螢幕就必須要自己補上差額幀數,而計算跟貼補就會造成延遲跟畫面抖動,所以反過來說理論上可以得知你家螢幕的更新率,再餵給它要的Hz自然就可以繞過這些問題,原理大概就這樣吧這方法其實就是一種變相的鎖幀,所以代價是解析度會有天花板,而且其他因素的掉幀還是會發生
作者: ts00422832 (M3D3)   2022-06-27 10:31:00
感謝分享
作者: eddy664 (阿迪)   2022-06-27 11:27:00
用 VPN 連 XCloud 不會是全程 VPN,只有一開始需要,連上後就斷開,相當於直連,所以只是 server 比較遠而已。
作者: Neville0402 (法瑞之旅GO!~)   2022-06-27 13:37:00
VPN連日本毫無延遲,真的是黑科技
作者: TETUO (鉄雄)   2022-06-27 13:42:00
下一步就是Ai學習預判玩家的操作(誤)
作者: gambitlin (琦為)   2022-06-27 17:12:00
今天開日本VPN玩賊海,幾乎沒延遲真的很神奇阿,60fps
作者: TaipeiKindom (微軟基本教義激進份子)   2022-06-27 19:44:00
AI預判操作來達成0延遲是一個很有趣的議題,一旦發展出來,會造成一些奇妙的現象。舉例來說,當AI的預判速度追上玩家,確實能達到理論上的最低延遲,但繼續發展下去,讓AI的預判速度超過玩家呢?遊戲會變成怎樣?答案是玩家會漸漸不確定是不是自己在操作,有時候明明反應不及,遊戲畫面卻朝著玩家原本的意思改變了,甚至玩家都放開手把了,AI卻繼續演算預判一直玩下去。這種情況下,到底是玩家在玩遊戲,還是雲端上一個行為模式跟玩家一模一樣的的AI在玩遊戲呢,這個AI會不會進化到比玩家還強呢,以上是亂講
作者: iceranger (iceranger)   2022-06-27 19:50:00
Nier自動人形的簡單戰鬥模式就有點像金盾講的意思
作者: ching1210 (雲某)   2022-06-27 19:57:00
我只想知道台灣到底什麼時候才會開放... 不想特地用VPN
作者: unorthodoxy (啡墊辛)   2022-06-28 08:57:00
AI不會這麼假 它偵測你幾次反應跟不上 就不會再幫你操作了全部都是統計處理 馬上就知道你實力在哪
作者: gambitlin (琦為)   2022-06-28 13:41:00
等微軟AZURE伺服器建好~我日VPN到日本開門但是連美國玩,不知道是存取哪個伺服
作者: supereva (eva)   2022-06-28 14:35:00
vpn到哪就是連哪邊server 選美國只是選美國只是選語言

Links booklink

Contact Us: admin [ a t ] ucptt.com