近日，Meta申請(qǐng)的一項(xiàng)新專利展示了一項(xiàng)技術(shù)，該技術(shù)可以為電子游戲和VR應(yīng)用帶來更逼真的嘴唇同步和面部動(dòng)畫。通過這些更逼真的面部動(dòng)作創(chuàng)建NPC和玩家虛擬化身，為更逼真、引人入勝和沉浸式的游戲和體驗(yàn)打開了大門。
盡管幾十年來圖形在電子游戲中取得了進(jìn)步，近年來允許創(chuàng)建近乎逼真的虛擬角色，但為這些角色描繪逼真的語音和面部表情仍然是開發(fā)人員面臨的挑戰(zhàn)。游戲玩家的大腦習(xí)慣于看到和閱讀其他人的臉，因此即使是電子游戲角色上最好的面部動(dòng)畫也很容易陷入恐怖谷效應(yīng)，導(dǎo)致角色看起來“不對(duì)勁”，甚至完全令人不安。Meta的專利可以即時(shí)生成逼真的嘴唇同步和面部表情，為開發(fā)人員節(jié)省時(shí)間，并提高玩家的沉浸感。
該專利詳細(xì)介紹了將用戶語音轉(zhuǎn)換為逼真的嘴唇同步和面部動(dòng)畫的各種方法，使開發(fā)人員能夠靈活地選擇使用該系統(tǒng)。該專利中概述的一種方法涉及使用多個(gè)人的音頻和視頻記錄的數(shù)據(jù)集，因?yàn)樗麄冮喿x了50個(gè)不同的語音平衡句子，系統(tǒng)在閱讀每個(gè)句子時(shí)會(huì)跟蹤他們的面部表情。通過跟蹤個(gè)人在閱讀每句話時(shí)臉部和嘴部的動(dòng)作，系統(tǒng)可以從這些動(dòng)作中提取信息，并將它們混合在一起，以逼真地為角色制作動(dòng)畫，甚至包括眨眼和揚(yáng)眉等微妙的動(dòng)作。
圖片來源：拍信網(wǎng)正版圖庫
除了能夠基于現(xiàn)有數(shù)據(jù)集生成面部動(dòng)畫和嘴唇同步外，該專利還描述了該系統(tǒng)如何使用集成到VR頭顯中的攝像頭做同樣的事情。此功能可以讓VR用戶擁有準(zhǔn)確模仿自己面部表情的虛擬化身，從而在多人游戲和VR Chat等社交VR體驗(yàn)中提供更加沉浸式的體驗(yàn)。
從Valve的Source引擎使用動(dòng)畫系統(tǒng)來模擬對(duì)話的每個(gè)音素（構(gòu)成單詞的單個(gè)聲音）建立面部動(dòng)作模型，到Bandi團(tuán)隊(duì)使用MotionScan技術(shù)通過32個(gè)高清攝像機(jī)系統(tǒng)捕捉《黑色海岸》演員的表演，開發(fā)者們始終在努力為游戲創(chuàng)造真實(shí)的面孔。Meta的專利可能預(yù)示著這一探索中的巨大技術(shù)飛躍，并可能有助于在游戲和VR體驗(yàn)中開創(chuàng)一個(gè)高質(zhì)量、逼真的面部動(dòng)畫的新時(shí)代。（來源：新浪VR）
更多LED相關(guān)資訊，請(qǐng)點(diǎn)擊LED網(wǎng)或關(guān)注微信公眾賬號(hào)（cnledw2013） 。