詳解Codec Avatars:Facebook押注的下一代社交

  ag九游會官方網(wǎng)站在游戲行業(yè)和《第二人生》等社交應(yīng)用的推動下,虛擬化身逐漸普及。我們開始在游戲乃至社交平臺中擁有“神似”自己的虛擬形象,甚至這些形象能與用戶交互,比如識別用戶面部表情變化。

詳解Codec Avatars:Facebook押注的下一代社交(圖1)

  隨著VR社交成為新一代風(fēng)口,虛擬化身似乎成了加深用戶之間聯(lián)系的紐帶。我們選擇或創(chuàng)造的虛擬角色往往反映了我們自身的特征或者想成為的角色,讓我們能在虛擬世界中擁有一個理想化的“自己”。

詳解Codec Avatars:Facebook押注的下一代社交(圖2)

詳解Codec Avatars:Facebook押注的下一代社交(圖3)

  初到Facebook負(fù)責(zé)VR社交方面的業(yè)務(wù)時,他認(rèn)為主要任務(wù)就是設(shè)計復(fù)雜的3D環(huán)境,當(dāng)然日后的事實證明Abrash當(dāng)時把社交想的太過簡單。

  隨后在一次演講中,Abrash分享了其在VR社交上的三方面嘗試,即虛擬化身(Avatar)、社交環(huán)境(Social Environment)以及使用場景(Utility)。此后,F(xiàn)acebook開始發(fā)力構(gòu)建虛擬化身。

詳解Codec Avatars:Facebook押注的下一代社交(圖4)

  Abrash深信這項技術(shù)在接下來的50年里,將會成為工作、娛樂和溝通的主要方式,就像是電腦和智能手機(jī)一直在改變世界一樣。

  他表示:我曾描述過AR/VR在未來需要哪些技術(shù)來支撐,但從未公開具體開發(fā)過程及幕后團(tuán)隊。因此,F(xiàn)RL部門公開了一系列博客向大家展示FRL團(tuán)隊在5年里都進(jìn)行了哪些研究。

詳解Codec Avatars:Facebook押注的下一代社交(圖5)

  如果說智能手機(jī)讓你聽到和看到遠(yuǎn)在千里之外的親朋好友,那么VR就會讓他“真真正正”地坐在你的面前。

詳解Codec Avatars:Facebook押注的下一代社交(圖6)

  基于3D捕捉和AI技術(shù),Codec Avatars可以讓人們快速能夠輕松地構(gòu)建屬于自己的虛擬化身,并使虛擬空間中的交流和溝通像在現(xiàn)實世界一樣自然。

  用戶將自定義一個能夠匹配自身實際動作的虛擬角色(包括頭、肩膀和雙手)。這意味著當(dāng)你轉(zhuǎn)圈、搖頭時,虛擬角色都能相應(yīng)地表現(xiàn)出來。這種表情和情緒的變化也會增加虛擬化身的臨場感和真實度。

詳解Codec Avatars:Facebook押注的下一代社交(圖7)

  為了驗證虛擬形象是否足夠逼真,F(xiàn)RL進(jìn)行了兩種簡單的測試:“ego test”(自我測試)和mother test(母親測試),即通過這種虛擬形象,你身邊的家人也能認(rèn)出你來。

  當(dāng)您第一次接聽視頻電話時,沒有人告訴您為什么這項技術(shù)很重要。因為它讓你可以遠(yuǎn)程聯(lián)絡(luò)到每個人,你能真切地感受到這項技術(shù)為生活所帶來的改變。

詳解Codec Avatars:Facebook押注的下一代社交(圖8)

  而VR社交希望能再次突破,就像《星際迷航》中的全息甲板一般,參與者將以虛擬化身的形式出現(xiàn),甚至可以在模擬環(huán)境中閑逛,就像他們實際上在那里一樣。團(tuán)隊也正在積極地努力實現(xiàn)這一目標(biāo)。

  2014年秋天,Sheikh遇到了Abrash。當(dāng)時,Sheikh領(lǐng)導(dǎo)著Panoptic Studio,這是卡內(nèi)基梅隆大學(xué)機(jī)器人研究所旗下的一家3D捕捉實驗室。兩人一拍即合,后來Sheikh于2015年加入Facebook,自此以來領(lǐng)導(dǎo)研究團(tuán)隊。

詳解Codec Avatars:Facebook押注的下一代社交(圖9)

  FRL建立了兩間動捕工作室——Mugsy和Sociopticon,一個用于捕捉面部表情,一個用于身體運(yùn)動。每一個都旨在精細(xì)捕捉身體結(jié)構(gòu),并以前所未有的細(xì)節(jié)水平測量身體運(yùn)動,然后根據(jù)所集成的數(shù)據(jù)構(gòu)建逼真的虛擬化身。

  Mugsy的墻壁和天花板上安裝了132顆佳能攝像頭和350個燈光聚焦在椅子上。用戶坐在椅子中,就相當(dāng)于坐在了整個空間的中心,設(shè)備將精準(zhǔn)地捕捉面部的所有細(xì)微變化。

詳解Codec Avatars:Facebook押注的下一代社交(圖10)

  而Sociopticon專門用于拍攝身體動作變化,采用了更多180顆攝像頭,能拍攝4K視頻。

  這兩間動捕工作室能夠能夠每秒采集180Gb的數(shù)據(jù),利用捕獲的數(shù)據(jù)來訓(xùn)練AI系統(tǒng),令其只需數(shù)張圖片或視頻即可快速輕松地打造符合用戶自身形象的虛擬化身,這也讓用戶用了“代入感”和“參與感”。

詳解Codec Avatars:Facebook押注的下一代社交(圖11)

  “隨著機(jī)器學(xué)習(xí)在技術(shù)上的突破,這種超逼真的虛擬化身能夠以動畫方式進(jìn)行實時制作。”

  Codec Avatars將會對VR社交產(chǎn)生巨大的影響,這里有著非常先進(jìn)的設(shè)備的經(jīng)驗豐富的專家。FRL科學(xué)家余守壹表示:“我們擁有世界上最先進(jìn)的掃描設(shè)備,我們開始嘗試掃描人們的鞋子、玩具以及能想到的任何東西。掃描日常物品聽起來十分簡單,但這一切都是為了構(gòu)建一種更好的算法,以便未來可以輕松渲染最復(fù)雜的虛擬化身?!?/p>

詳解Codec Avatars:Facebook押注的下一代社交(圖12)

  想象一下,通過佩戴頭顯你就可以“到達(dá)”世界的任何地方,并可以與家人、朋友共享場景,一起在這個空間中交流溝通,仿佛開啟你的“第二人生”。這種沉浸式體驗是傳統(tǒng)社交所做不到的,用戶參與感也因此得到大幅提升。

詳解Codec Avatars:Facebook押注的下一代社交(圖13)

  隨著社交方式的多樣化,虛擬角色的創(chuàng)建敲響了我們的數(shù)字大門。這種突破性的社交方式,將為人們帶來前所未有的改變。

詳解Codec Avatars:Facebook押注的下一代社交(圖14)

  作為今日頭條青云計劃、百家號百+計劃獲得者,2019百度數(shù)碼年度作者、百家號科技領(lǐng)域最具人氣作者、2019搜狗科技文化作者、2021百家號季度影響力創(chuàng)作者,曾榮獲2013搜狐最佳行業(yè)媒體人、2015中國新媒體創(chuàng)業(yè)大賽北京賽季軍、 2015年度光芒體驗大獎、2015中國新媒體創(chuàng)業(yè)大賽總決賽季軍、2018百度動態(tài)年度實力紅人等諸多大獎。