摘要：據外媒ROAD TOVR訊息，Meta Reality Labs的研究人員已經制造了一款VR頭戴裝置原型機，該原型機可以支援Codec Avatars專案的渲染，並且搭載了專門用於AI處理的定製加速器晶片。

據外媒ROAD TOVR訊息，MetaReality Labs的研究人員已經制造了一款VR頭戴裝置原型機，該原型機可以支援Codec Avatars專案的渲染，並且搭載了專門用於AI處理的定製加速器晶片。

早在Facebook更名為Meta前，該公司就一直致力於Codec Avatars專案，該專案旨在使VR實現“如照片般逼真”的虛擬化身。這一系統結合AI處理和裝置上的眼動追蹤、嘴巴追蹤等感測器，將使用者的臉以最接近真實的方式投射進虛擬世界。

Codec Avatars研究的早期版本得到了NVIDIA Titan X GPU 強大算力的支援。但在Meta最新的Quest 2一體機等裝置上，並不能完全發揮其功能。

也正因此，Meta正在著手研究如何在低功率一體機上實現Codec Avatars專案的功能。

上個月發表在IEEE CICC會議上的一篇論文中，Meta透露它正在設計一個採用7nm工藝的定製晶片用於作為Codec Avatars的加速器。

實際上，Meta的造芯計劃早在2018年就已經開始。2018年4月，Facebook將Shahriar Rabii招入麾下擔任副總裁兼晶片負責人，Rabii此前任職於Google，並參與了Pixel手機Visual Core等晶片開發。

研究人員稱，該晶片從論文走向現實，還有相當長的一段路要走。

在晶片設計過程中，設計人員考慮了生成Codec Avatars 模型所需要的資料。

“測試晶片採用7nm製程，具有神經網路加速器，由1024乘法累加陣列、2MB片上SRAM和32位RISC-VCPU組成。”研究人員說。

另一方面，為了配合該晶片的特定架構，設計人員還重構了Codec Avatars AI 模型的一部分。

“我們透過重新構建基於卷積神經網路的眼睛注視模型並針對硬體進行定製，使得模型更加適合晶片。這降低了片外記憶體訪問的能耗和延遲。” Reality Labs研究人員寫道。

加速晶片透過加速Codec Avatars工作負載較重的部分，不僅加快了模型的執行速度，而且還降低了功率和發熱。由於晶片的定製優勢，在功率和體積控制上該定製晶片較通用CPU更有優勢。

據研究人員說，該晶片已經能夠實現在每秒30幀的情況下執行Codec Avatars模型。並且同時做到功耗低和外形小巧。

得益於專用晶片的加速，Meta的Codec Avatars或許可以在一體機上執行。但目前我們不知道虛擬化身的視覺渲染效果如何。在非一體機上執行時，該模型將使用者建模掃描的非常詳細，這可能過於複雜，不能在Quest2等一體機上得到完整的呈現。目前還不知道Codec Avatars強大的“逼真”畫面在這客觀條件的限制下最終呈現的效果會如何。

我們可以想象，一系列XR特定的功能都可以透過這種專門設計的加速晶片來實現。比如在XR世界中實現空間音訊是XR玩家們願意看到的，這可以增加沉浸感。但逼真的聲音模擬在實際使用中不僅會增加成本，並且也會影響續航。

另外，位置跟蹤和手勢跟蹤也是XR體驗的關鍵部分，在這些地方將硬體和演算法結合起來進行設計可以使XR裝置在速度和功率方面取得巨大的提升。