愛伊米

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

“ 感知技術 · 感觸CG · 感受藝術 · 感悟心靈 ”

中國很有影響力影視特效CG動畫領域自媒體

說起遊戲裡的角色,多數為了遊戲性而優化了場景的面數以及貼圖紋理等等。即使很寫實,也因為光照和遊戲引擎的原因顯得“很假”,比如遊戲巫師3裡的角色。

這樣

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

再比如遊戲行屍走肉中的角色

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

總之就是很假。

但是最近一個網名叫gutekx12網友使用一個名為StyleClip的AI系統來生成巫師3、哥特式和行屍走肉中角色的真實版本。一下將塑膠質感的遊戲角色拉回到了超寫實,效果是相當可以。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

左側為遊戲原角色,右側為AI生成的效果

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

怎麼樣?效果是真的可以。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

是不是跟我們平時拍的照片差不多了?上面幾幅是老哥用巫師3中的角色,那你會問這個角色本身有很多細節了,其他的可以麼?來,再接著看行屍走肉中的幾個效果。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

據瞭解,他是用StyleCLIP將StyleGAN的生成能力與CLIP聯合影象,再輸入幾行文字,就可以實現基於文字的影象處理。簡單說就是上傳幾張圖片,然後一段簡短的文字來告訴AI你想要啥樣的,接著機器學習你輸入的影象和文字,最後就直接給你生成一個寫實的角色了。

低面數的角色也是可以的。再來看幾個遊戲《哥特王朝》中的角色效果。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

哈哈哈,看完這幾個低面數的,我覺得簡直太牛了。

然後我就順著這個StyleCLIP去搜了下,它到底幹嘛的。在這裡也跟大家分享下。

其實這是一個論文的開源程式,論文全稱《StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery》,大意為StyleCLIP:StyleGAN影象的文字驅動操作。

關於StyleGan我們之前在好多文章裡介紹過,StyleGAN 是官方TensorFlow實現,用於生成人臉影象, 它可以生成高度真實影象的能力,目前已經在很多行業上得到實驗和應用。

那麼StyleCLIP開發者基於StyleGAN能力,在此基礎上他們加入影象和文字相結合的方式建立可操縱生成更加細緻的寫實影象。這裡他們引入了對比語言影象預訓練(CLIP)模型,為StyleGAN影象處理開發一個基於文字的介面,而不需要手動操作。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

他們引入一種最佳化方案,用基於CLIP的損失來修改輸入潛在向量來響應使用者提供的文字提示。

接下來,用一個潛在對映器,為給定的輸入影象推斷出文字描述做引導,給出潛在操作步驟,從而允許基於文字的操作。最後,將文字提示對映到StyleGAN樣式空間,從而實現互動式文字驅動的影象操作,實現最終的效果。

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

看了這些我突然有個大膽的想法,就是我那些封塵了很久的,超級醜陋的角色練習是不是有救了,哈哈哈,用這個AI不就直接變成超寫實角色了麼??上傳到A站,我也是大神了,就這麼定了,好了,今天內容就到這裡了,我去做超寫實角色了!~~拜拜~~

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

全文完

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

A站5000+贊神作大賞

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

V-Ray秀肌肉!Vray2021 Showreel

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

米哈遊急招場景崗位?聽說入職就送3070!

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

連水珠都實時可調?!用UE做個產品級冰鎮可口可樂是怎樣的體驗?

人物角色爛模型終結者?這個AI可把遊戲“很假”角色直接變成超寫實

有愛宕機內味了!6個學生搞出來的科幻短片