《硬體膠囊》是騰訊新聞與超能網聯合打造的一檔數碼軟硬體科普欄目，依靠專業嚴謹的評測標準，深入淺出地講解發生在我們身邊的熱門技術。
這兩年，高重新整理率螢幕除了在PC、筆記本端開始流行以外，在手機上也作為重要的賣點出現了，今年更是作為最新的流行趨勢成為新一代熱點，市場上不斷湧現出螢幕重新整理率為90Hz、120Hz的新手機。這塊佔據手機正面絕大比例的螢幕可以說是手機硬體的窗戶，它直觀地提供著更為流暢更為真實的畫面，毫無疑問，高重新整理率螢幕將會是未來手機的標配。而最近釋出的Oppo Find X2 Pro和一加8系列手機上面除了將螢幕的重新整理率提高到120Hz以外，還另外使用了名為MEMC的影片插幀技術，這是為什麼呢？
與觀看現實景物不同的是，我們透過螢幕看到的並不是“毫無間隔”的連續景象，而其實是一幀幀畫面。這些畫面在極短的時間內迅速地顯現、消失，透過視覺殘留現象讓人腦誤以為是連貫的。一般而言，單位時間內人眼看到的連續幀越多，我們對影像的主觀感受即為更真實更自然，這也是高重新整理率螢幕提升使用者體驗的核心要點。
舉一個簡單的例子，下面的這張動圖很清晰地描述了不同幀率間的區別：
圖片來自於Game N Meme
最左邊以15fps運動的方塊有明顯的卡頓感，而最右邊以60fps運動的方塊則相當流暢。那這跟MEMC影片插幀技術有什麼關係呢？我們平常看到的影片都是低幀率的嗎？
高重新整理率的螢幕需要高幀率的內容
是的，你答對了。我們平常看到的網路影片，或者是在電影院裡看到的電影等等大多都是以24、25或30fps呈現的，少數內容會以60fps的形式出現，他們有什麼區別呢？仔細觀看下面這張動圖中的籃球，是不是覺得最右邊的籃球不管怎麼動都很清晰，而最左邊的在下落時是模糊的？對了，這就是高幀率影片最為直觀的好處，即使影片內容中的主體在高速運動，它也能讓你看清楚細節。
圖片來自於reneelab。com
既然高幀率影片有這樣的好處，那為什麼我們現在的影片還都是24、25或30fps的呢？這是由歷史原因造成的。
回想一下你在各種地方見過的電影、電視劇或是各種家庭錄影，是不是很少見到以60fps形式呈現的，尤其是電影，基本上全部都是24fps的。電影工業在上個世紀三十年代將拍攝與播放的幀率統一成了24fps，而後電視廣播系統有的用25fps（PAL），有的用30fps（NTSC），這些上個時代的製作方式一直被保留了下來，雖然近期在影視行業內部也有不少換用高幀率製作的製作人和作品，但對於大局並沒有產生太大的影響，未來很長一段時間內低幀率的影視內容仍然將佔據絕對主流。
跟隨著影視行業腳步成長起來的網路影片和短影片製作行業自然也是遵從著前人們的經驗，沿用著低幀率製作手法。但隨著移動網際網路以及智慧裝置的發展，內容與裝置硬體能力之間的矛盾逐漸顯現出來了：手機螢幕的重新整理率已經往90Hz，甚至120Hz去了，而我們日常觀看到的影片內容中只有少部分採用了60fps，大部分仍然停留在低幀率基準上，我們在觀看影片時沒能用上硬體的能力，豈不是有些浪費？
原因還是像上面所說的，短時間內並不會有很多內容創作者切換去製作高幀率內容，而是逐漸地使用以高幀率為基準的製作手法，這將是一個相當漫長的過渡過程。在這個漫長的過渡期中，我們只好用一些過渡手段，比如說，我們自己來造高幀率的內容，怎麼造呢？這時候就要請出在電視和PC上面已經有較為成熟應用的插幀技術，它可以對低幀率內容進行補充，讓它“升級”成高幀率的。這項技術需要一定量的計算，可以由CPU做通用計算完成，也可以將計算任務交給專門的插幀晶片來處理，而隨著半導體工藝的進步，專門的插幀晶片已經可以做進手機，於是，我們在今年看到了OPPO和一加將硬體插幀這套解決方案整合進新機型中，在手機端達成了對影片進行插幀這樣的目標。
插幀技術的簡要原理
說了那麼多，我們還是簡單地講一講插幀技術是什麼，以及它的實現原理。插幀的意思就是往原本連貫的兩幀影象之間插入新的幀，這個幀可以是重複之前幀的複製幀，可以是全黑的黑幀，也可以是透過計算得到的介於兩幀之間的中間幀。插重複幀和插黑幀都是比較簡單的插幀手法，兩者都能解決影片幀率不夠的問題，但是效果一般，其中前者比較常見，PC上有些影片播放器會自動在播放幀率不夠60Hz的影片時插入複製幀以達成同步。而插黑幀則是在減少拖影，改善動態畫面等方面有著更好的表現，但是會讓顯示器/電視犧牲掉一定的亮度。
而最後一種插幀方法——插入中間幀——就需要透過計算來產生了，目前的中間幀一般都是透過運動預測與補償（Motion Estimation/Motion Compensation）演算法來計算得到的，它可以是對影象進行全域性分析進行計算，也可以是先將影象進行分塊然後再計算。
可能有讀者會說，誒這個運動預測與補償很眼熟啊，不是在影片編碼中大規模應用了嗎？是的沒錯，插幀中的運動預測與補償演算法邏輯跟影片編碼中所使用的演算法有點像，常見的插幀演算法同樣是將畫面分成一定大小的塊，然後透過比對兩幀之間的差異尋找出現運動的塊，透過分析影象塊的運動趨勢，再輔以計算得到中間幀。
這裡拿了H。264編碼的區塊運動分析圖做例子，上面是I幀，下面是相鄰的P幀，P幀基於I幀做的運動分析
比如我們拿自家的影片舉個例子，這兩幀是相鄰的，補幀演算法透過對畫面進行分割槽塊分析，得到了區塊在兩幀之間的運動趨勢，在這裡我們可以看到Sam的頭部和手部的區塊有較多描述區塊運動的向量箭頭（下圖），而畫面其他位置的區塊並沒有發生明顯的運動。那麼針對這些發生了運動的區塊，演算法在明確了它們的運動距離和方向後就可以計算出在額外的中間幀上這些區塊應該處於哪個位置，最終，我們便可以得到插入在原有兩幀中間的額外幀，而重複這個過程，我們得到的影片幀率就是原來的兩倍。
插幀技術已經來到我們身邊
在登陸手機之前，插幀技術已經在我們身邊的一些電子裝置上面有應用了，其中效果比較好且比較常見的就是各種電視機，比如索尼在旗下電視機中引入的Motionflow技術就是其中的代表。
圖片來自於Sony
從示意圖上可以看到，Motionflow技術將插黑幀與插中間幀相結合，實現了將原本幀率為60fps的輸入源插幀到240fps的特性。應用在電視機上面的插幀技術有效減少了拖影，提高了動態清晰度，提升了人們觀影時的體驗。現在很多電視機廠商都已經引入類似Motionflow的插幀技術了，比如國內的一些網際網路電視品牌都將該技術作為一大賣點來宣傳。
而在PC端上面，插幀技術也早已被人們應用，甚至AMD直接將這類技術扶正，由顯示卡硬體提供相關支援，也就是Fluid Motion Video。因為有官方的支援，它便利好用效果不錯，被不少玩家所讚譽，可惜目前新一代的RDNA架構暫時還不支援該特性。還有像Smooth Video Project（SVP）這樣的插幀軟體，能夠充分利用PC硬體算力對影片進行插幀。
總而言之，對影片內容進行插幀的目的就是提高影片的流暢度，那麼它是否能夠讓我們在看影片的時候體驗到更為舒適的觀感呢？
這些插幀技術能否有效提升我們的視覺體驗呢？
我們用幾個例子對比一下低幀率影片與高幀率影片的區別（請切到最高畫質觀看），第一個是我之前使用Adobe Premiere Pro的光流法制作的60fps影片，原始影片的幀率為30fps。
60fps版本：
window。DATA。videoArr。push（{“title”：“低幀率影片與高幀率影片的區別”，“vid”：“m0951khf8ql”，“img”：“http：//puui。qpic。cn/vpic/0/m0951khf8ql。png/0”，“desc”：“”}）
30fps版本：
window。DATA。videoArr。push（{“title”：“低幀率影片與高幀率影片的區別”，“vid”：“j09510cj8gg”，“img”：“http：//puui。qpic。cn/vpic/0/j09510cj8gg。png/0”，“desc”：“”}）
在上面的例子中，插幀技術的表現相當不錯，原本幀率為30fps的動畫PV在被插幀後顯得流暢了很多，而且沒有出現明顯的瑕疵。
我們再來看一個明基做的對比片段：
window。DATA。videoArr。push（{“title”：“低幀率影片與高幀率影片的區別”，“vid”：“m09513um4vq”，“img”：“http：//puui。qpic。cn/vpic/0/m09513um4vq。png/0”，“desc”：“”}）
前半部分由於鏡頭運動速度並不快，可能差異並不明顯。但後面的滾動字幕則是有明顯的差異，左邊開啟插幀的字幕表滾動非常平滑，沒有明顯的拖影，而右邊沒有插幀的字幕表在滾動時出現了較為明顯的拖影。
看完對比的同學應該會在60fps部分中看到了一些不自然的場景，這些場景中出現了偽影、撕裂等等瑕疵。是的，基於MEMC的插中間幀演算法在高速運動場景或是複雜場景中的表現還不能說是完美，但在相對穩定的場景中，它能夠帶來較大的觀感提升，比較明顯的區別就是畫面不再有明顯的頓卡感。
高幀率是星辰大海
如果高幀率是星辰大海，那麼插幀技術就是我們衝向這片大海的衝鋒艇。由於影視行業的轉向還很漫長，短時間內我們需要透過插幀的手段來“提前”感受高幀率影片的好處，除了傳統的基於MEMC的插幀演算法外，現在業界還在研究基於人工智慧的插幀技術，以彌補傳統插幀演算法在複雜場景下會出現的缺陷問題，比如由上海交大Bao Wenbo博士等人研發出來的DAIN（Depth-Aware Video Frame Interpolation）插幀演算法就利用上了神經網路。
Depth-Aware影片插幀演算法的神經網路架構
這些新的由深度學習提供支援的演算法已經得到了廣泛的應用，上至百年前的電影，下至近幾年的新片，它都能夠很好地應對，比如我們之前就介紹過有人將百年前的《火車進站》插幀至60fps，其中使用的正是上面介紹過的DAIN演算法，其實際效果還是相當優秀的。
高幀率儼然已經成為時代新聲，不管是高重新整理率螢幕還是高幀率內容，都是人們在追求的新鮮玩意兒。在這個天天對著螢幕看的數字時代，高幀率應用直接有效地提升著我們使用裝置時的體感，讓眼睛看到的景象更為自然合理。原本我們在電視或PC端才能夠體驗到由插幀技術補足的影片內容，現在隨著硬體插幀功能被手機整合，我們在手機端也能夠享受到它在視覺體驗上面帶來的巨大提升，每時每刻都可以體驗到60幀甚至120幀的影視內容，可以說是大大降低了體驗高幀率內容的門檻，讓那塊高重新整理率螢幕物有所值。
毫無疑問，插幀技術走入手機是一件好事，因為好的技術需要被大範圍的推廣開來為普通使用者所知，才能成為真正優秀的技術。如果說之前的插幀技術是小眾玩物的話，那麼在手機廠商的推動下，它有望變成一項大眾技術，被更多人感知到，在視覺層面上提供更好的體驗，受益的，是每天都要用手機進行娛樂的我們。同時，插幀技術的流行也能夠讓更多內容創作者選擇製作原生高幀率的內容來滿足新時代使用者們的新需求。
