愛伊米

手機廠商在造芯這件事上捲起來,就為這?

楊淨 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

你敢信,為了讓你的手機能直接拍出大片效果,工程師們竟幹出了這種事:

投入300+人力,死磕造芯。

此前,他們從零到一,花費兩年時間為了讓夜景拍攝更清晰。

這次僅半年時間,他們又迭代出Plus版本,將人像又升級到新的水準……

什麼時候開始,手機的影像系統已經卷到這種程度了?

一直以來,影像系統是各大手機廠商釋出會上的主角這無可厚非,畢竟這是使用者最能直觀感受到的。

但起初也只是拼拼畫素、比比攝像頭數。或者更高階一些,就是看有哪些個性化演算法,比如美顏區分男女生、場景識別、夜景降噪之類。

手機廠商在造芯這件事上捲起來,就為這?

現在怎麼就有廠商專門研發起晶片來了。

而且這種趨勢還有增無減,已經開啟逐年迭代的模式。

為什麼手機影像探索,現在要靠晶片了?究竟還有哪些發揮空間?

手機影像逐步走入內卷

要搞清楚手機影像的“內卷”邏輯,需要著眼於整個手機影像發展史來看。

自世界上第一臺具備相機功能的手機夏普J-SH04誕生之日(2000年)起,影像就已經成為手機廠商比拼的新賽道。

從技術維度上來看,影像升級無外乎硬體和軟體兩個方面:

硬體包括攝像頭、感測器以及攝像模組、晶片等;軟體即演算法。

但從時間維度來講,手機影像可以說是一段迴歸本原的過程。

手機廠商在造芯這件事上捲起來,就為這?

表面上來看,手機影像的前十幾年,一直處在硬體“內卷”的時代。

當時各個廠商的思路是模擬相機、超越並代替相機。

最早開始內卷的是以CMOS材質為代表的影象感測器,尤其是2010年iPhone 4搭載的背照式感測器,後來直接將各大手機畫素提升到了幾千萬的水平。

理論上在暗光拍攝時,可以大幅降低噪點。而且隨著CMOS面積越大,影像也就越清晰,也就是數碼圈常說的“底大一級壓死人”、“底大為王”。

但手機留給CMOS的空間實在有限,想要從物理上(感測器面積變大)達到相機的效果,短期內顯然是行不通的。

之後即便在攝像頭質量、數量上有突破,但都很快成為手機標配,在行業裡沒有激起太多水花。

這時候,一些廠商開始著力於手機本身的優勢,打造適用於手機拍攝場景的技術,也先後探索了多條不同的路徑。

最終事實證明,真正可以讓手機影像打出差異化的,在相機演算法上:

自動HDR、夜景自拍、超級人像、模擬大光圈、舞臺模式、4K影片……

手機廠商在造芯這件事上捲起來,就為這?

這些應接不暇的功能,相信你也或多或少有所感知。

此時手機的成像過程,已經不再像是相機那樣直給,而是在最終畫面呈現之前,還要經過ISP、DSP、DPU等多個處理器的實時計算最佳化。

這也就給手機算力帶來了挑戰,尤其在面臨多個攝像頭時,計算資料量更是成倍增長。

如果算力不能支撐,演算法再怎麼優秀使用者也無法感知。

這時候,留給手機廠商的有兩條路徑,一種依賴於上游SoC平臺升級來最佳化演算法,另一種則是主動研發相容的影像晶片,來滿足自身演算法的實現。

一種是十分被動,還可能面臨不相容的困境;另一種則是風險高,一旦失敗所耗費的成本不堪設想。

顯然,第二種是一條更難而正確的路,也是當下主流廠商選擇的一種方式。

如果說,感測器的侷限性倒逼手機廠商思考手機本身的可能性;那麼,演算法的侷限則是再次倒逼手機廠商迴歸本原思考——

瞭解使用者究竟需要什麼,才能給出更個性化的演算法體驗。

去年,這種自研影像晶片的趨勢十分明顯,其中以手機影像第一梯隊的vivo最具代表性。他們率先在自己的旗艦X70系列搭載了自研的V1晶片,還提出了行業指向標——“雙芯標準“。

V1晶片真正解決了包括實時夜景拍攝在內的一系列業界公認的影像技術瓶頸。

手機廠商在造芯這件事上捲起來,就為這?

在vivo自研晶片V1的加持下,手機能夠以低功耗執行實時超高畫質夜景拍攝的去噪和插幀。

事實上,透過自研晶片來解決技術瓶頸的案例不在少數。

而且隨著最近vivo V1+晶片釋出,我們發現自研影像晶片給手機帶來的可能性,已經遠不侷限於影像本身。

這次Plus版有啥看頭?

這次新發布的V1+晶片,定位變成了ASIC(專用積體電路)。

相比V1晶片更側重影像處理,V1+無論是在效能還是功能上,相比V1都要有所提升。

先來看效能引數。

V1+的資料吞吐速度平均在8GB/s,理論上最高能達到25GB/s;功耗降低72%(V1約降低50%),能效則提升了3倍。

這是什麼概念?

直觀來看,這讓手機能執行更多以往“吃不消”的高效能演算法。

例如,手機影像中幾乎最消耗效能的三個演算法,就能一口氣全部硬體化封裝到V1+晶片中:

3D實時立體夜景降噪、MEMC插幀和AI超解析度演算法。

手機廠商在造芯這件事上捲起來,就為這?

其中,MEMC插幀和實時夜景降噪從V1晶片延續而來,不僅能讓手機以低功耗執行超高畫質夜景拍攝的實時去噪和插幀,還透過進一步升級,直接用演算法把手機打造成了一部專業級的“夜視儀”。

這一特性,讓手機在照度小於1lux的極暗環境下,也能進行實時影片拍攝(常規閱讀所需照度大約在300~400lux)。

手機廠商在造芯這件事上捲起來,就為這?

至於AI超解析度演算法,更是vivo在移動端的首次實現,讓V1+跳出了大夥兒對它“影像處理”的認知。

嗯,現在壓力來到了手遊廠商這邊(手動狗頭)。

那麼問題來了,V1+晶片究竟是怎麼做到上述功能的?

一方面,V1+針對自身架構進行了最佳化,例如在晶片上集成了一塊SRAM,用於緩解儲存牆、降低訪存功耗,進一步提升能效;

另一方面,V1+晶片這次並非“單打獨鬥”,而是和天璣9000晶片進行了雙芯聯合除錯。

這次除錯耗時近350天,團隊規模達到300人以上,整個過程一共產生了30多項專利。

還把影像玩出了“排列組合”

跳出晶片來看,vivo這次還自研了更多影像演算法,並將它們“排列組合”出更多好玩的功能。

單就人像來看,vivo表示“每張人像照片,背後都隱藏了數十個複雜演算法”。

幾個人的美顏只是小打小鬧,vivo甚至直接針對多人場景搞了個“質感人像合影”功能,最高支援同時處理30個人。

也就是說,AI人臉超清、立體膚色及膚質最佳化多個演算法能夠針對最高30個人同時執行,演算法效能(執行時間、佔用記憶體等)相比最佳化前最高提升了4倍。

手機廠商在造芯這件事上捲起來,就為這?

這樣一來,即使站在合影邊緣也能看清自己的臉了。

手機廠商在造芯這件事上捲起來,就為這?

人像以外,vivo還搞出了“地平線照片”等功能,將實時位置檢測、防抖修正補償等演算法同時執行。這樣拍完不用修,直接就能發朋友圈(狗頭):

手機廠商在造芯這件事上捲起來,就為這?

除了這些讓照片“更好看”的演算法,vivo這次還藉助蔡司自然色彩2。0進一步提升了攝影照片的“準確性”,其中亮度準確性能提升16%,白平衡最高提升了12%。

基於AI感知引擎,vivo自研了“智慧白加黑減”和“智慧自動白平衡”技術,前者目的是得到曝光合適的照片,後者則降低光源對物體顏色的影響,而這些原本都是靠攝影“老法師”們手動進行調整的。

綜上從效能和功能兩方面來看,vivo並不打算如業界多數手機影像內卷的那樣,以引數對標“專業相機”。

畢竟受硬體等因素所限,引數上對標專業相機,也絕非手機相機的“專長”,相比之下,手機影像更應該思考的是如何打出差異化路線。

事實上,相比專業相機,手機同時作為影像的競技者(拍照)和裁判者(顯示),理應在顯示上具有更大的話語權。

手機廠商在造芯這件事上捲起來,就為這?

vivo察覺到了這一點,除了提升影像效能以外,也一併提升了螢幕顯示的效果。

將拍照和顯示色域擴充套件至Display P3色域,色彩範圍擴充25%;安卓首發自研的XDR Photo技術,讓照片高亮區域亮度最高可提升350%,真正將影像的效果在螢幕上展示出來。

沒錯,在鏡頭和演算法之外,vivo連螢幕也主動捲起來了,可謂將手機影像所有可能發力的空間,都抄起來捲了一遍。

放到整個國產旗艦機發展歷程中來看,這樣的拼命“內卷”並不罕見。

留給國產旗艦的空間不多了

回顧整個手機技術發展的過程,“內卷”似乎是一種非常普遍的現象。

它並非只在影像中出現,而是遍佈手機身上的每一塊“技術域”。

從手機硬體效能開始,記憶體從幾十MB進化到4GB再到8GB,晶片核數越疊越多;到後來的螢幕顯示,從1080p到2k到現在部分廠商研發的4k,清晰度越來越高;再到各種創新的功能……

手機廠商在造芯這件事上捲起來,就為這?

幾乎每當一片新領域被開發出來,廠商們就會一擁而上,爭相研發相關技術,唯恐被落下。

這也已經成為手機廠商們“心照不宣”的一種預設發展方向:

只要新技術跟進得夠及時,引數夠格,料堆得夠多,看上去就是一款“業界頂流”的手機,而使用者就會為此買賬。

可以感知到,每個技術一旦探近成熟的極點,“內卷”的速度就會被加快,而影像“內卷”不過是這一過程具象化的體現。

一方面,新技術研發成本高,試錯機會少,一旦大力投入研發,後果很可能是有投入沒產出,一如當初堆疊小畫素但最後銷聲匿跡的影像感測器路徑。

另一方面,相比自研手機技術,市場、銷量等因素往往更能成為手機廠商關注的焦點。

相比自研更多技術、或是將更多專利握在手中,不斷基於成熟的、經過市場驗證的技術推出新機、或是打價格戰,顯然是更穩妥的方法。

然而,這樣“內卷”的結果也導致手機並不具備真正的競爭力,一旦市場發生變動就可能被落下。

如去年受缺芯等因素影響,去年年末,蘋果就成功以23%的市場份額,佔據中國手機市場榜首。

手機廠商在造芯這件事上捲起來,就為這?

這種情況下,留給國產旗艦作出改變的空間不多了。

是繼續保持引數的“內卷”,還是想辦法在已有的技術上推陳出新,廠商們各自有各自的思路:

例如推出旗艦子品牌,或是將中低端機型和高階區隔開來,再或是分割出一塊業務專門主打旗艦……

但無論怎樣基於品牌的改變,只要不真正推出新技術,本質的路徑都還是一樣:迴歸內卷。

這種情況下,以使用者需求為導向,主動自研新技術,或許是擺脫內卷的唯一出路。

回顧vivo X系列的發展歷程,這種靠自研衝出“內卷”的案例並不罕見:

Hi-Fi音樂手機、2K螢幕、雙2。5D弧面玻璃屏、前置柔光雙攝、屏下指紋、微雲臺防抖鏡頭……

可以看到的是,他們倒也不是為了行業卷而卷。

因為相比堆疊硬體和引數在手機市場上卷出的一條“血路”,vivo的選擇更像是一場廠商與使用者雙贏的結果——廠商自卷,使用者受益。

畢竟任何一件產品,最終需求在使用者。產品好不好,使用者一用就知道,如此形成的使用者與廠商之間的閉環,這個行業才能健康可持續地發展。

如今這塊即將用在X80系列上的V1+晶片,或許也是vivo在打破“內卷”上再次嘗試的新路徑。