本文轉載自計算機視覺life
從第一臺帶有攝像頭的手機誕生開始，短短的十幾年內手機攝像技術得到了質的飛躍。防抖、暗光高畫質、HDR已成手機標配，隨著智慧雙攝、智慧場景拍攝等AI拍照功能加入，使得手機攝像技術的對標也直指單反。市場的激烈競爭，使得手機廠商自然不會放過每一次技術革新帶來的鉅變。隨之而來，作為產業上游——手機攝像產業又會面臨怎麼樣的洗牌和迭代故事？
手機攝像頭髮展趨勢
2009-2012單攝畫素的追求與3D內容雙攝的嘗試
早期單攝像頭手機時代，手機在拍照方面還是以單純的提高影象解析度為主，在普通大眾眼裡，“手機畫素越高，拍照效果越好”，手機影象感測器的解析度從早期的30萬畫素一路飆升到千萬畫素以上，手機拍照也就逐漸取代了卡片相機，這一階段隨著2012年Nokia 推出高達4100萬畫素808 PureView手機而達到高潮。
由於手機本身追求輕薄化的外觀，硬體的限制導致單純提高解析度並不能夠有效提升拍攝質量，因為兩千萬的畫素已經接近手機影象感測器成像的極限，故當前手機拍攝都鎖定在800-2000萬畫素之間。
2011年，3D概念非常流行，比如3D電影、3D電視，當時在手機領域大紅大紫的HTC想成為第一個吃螃蟹的廠商，推出了3D手機HTC EVO 3D，後置500萬+500萬畫素彩色相機，主要用來拍攝3D照片和3D影片，實現裸眼3D效果。LG、夏普也隨之推出類似功能。不過，由於當時的3D效果不好，並且實用性較差，3D影片分享也不方便，這類手機嘗試也隨著3D熱潮退去。
2013-2016多元化需求點燃雙攝走向成熟
2013年，智慧手機拍攝已經向夜景/暗光拍攝、防抖拍攝、全景拍攝、HDR拍攝等多元化需求轉變了。在這一年9月，iPhone 5S主打拍攝也進一步刺激了市場。與此同時，HTC再次選擇雙攝想來打個翻身仗，2014年3月，HTC推出了用於背景虛化的雙攝手機One M8，配備主攝400萬+副攝200萬後置彩色攝像頭，目的是想在手機上用雙攝獲取景深以實現單反大光圈的拍攝效果。遺憾的是，HTC雖然硬體設計能力很強，但是雙攝配套軟體，尤其是雙攝核心演算法方面還不成熟，其背景虛化效果在稍複雜的的場景便會出現明顯破綻，加上副攝像頭所能提供的細節資訊太少，實用性不強，因此並沒有被市場所認可。至此，HTC在雙攝方面兩次嘗試都已失敗告終。
圖片來源：小米6、小米 8、ArcSoft虹軟官網
回頭看，全球第一款真正意義的雙攝手機應該是鉑頓（大觀5），這是由酷派在2014年8月推出的。該手機後置RGB+RGB雙攝，拍攝人物主體銳利突出，背景虛化效果自然，該RGB+RGB雙攝方案得到了使用者和市場的認可，成為後來RGB+RGB的雙攝主流方案。另外，華為在那個年代，也開始在雙攝方面佈局，不過華為早期嘗試的是另一種稱之為“拼接雙攝”的技術方案。2014年12月，華為推出了其第一款雙攝手機榮耀6 Plus，後置800萬+800萬畫素RGB+RGB配置。這款雙攝手機主打的是低畫素合成高畫素，也就是兩個800萬畫素鏡頭拼接合成一張1300萬畫素照片，所以稱之為“拼接雙攝”。不過因為成像效果落後於同時代手機，且背景虛化時前景物體邊緣過度不自然，市場反應平平，因此華為也選擇了淡化這款手機，不再推出其下一代產品。
圖片來源：ArcSoft虹軟官網
2015年8月，奇酷360推出 RGB+Mono旗艦版雙攝手機，也是全球首款採用RGB+Mono組合的手機。由於暗光成像效果出色，該雙攝組合後來也成為主流的雙攝配置，為後來該方案大規模普及奠定了基礎。隨後，2016年4月華為也釋出了採用RGB+Mono方案的雙攝手機P9。這款手機與徠卡合作開發，無論是光學水準、品控、鏡頭模組的打磨，還是後期軟體演算法的調校都比較出色，能夠實現大光圈、黑白相片、徠卡德味的照片效果。市場反響不錯，因此之後華為大部分旗艦手機都選擇了RGB+Mono的雙攝配置。
安卓廠商的創新也進一步刺激了蘋果公司，2016年9月蘋果推出廣角+長焦（wide+tele）的iPhone 7 plus，該組合的目的是實現光學變焦。這其實是一種非常樸素的變焦思路：用兩個焦距不同的攝像頭搭配，寬視角的廣角鏡頭可以“看”的很廣，但是“看”不清遠處的物體，而窄視角的長焦鏡頭雖然“看”的範圍不大，但是“看”的更遠更清晰。廣角和長焦鏡頭組合搭配，在拍照時透過鏡頭切換和融合演算法就能實現相對平滑的光學變焦。高畫素的長焦鏡頭能保證廣角鏡頭因變焦而損失的影象資訊遠低於單攝像頭的數字變焦（假變焦），從而得到較好的光學變焦體驗。此次iPhone 7 Plus的雙攝像頭升級是iPhone問世以來在攝像頭方面最大的一次改變。
演算法公司與模組廠商是成就雙攝的主要功臣
演算法公司對雙攝的發展起了非常大的促進作用，對行業起到最大作用是Linx、ArcSoft虹軟、Altek這三家公司。Linx因被蘋果公司收購而出名，蘋果雙攝基本採用該公司的軟硬體方案。ArcSoft虹軟則是2014年酷派RGB+RGB與2015年奇酷的RGB+MONO的背後雙攝演算法提供方，當前各安卓手機的Wide+Tele方案主要也是該公司提供的解決方案， Altek則主要是早期給華為提供雙攝模組以及演算法的供應商。
雙攝模組廠商主要有三星電機（SEMCO）、LG Innotek、舜宇（Sunny）、歐菲光（O-Film）、丘鈦（Q-Tech）、信利（Truly）、光寶（Liteon）。早期雙攝市場不明朗的時候，觀望徘徊是雙攝市場的主流，很多安卓手機廠商密切關注蘋果在雙攝方面的動向。保守的策略雖然暫時是安全的，但是也會錯失行業的歷史性機遇。這方面比較有進取心和定力的是大陸老牌模組廠舜宇光學（Sunny Optical），率先在雙攝模組研發方面發力。依靠深厚的技術積澱，舜宇在2015年自研成功了AA裝置，為2017年雙攝爆發積蓄好了技術和經驗，最早在雙攝模組領域站穩了腳跟，目前舜宇是大陸雙攝產業鏈中最受益的模組廠商。
單攝像頭手機時代，演算法供應商與模組廠之間是獨立運作，不需要交流，廠商直接採購鏡頭，演算法公司則直接在手機生產尾期進入除錯成像效果，演算法供應商在產業鏈中的話語權並不高。而在手機雙攝時代，手機產業鏈格局發生很大變化，雙攝演算法供應商開始扮演重要的角色。這是因為手機雙攝軟硬體技術門檻都很高，首先需要模組廠製造出高精度高一致性的雙攝模組，和單攝相比製造難度成指數級上升，但是世界上沒有兩片完全相同的葉子，套用在雙攝模組上也同樣適用，由於製造工藝的誤差，兩顆攝像頭不可避免會在鏡頭引數和組裝精度有所不同，這就需要演算法供應商的相機標定演算法對誤差進行測量並後期修正。
在雙攝演算法中，相機標定可以解決兩個相機生產過程中由於製造誤差產生的光軸不平行問題，同時校正由於廣角鏡頭造成的影象畸變，是雙攝演算法的基石。雙攝模組標定的幾個關鍵評價點是：1、標定精度高，這是雙攝演算法基礎；2、標定速度快，對出貨量極大的手機來說時間就是金錢；3、標定方案簡單易用、可以快速部署；4、標定圖案物體尺寸小，方便工作站使用；5、標定方案魯棒性強，具有良好的容錯性，即使出現的偏差也不會對結果有大影響；6、相容性強，適用於多種雙攝組合，可以重複利用。
雙攝標定示意圖
雙攝模組一般分為共支架和共基板兩種，其中共支架方案組裝精度更高，而共基板的方案組裝精度低一些，成本也相對低。不過隨著模組廠組裝工藝的不斷改良和提升，兩種方案的精度差別逐漸縮小。此外，最近還有一種“無支架”的概念，所謂“無支架”並不是沒有支架，其本質就是繞開模組廠的封裝和標定，手機廠商把兩顆單獨的鏡頭直接放置在手機上。這種方式雖然看似節省了部分模組封裝的成本，但存在一定的隱患，其一，手機在售後維修過程中，兩顆相機很可能發生移動，如果沒有專業的人員和特有的標定工具進行重新校準，很可能會極大的影響雙攝成像效果，所以手機廠商必須要引進專業的維護人員及新的裝置，這無疑增加了售後流程的複雜度和投入成本。其二，即便平時使用過程常見的摔碰、拆機等情況，無支架方案也比主流雙攝方案的手機更容易出現鏡頭錯位的情況，影響消費者的使用體驗，所以，目前這種無支架方案還僅僅在對成本敏感的部分低端機上使用。無支架方案的產生，主要出於手機廠商對成本的考量，雖然各主流演算法公司都有在跟進，但前景如何還需市場進一步考驗。
演算法供應商需要根據手機廠商的需求，針對不同搭配組合的雙攝模組進行針對性的雙攝演算法設計和最佳化，實現背景虛化、暗光高畫質、光學變焦等功能。最後手機廠商聯合模組廠、演算法供應商等進行拍照效果的聯合調優。雙攝演算法門檻極高。主要體現在如下幾點。
演算法研發壁壘高。雙攝演算法涉及計算攝影學、計算機視覺、光學、攝影美學等多個交叉領域的融合，屬於新興的技術，很多時候是摸著石頭過河，既要緊跟前沿學術研究，又要腳踏實地產品化落地。另外對演算法的魯棒性要求極高。一方面由於手機出貨量巨大，且內部集成了成百上千種元器件，很難保證同一型號所有攝像頭模組硬體引數一致；另一方面，使用者拍照場景（環境光照、運動狀態、角度、距離等）千差萬別，這就要求演算法能夠在許多不利環境下仍能正常工作，這對演算法魯棒性提出了極高的要求。
工程化應用要求高。手機產業對時效性有非常苛刻的要求，如果手機雙攝開發流程出現問題，演算法供應商要能夠第一時間幫助客戶定位問題解決問題，這需要非常緊密的上下游產業鏈協同合作和豐富的行業經驗。此外目前大部分雙攝旗艦機都是由演算法供應商根據不同的硬體進行高度定製化開發，需要能夠根據客戶的需求進行快速的調整和最佳化，尤其是手機上市前，演算法提供商需要具備一隻強大的現場支援工程師團隊。
產業鏈合作要深入。演算法提供商提供的其實是一整套雙攝技術解決方案，演算法本身是基礎，此外還需要對處理器平臺廠商的處理器架構非常熟悉，形成戰略合作，從而將演算法融入處理器平臺，此外需深入瞭解手機廠商的需求，打通處理器平臺廠商和手機廠商之間的快速通道，幫助客戶將雙攝技術快速落地。
當前，全球能夠提供核心雙攝演算法的公司並不多。蘋果、華為都有軟硬體閉環的生態，所以有能力透過收購或者自研的方式元件自己的演算法團隊。除了蘋果華為之外，第三方開放演算法供應商ArcSoft在安卓市場佔據絕對的領導地位，具備所有雙攝組合的解決方案，主流手機八成以上的安卓旗艦手機都採用的ArcSoft的雙攝方案。以色列的演算法供應商Core photonics在競爭激烈雙攝領域已逐漸被擠出市場。臺灣的華晶科技（Altek）既做模組也做影象處理ASIC，其雙攝演算法效果比較一般，主要搭配硬體面向低端手機市場出售。
2016-2018雙攝全面爆發，產業鏈基本定格
雙攝已進入標配期，產業鏈也基本定格。根據IHS Markit 提供的資料，2017年全球手機出貨量市場份額如下。中國手機廠商華為、OPPO、vivo、小米的總市場份額約等於三星和蘋果的市場份額之和。而雙攝在中高階裝置滲透率已超過50%。
2017年全球top7手機廠商對應的雙攝演算法公司、處理器平臺廠商、相機模組廠商如下所示：
目前，雙攝演算法主要分為以下幾大陣營。
蘋果依靠收購的Linx公司和自身多年的影象處理技術的積累，在iOS系統上形成了閉環的生態系統。其推出的雙攝手機均為後置Wide + Tele組合。
安卓旗艦雙攝手機市場，華為憑藉內部演算法團隊和海思麒麟處理器形成了類似蘋果的生態閉環。其推出的雙攝手機幾乎都是RGB + Mono組合。
除了華為外的其他安卓手機陣營。
ArcSoft虹軟是雙攝演算法供應商的引領者，主要面向中高階手機，估計其全球主流雙攝手機出貨量已超過80%。虹軟提供Wide + Tele、RGB + Mono、RGB+RGB全部的雙攝組合解決方案，並且和平臺廠商有非常深入的合作，產品落地能力極強，行業口碑很好。低端雙攝手機方面，手機廠商為了節省成本，一般不會單獨定製雙攝演算法，主要是使用平臺廠或模組廠提供硬體時搭配的雙攝演算法，效果非常普通，但是價格便宜。
手機攝像頭模組的核心零部件主要包括：影象感測器（CIS）、鏡頭（Lens）、音圈馬達（VCM）、紅外濾光片（IRCF）等。主要供應商都集中在亞洲的日本、韓國、中國大陸、中國臺灣地區。根據TrendForce釋出的手機產業鏈市場資料， 2017年CMOS感測器的市場份額最大，之後依次是模組、光學鏡頭、音圈馬達和濾光片。雙攝應用後，模組封裝技術難度增大，鏡頭要求更高，因此其相應產業鏈的附加值提升速度已加快。
雙攝模組廠供應商非常多，位於第一梯隊的主要有：舜宇（Sunny）、歐菲光（O-Film）、三星電機（SEMCO）、LG Innotek（蘋果手機供應商）、丘鈦（Q-Tech）、信利（Truly）、光寶（Liteon）。下圖是2017年手機攝像頭模組廠市場佔有率（資料來源：TSR）
雙攝鏡頭供應商方面，臺灣的大立光電（Largan）是絕對的龍頭企業，2017年出貨量佔全球市場超過3成份額。此外，出貨量較大的還有中國大陸的舜宇（sunny）、韓國Sekonix等公司。
雙攝音圈馬達供應商主要有：日本的Alps、TDK株式會社、三美電機株式會社（Mitsumi）、韓國的Jahwa幾個廠商。
當前雙攝處理器平臺廠商主要有：高通、三星、蘋果、華為海思、聯發科。
2018-2020手機攝像未來趨勢：向多攝與深攝蔓延
2017年是雙攝手機爆發的元年，如今各大手機廠商旗艦機不管是前置還是後置基本都是雙攝配置，並且隨著雙攝成本的下降，雙攝手機必然將下沉到千元機。接下來，手機攝像頭如何發展，是擺在業內人士的一個問題。對於行業來說未來有挑戰更有機遇：
1
多攝像頭手機方案
雙攝的成功，自然會讓人想到使用更多的攝像頭的方案，第一個嘗試該方案的是華為P20 pro，該機後置採用RGB+Mono+Tele的三攝像頭配置。從鏡頭的功能上來看，既可以利用RGB+Mono的組合實現超級夜景拍攝，也可以利用RGB+Tele實現光學變焦的能力。透過三個鏡頭的視覺差也可以獲取拍攝物件的景深，實現大光圈的效果。透過實際測試，華為P20 Pro三個攝像頭並不能同時工作，只是根據不同的應用場景進行兩兩攝像頭的組合，這種組合本質上是實現可變更組合的雙攝。
三攝鏡頭示意圖
將來可能出現三個及以上更多攝像頭（多攝）的方案，將不同的多攝像頭搭配可以組合出很多的玩法，將不同組合雙攝的優點集中在同一款手機上，所以實用性很強。據悉，下一代蘋果手機也很可能採用多攝像頭的方案。
2
高倍光學變焦
光學變焦在拍照中是非常剛需實用的功能，但目前基於W+T的雙攝手機一般實現的是2倍的光學變焦，和單反甚至帶伸縮變焦鏡頭的卡片機（至少5倍以上的光學變焦）相比，仍然有較大差距。因此，手機產業鏈對光學變焦非常重視，在未來的一兩年內手機上很可能會有以下兩種高倍光學變焦方案
多個（至少3個）定焦鏡頭組合實現高倍光學變焦。
本質上和之前雙攝的光學變焦原理類似，但是鏡頭的增加會提高硬體成本，對模組精度要求也較高，再考慮到光學防抖，對演算法供應商來說也是一個很大的挑戰。
潛望式光學變焦。
其原理是在手機機身內部放置一個和手機螢幕垂直的內驅光學變焦模組，然後利用折射鏡接收外界光線，這相當於讓複雜的光學變焦系統與機身實現了平行設計，不影響手機本身的厚度，而且和單反或伸縮式卡片機相比，可以更好的防塵防水。不過，潛望式光學變焦也有很多缺點：一是複雜的 光學變焦系統對模組製造及手機裝配有非常苛刻的要求，二是後期演算法的調教也比較困難。對模組廠和演算法 供應商來說都是很大的挑戰。
3
搭配深度相機
結構光方案深度相機
去年蘋果釋出了具備前置結構光深度相機的重量級產品：iPhone X，其殺手級的應用就是攜帶了 三維人臉識別技術的Face ID。其中結構光方案採用偽隨機散斑，該核心技術由蘋果公司收購的PrimeSense公司提供。今年，小米、OPPO也推出了前置結構光深度相機的手機。
那麼將來會不會前置結構光成為流行趨勢呢？這裡要打一個大大的問號。主要有以下幾個考慮：
蘋果的結構光軟硬體方案技術壁壘非常高，處於壟斷地位。就全球手機產業鏈來說，目前能夠提供足夠精度的結構光方案只有蘋果自己的供應鏈。除蘋果外的第三方供應鏈目前精度還相差甚遠，成本也居高不下。
目前安卓手機前置結構光方案和蘋果的技術方案 可能存在專利糾紛，一旦蘋果打專利戰，安卓陣營勝算不大。
結構光方案深度相機應用場景比較單一，主要集中在Face ID、動畫表情、人臉光效及人臉相關應用，未來可擴充套件應用空間有限。
結構光方案深度相機需要發射器和接收器之間保持一定的距離（基線），模組佔用空間較大，這對於空間非常有限的手機來說是很大的劣勢。
總之，結構光方案短時間內仍然掌握在蘋果手中，安卓陣營話語權不大。發展空間有限。
飛行時間方案深度相機
飛行時間（Time Of Fly，簡稱TOF）方案的深度相機在將來會有非常大的發展。和結構光方案相比，飛行時間方案有如下幾點優勢：
TOF方案相對簡單，產業鏈發展的比較成熟，如LG Innotek、Sunny optics、O-Film等一線模組廠都能夠提供高質量模組
TOF方案不需要發射器和接收器之間保持一定的基線，甚至基線為零都可以，因此其模組體積可以做的非常小。非常適合對空間要求苛刻的手機。
TOF方案可以透過發射功率控制使用範圍，既適用於使用距離較近的前置三維人臉應用，也可以在使用距離較遠的三維場景掃描、增強現實等領域使用，應用場景很豐富。
ToF成像原理
因此，未來一兩年內TOF方案很可能會成為手機深度相機發展的主流趨勢。
4
多功能攝像頭技術和其他影象技術的融合
隨著多攝像頭與深度相機的使用，手機可獲取到豐富的影象資訊，透過將這些資訊融合可以進一步提升暗光拍攝、逆光拍照、美顏、人像打光、HDR（高動態範圍）等功能；另外，AI技術也將與其他技術一起整合，產生更好玩的拍攝功能，除了進一步提升AI解鎖、AI場景識別、Animoji等功能，更多的人臉AR互動與體感互動將有可能是未來的主要方向。
