愛伊米

感測器的偽像——噪點

多年來,數碼相機中的影象噪點問題一直是攝影師所關注的。影象噪點常常被描述為鹵化銀膠片顆粒的等價物。儘管噪點看上去與照片和幻燈片中的顆粒差不多,但是當它以低頻雜色或與偽色相結合出現時,可能更加令人厭煩。(下圖展現了數碼相機影象上的噪點)。

感測器的偽像——噪點

眾所周知,數碼相機的噪點(noise)主要是指數字影像感測器(CMOS/CCD等)將光線作為接收訊號並輸出的過程中所產生的影象中的粗糙部分,也指影象中不該出現的外來畫素,通常由電子干擾產生。至於它產生的源頭難以去界定,可以肯定的是產生噪點的源頭不止一個,而且在影象強度中都是以變化的形式出現的。

噪點來源可以大致分為:固定噪點(fixed pattern noise, FPN)和隨機噪點。

固定噪點(FPN)是指整幅影象的固定空間位置形成的影象噪點。

感測器的偽像——噪點

它形成的根源主要是因為不均勻暗電流(Dark Current Non-uniformity, DCNU),整個感測器陣列中每個畫素上的暗電流都不一致的時候,就產生了噪點。暗電流是一股微電流,它持續不斷地流遍整個裝置,即便沒有光子到達感測器也是如此。由於暗電流產生是一個隨機的過程,所以減少DCNU引起的噪點是有可能的,透過從被攝影象上減去每個畫素的平均暗電流可以減少噪點,但無法消除它。

多數FPN噪點是在黑暗條件下產生的。常照明條件下,不均勻暗電流(DCNU)一般是看不見的,但是如果曝光時間較長時,就能夠觀察到。長時間曝光,使感測器產生高溫,而高溫能夠加重不均勻暗電流DCNU,所以在長時間曝光、曝光不足或光線條件較差的情況下,所攝影象噪點較為明顯。而天文攝影中,使用的感測器要經過不斷冷卻以降低DCNU的程度,以此來降低噪點。

下圖為天文攝影大師Peter Ward的作品

感測器的偽像——噪點

感測器的偽像——噪點

感測器的偽像——噪點

感測器的偽像——噪點

隨機噪點

隨機噪點是從一幅影象到下一幅影象間的噪點變化。和FPN不同,隨機噪點可透過數次曝光後的影象平均值加以去除。用平均畫幅來減少噪點效果是人類視覺系統的一大特徵。當你看電視或電影時,你的眼鏡自然會透過平均一幀接一幀的畫幅來消除影象上的大多數噪點。導致隨機噪點的根源包括拍攝噪點、重置噪點、讀取噪點和暗電流拍攝噪點等。關於成像系統性能中影象噪點效果的量化是透過測量信噪比(signal-to-noise ratio, SNR)而得出的。較高SNR值對應於較高的訊號質量和相對較低的噪點水平。反之SNR值較低時,影象質量隨之降低,影象上的噪點也就越發明顯了。

關於降噪

大部分數碼相機都會採用某種內部處理的方式降低影象的噪點水平。在將影象傳輸到電腦之後,使用具有降噪功能呢的軟體進行處理,也能減少影象中的噪點。程度嚴重的噪點較難清除,尤其當噪點和色彩偽像混合時最難以清除。這種情況下,降噪演算法有時不能降噪和精微的影象細節區分開來。有時寧可在影象上留下噪點也不能一味的大規模應用降噪功能,因為這會導致影象細節的損失。

感測器的偽像——噪點

針對OPPO要自研晶片的種種疑問,7月6日,OPPO中國區總裁劉波接受了媒體採訪。

在採訪中,主持人提問:“OPPO有沒有做自研晶片的打算?”

劉波表示,當你需要的時候你可能就去做,我們去做底層的硬體跟軟體的研究,當軟體需要跟硬體配合的時候,我們就會去找我們的供應鏈前端一起研究,按照我們的要求去做。當有一天做不了的時候,我覺得不排除自己做吧,其核心在於去解決問題。

當前手機廠商自研晶片已經不是新鮮事,大家熟悉的蘋果、三星、華為都有自研晶片,小米也曾釋出過搭載自研晶片的手機小米5C。

除了上述手機品牌,谷歌也在秘密研發手機晶片,有訊息稱谷歌即將在下半年釋出的Pixel 6系列將會搭載自研晶片,其效能將會比較高通驍龍8系列。

業內人士表示,自研晶片考驗的是資金和技術的持續投入能力,針對手機應用處理器(SoC),長時間、高強度的資金和技術投入是產品研發成功的必要條件。

晶片要想越做越好需要一個良性的迴圈,晶片用在終端上,產品帶來盈利,未來才能有更多資金投入到晶片研發上,而有了更多資金,後續晶片的效能才能越做越好。

最後我們來了解下,ISP晶片究竟有什麼作用?為什麼手機廠商紛紛開始自研ISP晶片?

所謂ISP,即Image Signal Processor(影象訊號處理器)的縮寫,一般用來處理Image Sensor(影象感測器)輸出的影象訊號。它是影象處理的核心器件,在手機影像系統中佔有核心主導地位,是手機晶片系統中的重要組成部分。

根據魅族核心團隊《相機系統綜述》一文所述,使用者在拍攝景物時,景物透過Lens(鏡頭)生成光學影象,然後投影到Image Sensor(影象感測器)上,經過光電轉換、A/D轉換生成Bayer格式的原始數字影象,然後輸出到ISP(影象訊號處理器),經過演算法處理,最後輸出使用者可見的影象。

感測器的偽像——噪點

圖源:csdn

換句話說,我們在拍攝相片時常說的圖片的銳化、降噪、色彩最佳化,還有計算攝影裡面常見的自動對焦、自動曝光、自動降噪、色彩調整、物體識別和自動白平衡等功能,乃至於早已習以為常的雙攝像頭、三攝像頭支援基本全都是在ISP中處理完成的。只有優秀的ISP晶片加上優秀的相機模組,才能帶來優秀的成像效果。

當然,鑑於ISP的重要性,現在各家處理器廠商內建的ISP也越來越強大。例如高通驍龍888處理器內建的Spectra 580 ISP,能以每秒處理27億畫素的速度拍攝照片和影片,擁有著三重併發、三重並行的能力,支援單幀逐行HDR功能,計算影像能力大幅提升,其效能足以滿足手機市場的需求。不僅如此,採用內建ISP還能降低開發難度、降低成本價格、提高產品的上市速度,有利於佔領市場。

感測器的偽像——噪點

但是,使用內建ISP當然也有相應的不足之處。首先,內建ISP是封裝在處理器內部的,基本上只有在處理器更新的時候,對應的內建ISP才能獲得迭代更新。如今,在影象感測器高速迭代的背景下,內建ISP卻基本保持著一年一更新的頻率,確實有點跟不上廠家的節奏。

其次,基於同樣處理器生產出來的手機,其ISP的效能自然也是一樣的,可供調教的條件也是固定的,這樣不利於實現產品的差異化。選擇自研ISP,OPPO就可以根據自己的需要設計外接ISP驅動,設計自己的對焦、降噪、曝光策略,沒準能夠得到比內建ISP更加出色的畫面質量。不僅如此,選擇外接自研ISP,那麼就可以在採用同一顆處理器的情況下,自行搭配不同型號的ISP,以此實現產品的差異化,給使用者提供更豐富和優質的產品。

現在智慧手機影像競賽越來越激烈,自研ISP有可能成為未來影像領域的新趨勢。在同質化感測器以及差異化的影象演算法上,各大廠商都擁有自家成熟的技術。但在ISP處理晶片方面,手機廠商們為了能夠得到極佳的成像效果,尋找上游晶片廠商進行定製,有望帶來專屬的影像體驗。現如今,OPPO自研獨立ISP晶片的曝光,或許它承載著OPPO在影像道路上的新追求和新夢想。相信不僅僅是OPPO,以後會有更多的國產手機廠商也加入到自研晶片的賽道上,讓我們拭目以待。

昊攝影

宣告

:本文內容系作者個人觀點,不代表感測器專家網觀點或立場。更多觀點,歡迎大家留言評論。