愛伊米

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

人工智慧快速發展的今天,影象影片識別在深度學習的加持下在各行各業廣泛落地。相較於2D計算機視覺,3D計算機視覺因為具有額外的深度資訊,可以輕鬆處理機器視覺中很多2D維度難以解決的問題。最近幾年,3D成像與3D計算機視覺演算法得到了快速發展。在以鐳射雷達,結構光,TOF,雙目立體視覺為代表的主要技術路線上都湧現出一些不錯的公司和產品,依託三維點雲資料在如工業質檢、精確測量、機械臂引導、物體定位、自動駕駛等場景進行落地。

除自動駕駛等少數幾個場景外,目前主流3D相機主要應用在室內場景。如智慧製造中的拆/碼垛、工業質檢、物體測量、機械臂引導、定位、分揀等任務,物流包裹測量分揀等任務。一方面,有應用場景挖掘的原因,另外也有技術上的原因。室外場景光照情況複雜,LIDAR方案得益於高功率的發射器和多回波技術可以很好地應用於此場景。其它構建在投射近紅外頻段光譜的3D成像技術比如結構光和TOF就會被陽光中相近的頻譜光干擾,導致精度嚴重降低甚至不能正常成像。

當前能適用於室外場景的3D感知成像只有鐳射雷達和雙目立體視覺兩個方案。鐳射雷達成本高,解析度低,精度通常只能做到釐米級,比如Livox系列固態雷達的絕對誤差在2釐米左右。雖然也有精度非常高的鐳射雷達,例如FARO的產品可以達到亞毫米級誤差,但成本非常高,通常需要數十萬到上百萬。

雙目立體視覺技術在中近距離的高精度深度感知方面具有非常大的潛力,它成本低,結構簡單,可以做到很高的解析度。為什麼市面上已有的基於雙目立體視覺的產品精度一直做不高?基於立體視覺的深度計算原理,其深度感知誤差會隨著距離的變遠快速放大(與距離的平方成線性關係),所以要得到高精度的深度圖是非常困難的。尤其是在室外場景下,會面臨複雜的光照條件:高光,弱光,逆光,陰影等,以及惡劣天氣如雨、雪、霧所帶來的影響。目前市面上的雙目立體相機在4米左右一般只能達到1%左右的Z值誤差,比如StereoLabs公司的ZED系列相機在4米處的實測誤差超過3釐米。

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

如果能做出一款高精度的雙目立體視覺3D相機,再結合雙目相機本身的低成本、高解析度的特點,必將在很多工業和消費應用場景中具備很大的落地優勢。SIGAI團隊經過長時間的市場分析和調研,發現很多行業的客戶對當前工業3D相機價格難以接受,迫切希望能將3D視覺感知硬體成本降低的同時能保持較高的感知精度,加速產品落地應用。

SIGAI團隊在機器學習和3D感知理解方向有多年的深厚積累,我們在解決自身核心產品的需求同時,進一步將雙目立體視覺相機在中近距離做到毫米級的誤差,為適配更多的行業應用打下了堅實基礎。

左圖為原始圖片,中間為國外知名廠商3D相機點雲圖,右邊為SIGAI Tensor 1 Pro點雲圖

目前SIGAI已經發布了其第一代產品Tensor 1 Pro。該款雙目相機在室外4米的距離內可以實現千分之一的z向誤差(

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

Tensor 1 Pro輸出的RGB圖和深度圖均具有4K的超高解析度。這為後續的智慧識別分析演算法提供了高質量的資料,開發者可以在此基礎上做出高可用的AI應用。

目前Tensor 1 Pro已應用於室外高精度測量場景,包括原木體積測量、集裝箱破損測量等。以木材體積測量為例,在室外4米的距離拍照,可以實現毫米級的木材橫截面直徑測量誤差,平均測量誤差4mm(1倍標準差),相對誤差僅為0。1%,機器自動測量結果已經超越了人工作業的水準。

SIGAI釋出全球首款室內戶外全場景毫米級精度低成本雙目立體3D相機

相對於市面上各條技術路線的3D成像產品,Tensor 1 Pro以較低的價格實現了高精度(毫米級)、室內外場景通用、高解析度。在保持高精度的同時,我們將產品的成本控制在了一個較低的水準,大幅度低於鐳射雷達、結構光相機、結構光主動雙目相機等類似產品。

雙目立體視覺的精度問題一直以來是學術界與工業界的一個難題。SIGAI是如何在這個問題上實現突破的?首先得益於其擁有的業內一流的機器視覺研發團隊,核心成員全部由來自於清華大學等知名高校的博士和碩士組成,在學術界與工業界均有豐富的經驗和深厚的沉澱。此前通常都就職於百度、英偉達等知名企業,主導過核心機器視覺產品的研發。團隊具備研發原創性演算法和強大的工程最佳化能力。為了提高雙目相機的精度,SIGAI在3個方面做了大量的工作:

1。高質量成像效果:眾所周知,成像效果直接關係到雙目匹配演算法的精度。尤其是室外場景下,在各種複雜的光照與氣象條件下獲取高質量的影象是提升雙目精度的第一步,SIGAI自研AIISP保證了複雜光照的成像效果。

2。雙目深度匹配演算法:這是雙目立體視覺的核心演算法,其輸入是左右相機的影象對,輸出是視差圖。根據視差圖和相機的內外引數,可以計算出每個畫素的深度值。SIGAI自研基於表徵引導的雙目立體深度匹配演算法,大幅度提升了演算法的精度和泛化能力。對於弱紋理等雙目視覺中的難題,也能進行有效處理。

3。海量訓練樣本:該雙目匹配演算法採用了基於深度學習表徵引導的方案,高質量訓練樣本是必不可少的。透過過去3年的積累,SIGAI擁有了各種場景下廣泛的、高質量的訓練樣本,為演算法的高精度提供了資料保證。

除用於精確測量任務,目前已有其他方向的使用者對這款相機表示出了濃厚的興趣。這些使用者正在尋找低成本、能用於室外場景(對於部分使用者)、高精度3D相機,對他們來說,Tensor 1 Pro無疑是一個好的選擇。如果你也有這方面的需求,可以關注SIGAI微信公眾號,向後臺傳送訊息並留下聯絡方式,我們將為你提供產品資訊解答或相關技術指導。