本文為“AR邊緣雲技術”專題系列第3篇，本公眾號將繼續推出“AR邊緣雲技術”專題系列文章，與各位分享相關資訊，敬請持續關注！

1

基於SLAM的空間及3D結構語

在 AR 的核心技術圖譜上，

3D 空間感知

和

3D 物件的空間結構的感知

一直佔據了非常重要的地位和位置，傳統基於鐳射的方法和基於光學的 SLAM 方法比較偏重於單純空間結構的感知和分割，對於內容的語義和上下文場景的感知，還處於比較初級的階段。

由於缺少語義資訊，它們不能直接用於構建更高階的人物互動（HTI）通道。

同時，

深度學習

已極大地提高了識別效能，但是這種識別大部分限於影象平面中的輸出，或者在最佳情況下使用 3D 邊界框完成一定意義上的語義空間結構表示，但這會使機器人或者準確數字資訊疊加很難根據這些略顯粗糙的輸出進行操作。

將學到的知識和語義與 3D 重建相整合是解決這個問題的有希望的途徑。

例如，近年來提出的語義 3D 重建技術共同優化了場景的 3D 結構和語義，並且語義 SLAM 方法向所估計的 3D 結構添加了語義註釋。

目前最新的語義 3D 重構和語義 SLAM 的挑戰在於使用大型綜合資料集所探尋的 3D 重建技術與識別和學習相結合的新方法，進而實現在 3D 重建技術中使用語義資訊來改善密集匹配過程，並更有效的實現語義分割和 3D 技術之間的反饋環。

這也必將為構建更高階的人物互動（HTI）通道和泛化 AR 雲服務場景開闢無比寬闊的發展之路。

2

基於空間地圖的POI註冊和同步

和傳統 AR 雲服務相比，

基於地理位置感知和興趣點標註技術

自 2018 年已經成為各個巨頭推廣和佈局的重頭，除了谷歌基於 GoogleMap 的 Live View，以及微軟作為 Microsoft 擴充套件推出的雲 AR 平臺，稱為 SpatialAnchor（空間錨點）。

基於空間地圖的 POI 註冊和同步技術的核心是地理位置強化的錨點技術（Anchor），——“

空間錨點代表著系統應隨時間推移跟蹤的一個重要點

”。

同時也是相關資料構建、同步、檢索、管理等綜合系統技術的突破，這也包含了相關 SLAM 語義感知以及基於神經網路的大規模特徵比對技術的進步。

起初

錨點

只是讓虛擬物體在 AR 場景中看起來待在原地不動，起源自依賴於在現實世界的記錄中檢測到的關鍵點及其描述符。

隨著強大的環境理解功能的演進，同時輔助 3D 高精度地圖功能，空間計算功能，基於空間地圖的 POI 註冊和同步技術，就為數字孿生，以及實現真實世界和物理世界的無縫整合提供了可能。

3

基於空間位置的數字資訊簇管理和搜尋技術

如何基於將視覺感知轉化為高精度 LBS（Location Based Service）的視覺化資訊的管理錨點和檢索錨點是發展 AR 作為人物互動核心手段和發展相關業務的重要因素。

這需要將相關數字資訊歸類和管理為：

1- 在哪兒？

2- 是誰的一部分？

3- 能開展什麼功能，並上傳什麼資料？

加州理工伯克利（Berkeley）分校電氣和計算機學院 David E。 Culler 教授在智慧建築的基於位置關聯資料管理的嘗試， “

Brick

”， 就非常具有借鑑意義。

“Brick”源於資源描述框架（RDF: Resource Description Framework)。

其透過以一組被稱作三元組的主題預測物件表示知識。

所有基於位置的關聯絡統資訊在“Brick”中透過三元組中主體實體與另一些實體物件關係的抽象表示，即圖中的

定向邊緣

，予以表徵。

最終整個資料體系的管理體現為，由關係（定向邊緣）相連的實體（節點）的知識圖表，並透過 RDF格式儲存和使用，以及後續可透過使用 SPARQL 數學來遍歷和查詢這些知識。

基於以上知識體系，所有關聯資訊包含了：

◆物理世界目標的分類標籤；

◆地理位置；

◆關聯關係和關聯目標；

◆隸屬和組成關係機器對應物件；

◆提供什麼檢測資料或可開展何種控制動作。

END