眾趣分享 | 淺談三維重建（空間計算）技術(shù)原理

三維重建（3D Reconstruction）是計算機視覺和空間計算技術(shù)中的一項核心技術(shù)，旨在從二維信息中恢復出三維模型或場景。這項技術(shù)通過處理來自不同來源的數(shù)據(jù)（如圖像、視頻或傳感器數(shù)據(jù)），構(gòu)建出能夠準確反映真實物體或環(huán)境的三維表示。三維重建技術(shù)是虛擬現(xiàn)實（VR），實景三維，元宇宙，游戲等領域構(gòu)建虛擬數(shù)字空間的基礎技術(shù)，能夠?qū)崿F(xiàn)對物理空間最完整、最深度的信息采集。

三維重建包含兩個重要階段：數(shù)據(jù)采集和數(shù)據(jù)制作。

深度信息采集：

通過專業(yè)設備（如激光雷達傳感器、結(jié)構(gòu)光傳感器等）或算法（如單目圖像 AI 深度估算模型）獲取場景中物體的深度信息。

激光雷達傳感器向物體發(fā)射一束光，并通過接收裝置測量光線反射或散射回來的時間差，從而計算出物體離采集設備的距離，得到物體的深度信息。如果再配上一個角度測量裝置，測量光線發(fā)射的角度，結(jié)合已知的距離信息，就能直接得到該物體在三維物理空間中的坐標。當我們利用傳感器同時向場景發(fā)射無數(shù)道光，就能得到場景中各點的空間信息，也就是這些點離傳感器有多遠、在哪個角度等，并據(jù)此繪制出精準的深度圖和點云。激光雷達這種采集方式在空間數(shù)據(jù)的精準性、實時性、便捷性、抗干擾性等方面具備顯著優(yōu)勢。眾趣旗下的自研 SPACCOM X3 系列 3D 激光掃描儀，每秒采集 20 萬個點云數(shù)據(jù)，掃描精度達 10mm，最遠測距 70m。在采集過程中 SPACCOM X3 顯示出卓越的環(huán)境適應性，并能夠精確捕捉空間內(nèi)的每一處細節(jié)，讓大空間和超大空間三維重建變得輕松與高效，為專業(yè)人士提供無與倫比的便利體驗。

單目圖像深度估計也是一種獲取場景中物體深度的 AI 方法，它僅依賴于 RGB 相機采集得到的彩色圖像便能快速估算物體深度。因為人類通過兩個眼睛的視差來實現(xiàn)對距離的估算，但事實上我們用單個眼睛也可以大致估算出距離，這是因為腦已經(jīng)記住了一些規(guī)律，比如已知大小的物體在圖像中越小則距離越遠、近處的物體會擋住遠處的物體等。利用這一原理，眾趣科技通過積累的數(shù)百萬專業(yè)設備掃描的三維數(shù)據(jù)集，以彩色圖為輸入、深度信息為標注（答案）訓練出單目圖像深度估算 AI 模型，實現(xiàn)無需深度傳感器、僅采集空間圖像即可實現(xiàn)三維重建。深度估算模型的誕生，推動了眾趣輕量級 VR 采集產(chǎn)品的誕生，讓 VR 拍攝進入大眾的日常生活成為可能。

圖像信息采集：

使用 RGB 相機采集高色彩還原度的圖像信息。圖像可用于點云上色、為三維模型提供豐富的紋理細節(jié)，也可拼接成 360 度全景圖像用于 VR/AR 的應用。眾趣旗下的自研 SPACCOM X3 系列 3D 激光掃描儀，集成了高清相機，通過自研的無縫拼接算法可生成原生 1.34 億像素的 16k 全景圖像，同時使用自研 HDR 算法，可最大程度保留拍攝場景的高光與陰影細節(jié)，使畫面更接近人眼的真實視覺體驗。

點位拼接：

定點式掃描需要在固定點位采集深度和圖像信息。合理規(guī)劃點位布局和掃描路線能有效覆蓋作業(yè)場景，提升作業(yè)效率。點位拼接針對稀疏離散的點位建立位姿關系。利用點位采集到的彩色圖像和深度信息，通過提取特征尋找相似的匹配點位，并計算相對位置和姿態(tài)，最終實現(xiàn)多個點位之間的精確拼接。此外結(jié)合 IMU（慣性測量單元，是一種集成了多種慣性傳感器的裝置，用于測量和跟蹤物體的加速度和角速度）等三方傳感器數(shù)據(jù)能提高拼接的魯棒性，克服特殊場景（弱紋理、長走廊等）帶來的退化問題。

生成點云：

點云是空間中代表 3D 形狀或?qū)ο蟮臄?shù)據(jù)點集合，數(shù)據(jù)集中的每個點代表一組 X、Y、Z 幾何坐標。在這一步中，制作流程會轉(zhuǎn)化采集的深度信息為點云對象。

點云處理：

對點云數(shù)據(jù)進行去噪、異常值過濾等優(yōu)化處理，提高后續(xù)三維重建的準確性和效率。

點云融合：

將多站的點云數(shù)據(jù)進行融合處理。包括多站點位間的位姿優(yōu)化、多站點云的融合處理、整體點云的分塊管理等。

網(wǎng)格重建：

由離散的點云生成連續(xù)表面。將點云數(shù)據(jù)連接成網(wǎng)格（網(wǎng)格單元一般為三角形或者四邊形），形成多面體形狀的外殼。

網(wǎng)格處理：

對網(wǎng)格數(shù)據(jù)進行優(yōu)化和調(diào)整，去除尖銳邊緣和不平整表面，使模型更加平滑自然。

紋理映射：

將采集的高清圖像精確映射至模型網(wǎng)格表面，使三維模型更加真實。

3D 模型：

網(wǎng)格和紋理全部組合在一起，就得到了一個完整的三維模型，它支持在 3D 引擎中進行渲染和交互操作，譬如旋轉(zhuǎn)、放大、縮小等。

格式轉(zhuǎn)化：

生成的 3D 模型文件可轉(zhuǎn)化為行業(yè)通用的標準格式，方便與專業(yè) 3D 設計軟件對接。

在數(shù)據(jù)采集階段，同時采集深度信息與圖像信息，為后續(xù)數(shù)據(jù)制作提供了多模態(tài)數(shù)據(jù)基礎。

基于多模態(tài)數(shù)據(jù)，提取出豐富的語義信息。語義信息是指對三維模型中各元素（如物體、場景等）的識別和標注。在三維重建過程中引入語義信息，有助于提高模型的準確性和實用性。

點云處理環(huán)節(jié)，結(jié)合多模態(tài)數(shù)據(jù)有效去除雜點，并進行智能空洞填補。

高效的多站點位姿優(yōu)化技術(shù)。實現(xiàn)多站點數(shù)據(jù)的精準對齊，配準誤差<5mm。

格式轉(zhuǎn)換支持導出 LAS、PLY、E57 等標準點云格式。與 Revit、CAD、3DMax 等專業(yè)軟件無縫對接。

獨有的 AI 空間計算技術(shù)。以豐富的語義信息為基座，結(jié)合多模態(tài)數(shù)據(jù)可自動識別空間結(jié)構(gòu)的關鍵點、線、面信息。針對房產(chǎn)領域，該技術(shù)可自動生成戶型圖、實勘圖片和短視頻，構(gòu)建 3DVR 房源數(shù)據(jù)庫，提升房源實勘質(zhì)量。在三維重建過程中，該技術(shù)可以挖掘出豐富的潛藏數(shù)據(jù)，如空間結(jié)構(gòu)信息、文字信息、物體信息等。這些數(shù)據(jù)可以進一步應用于數(shù)字空間的多樣化場景，如營銷推廣、內(nèi)部管理、人員引導、模擬培訓等。

三維重建技術(shù)廣泛應用于城市規(guī)劃、影視制作、游戲開發(fā)、考古研究、文物保護、醫(yī)療影像、虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）等諸多領域。隨著技術(shù)的不斷發(fā)展，其應用的廣度和深度將不斷拓展。

城市規(guī)劃：

用于城市三維建模、交通規(guī)劃等，提升城市規(guī)劃的科學性和精準度。

影視制作：

為特效制作提供逼真的三維場景和角色模型，增強影視作品的視覺效果。

游戲開發(fā)：

構(gòu)建豐富的游戲場景和角色模型，提升游戲的沉浸感和互動性。

考古研究：

對古代遺址進行三維重建，為考古研究提供直觀、準確的數(shù)據(jù)支持。

文物保護：

對珍貴文物進行數(shù)字化保護，實現(xiàn)文物的永久保存和虛擬展示。

醫(yī)療影像：

在醫(yī)學影像領域，用于構(gòu)建人體器官的三維模型，輔助醫(yī)生進行診斷和治療規(guī)劃。

眾趣科技通過持續(xù)迭代其三維重建技術(shù)體系，在精度、效率和易用性方面建立行業(yè)標桿，為數(shù)字孿生應用提供堅實的技術(shù)基礎。2024 年推出的 SPACCOM X3 Pro 系列設備進一步提升了超大空間場景的數(shù)字化能力，推動多行業(yè)的三維數(shù)字化升級。眾趣科技在三維重建領域具有鮮明的特色和優(yōu)勢：

技術(shù)領先：

網(wǎng)格和紋理全部組合在一起，就得到了一個完整的三維模型，它支持在 3D 引擎中進行渲染和交互操作，譬如隨意旋轉(zhuǎn)、放大、縮小等。

效率突破：

將傳統(tǒng)方法需要數(shù)天甚至數(shù)周完成的三維建模任務縮短至幾十分鐘內(nèi)完成，大大提升了工作效率。

精度保障：

具有工業(yè)級點云精度和超高紋理分辨率，支持 16K 超高清呈現(xiàn)，確保模型的真實性和細節(jié)表現(xiàn)。

全場景覆蓋：

從智慧警務、房產(chǎn)服務到工程建筑等多個領域，眾趣科技的技術(shù)均展現(xiàn)出廣泛的應用潛力和價值。

數(shù)據(jù)安全：

支持國產(chǎn)化部署，滿足公共安全等領域的數(shù)據(jù)安全需求，為用戶提供更加可靠和安心的服務。