一、研發(fā)背景
“實景三維中國”作為國家推進數(shù)字中國建設(shè)、提升空間地理信息服務(wù)能力的重要戰(zhàn)略性工程,正在深度融入低空經(jīng)濟、智能交通、智慧城市、數(shù)字文旅和應(yīng)急指揮等關(guān)鍵領(lǐng)域。三維重建是實現(xiàn)真實世界“實景三維”數(shù)字化表達的核心技術(shù),通過相機、傳感器等設(shè)備獲取物理空間數(shù)據(jù),并結(jié)合計算機視覺與圖形學(xué)算法,將二維圖像轉(zhuǎn)換為三維模型。目前,主流的三維重建方法包括傾斜攝影(多視角立體重建)、激光掃描和神經(jīng)輻射場(Neural Radiance Fields, NeRF)等,各具優(yōu)勢與局限。
近年來,3D高斯濺射(3D Gaussian Splatting, 3DGS)作為一種新興的三維表示方法,在渲染質(zhì)量和效率方面展現(xiàn)出顯著優(yōu)勢。其核心思想是將三維場景表示為一組具有空間位置、協(xié)方差矩陣、不透明度和球諧系數(shù)的各向異性高斯分布,從而實現(xiàn)對幾何結(jié)構(gòu)與光照信息的統(tǒng)一建模。在眾多三維重建與渲染技術(shù)中,3DGS具備多方面的優(yōu)勢。相比基于NeRF的方法,3DGS在訓(xùn)練和渲染速度上大幅提升,能夠支持實時或交互式應(yīng)用,同時依然保持較高的渲染真實感;相比傾斜攝影等傳統(tǒng)重建方法,3DGS無需顯式構(gòu)建3D結(jié)構(gòu),能夠更逼真地還原連續(xù)的表面細節(jié),有效避免傳統(tǒng)方法中常見的拼接痕跡與破面問題,并在復(fù)雜幾何結(jié)構(gòu)表達和動態(tài)光照模擬方面表現(xiàn)更為出色。
航天宏圖依托在遙感測繪、空間數(shù)據(jù)處理與三維建模方面的技術(shù)積累,基于3DGS重建技術(shù),研發(fā)了“全棧式3DGS實景三維重建系統(tǒng)”。該系統(tǒng)面向展品、展廳、數(shù)字孿生城市等多尺度應(yīng)用場景,助力行業(yè)客戶構(gòu)建真實、可交互的三維數(shù)字空間,支撐“實景三維”數(shù)字化建設(shè)與空間智能化管理。
表1-1 3DGS與傳統(tǒng)實景三維技術(shù)的對比
二、系統(tǒng)概述
航天宏圖全棧式3DGS實景三維重建系統(tǒng),貫徹從多源數(shù)據(jù)采集、自動化建模到個性化Web端顯示的完整流程。系統(tǒng)支持無人機、手持相機等多種采集方式,結(jié)合空三計算與相機位姿優(yōu)化模塊,實現(xiàn)高質(zhì)量的3DGS模型構(gòu)建。建模過程高度自動化,無需復(fù)雜人工調(diào)參,可高效輸出輕量、高保真的三維模型。模型可部署至瀏覽器端,支持多視角切換、標注和圖層管理等功能,交互展示平臺可按需定制,靈活對接各類業(yè)務(wù)系統(tǒng)。
圖2-1 全棧式3DGS實景三維重建系統(tǒng)框架
整體系統(tǒng)具有輕量高保真、全鏈高協(xié)同和平臺可定制三大特點:
● ?輕量高保真?:基于3DGS建模技術(shù),有效壓縮模型體積的同時,保持高質(zhì)量渲染效果,兼顧渲染效率與視覺真實感。
● ?全鏈高協(xié)同?:覆蓋從數(shù)據(jù)采集、建模處理到Web端顯示的完整流程,系統(tǒng)模塊高度協(xié)同,支持各環(huán)節(jié)靈活組合部署。
● ?平臺可定制?:Web端支持按需開發(fā)、功能拓展及系統(tǒng)對接,滿足不同行業(yè)與場景的個性化應(yīng)用需求。
該系統(tǒng)可滿足數(shù)字展品、虛擬展廳、三維孿生城市等實景三維應(yīng)用需求,支持用戶高效構(gòu)建真實、可交互的數(shù)字孿生空間底座。
三、關(guān)鍵技術(shù)
航天宏圖全棧式3DGS實景三維重建系統(tǒng)主要包括以下四大關(guān)鍵技術(shù):大規(guī)模影像空三處理、分布式3DGS重建方法、大場景模型壓縮技術(shù)以及定制化Web端開發(fā)。
1
大規(guī)模影像空三處理
航天宏圖自研的大規(guī)模影像空三處理方法,是三維重建流程中的關(guān)鍵技術(shù)之一,主要用于精確解算影像的內(nèi)外方位元素,并獲取高精度的空間幾何參數(shù)。系統(tǒng)首先通過圖像特征提取與匹配,自動識別影像間的對應(yīng)關(guān)系,進而結(jié)合控制點信息與區(qū)域網(wǎng)平差算法,實現(xiàn)穩(wěn)定可靠的幾何解算。
該方法融合了計算機視覺中的結(jié)構(gòu)光束法與傳統(tǒng)攝影測量技術(shù),兼顧自動化處理效率與定位精度,適用于來自手持相機、無人機等多種平臺采集的航跡式光學(xué)影像。為進一步提升性能,系統(tǒng)還引入連接點抽稀機制,有效減輕計算負擔(dān),在保證精度的同時顯著提升解算速度。
此外,系統(tǒng)具備優(yōu)異的大規(guī)模處理能力,支持超過100,000張影像的空三解算,滿足城市級以及更大范圍場景的實景三維重建需求。同時支持多節(jié)點協(xié)同處理,可根據(jù)任務(wù)規(guī)模靈活調(diào)度資源,提高整體數(shù)據(jù)處理效率,大幅縮短計算時間。
表3-1 拍攝要求
(左)相機位姿估計 ,(右)航線與3D點云重建結(jié)果
圖3-1 無人機影像自動空三處理結(jié)果
2、分布式3DGS重建方法
針對大規(guī)模場景的三維重建需求,航天宏圖研發(fā)了分布式3DGS重建方法,有效解決了傳統(tǒng)3DGS在大規(guī)模場景下訓(xùn)練效率低、渲染響應(yīng)慢等核心瓶頸。面向城市級、區(qū)域級等超大規(guī)模場景,該方法引入多GPU并行建模策略,顯著提升重建效率與渲染性能。
該方法首先構(gòu)建一個低分辨率的初始3DGS模型,作為場景結(jié)構(gòu)的粗略先驗。在此基礎(chǔ)上,系統(tǒng)自動將全局點云劃分為多個空間上互不重疊的子模型。針對每個子模型,系統(tǒng)基于其與訓(xùn)練視角之間的投影覆蓋關(guān)系與相機空間分布,智能篩選最相關(guān)的圖像數(shù)據(jù),確保在建模過程僅使用高相關(guān)的視角,有效提升訓(xùn)練數(shù)據(jù)利用率,同時抑制由低相關(guān)視角引入的渲染偽影。各子模型可在多張GPU設(shè)備上并行訓(xùn)練,訓(xùn)練完成后通過空間對齊與無縫拼接生成統(tǒng)一的3DGS模型,實現(xiàn)高效率、高精度的大規(guī)模三維建模與實時渲染,滿足智慧城市、數(shù)字園區(qū)等場景下對大范圍三維空間重建的精準表達需求。
(左)場景整體分塊示意圖,(右)單個分塊區(qū)域展示
圖3-2 分布式3DGS重建
3、大場景模型壓縮技術(shù)
為解決大規(guī)模場景下3DGS模型的存儲和渲染問題,航天宏圖研發(fā)了大場景模型壓縮技術(shù)。3DGS模型壓縮技術(shù)旨在提升大規(guī)模場景下的部署效率與終端適配能力,通過在訓(xùn)練過程中及訓(xùn)練完成后引入壓縮策略,實現(xiàn)顯存占用與存儲體積的雙重優(yōu)化,顯著減輕模型資源開銷。
在訓(xùn)練階段,基于并行建??蚣芤?/span>在線壓縮機制,系統(tǒng)會周期性評估每個高斯基元對訓(xùn)練視角的貢獻程度,并依據(jù)其重要性動態(tài)剔除貢獻較低的冗余點。該機制不僅有效降低了訓(xùn)練過程中的顯存占用,還加快了模型的收斂速度,尤其適配計算資源受限的設(shè)備環(huán)境。
在訓(xùn)練完成后,系統(tǒng)還會進一步對模型進行離線輕量化處理,包括自動識別并清除離群高斯點、壓縮模型存儲位數(shù)等操作,從而在保證模型渲染質(zhì)量的前提下,有效減小最終模型體積,提升模型的跨平臺部署能力與實時加載性能。
表3-2 大場景3DGS模型壓縮前后大小對比結(jié)果
4、定制化web端開發(fā)
航天宏圖提供定制化的Web端可視化交互能力,支持多種主流圖形引擎,實現(xiàn)對3DGS模型的跨平臺在線加載與交互式瀏覽。主要優(yōu)勢有:
● 高效渲染與廣泛兼容:依托WebGL的GPU加速,可在Chrome、Firefox、Safari等主流瀏覽器中流暢渲染三維場景。
● 多引擎靈活集成:兼容Three.js API與社區(qū)生態(tài),便于高效模型展示,同時支持Unity WebGL,滿足更復(fù)雜的交互需求。
● 豐富的交互功能:內(nèi)置自定義標注、屬性彈窗、圖層切換、模型剖切、測量分析等多樣組件,覆蓋展品、展廳、城市等多類型三維數(shù)據(jù)的精細化瀏覽與分析。
● 平臺級擴展與集成:前端采用WebGL與JavaScript技術(shù)棧,可無縫對接政務(wù)平臺、空間數(shù)據(jù)庫、BIM/GIS系統(tǒng),通過API實現(xiàn)實時數(shù)據(jù)查詢與展示。
● 輕量部署與靈活定制:支持Web組件導(dǎo)出,界面模塊化裁剪與功能拓展,適配導(dǎo)航控件、熱力圖疊加、模型動畫等多樣業(yè)務(wù)場景。
四、應(yīng)用案例
1
展品級重建
基于手持相機等設(shè)備采集數(shù)據(jù),對單件展品進行高精度三維建模,真實還原其材質(zhì)、紋理與結(jié)構(gòu)細節(jié),支持文物的在線展示、虛擬導(dǎo)覽、三維交互學(xué)習(xí)等功能,為文物數(shù)字化保護、數(shù)字博物館和虛擬教學(xué)等應(yīng)用場景提供技術(shù)支撐。
表4-1 展品重建實驗設(shè)置與結(jié)果分析
2
展廳級重建
基于手持相機等設(shè)備采集數(shù)據(jù),高效重建完整的室內(nèi)展廳和展品,支持圖文信息掛載和語音講解等多樣化功能,可實現(xiàn)企業(yè)數(shù)字化展廳、博物館、虛擬會展中心等多種場景的沉浸式三維漫游展示,顯著提升線上觀覽體驗與訪問流量。
表4-2 展廳重建實驗設(shè)置與結(jié)果分析
3
城市級重建
基于無人機航拍、車載街景采集等多源數(shù)據(jù),高效構(gòu)建數(shù)字孿生城市所需的高精度三維模型,可廣泛應(yīng)用于城市規(guī)劃、交通管理、應(yīng)急指揮等領(lǐng)域,有助于提升城市治理的科學(xué)化、精細化和智能化水平,助力數(shù)字孿生城市的建設(shè)與可持續(xù)發(fā)展。
表4-3 城市重建實驗設(shè)置與結(jié)果分析
五、結(jié)論展望
隨著AI感知技術(shù)和邊緣計算的持續(xù)發(fā)展,實景三維重建技術(shù)正變得更加高效、智能和實時。作為新一代三維表示方法,3DGS以其輕量高保真、渲染高效、適配多終端等優(yōu)勢,有望成為實景三維重建的主流技術(shù),為數(shù)字展品、虛擬展廳、孿生城市、元宇宙等新興應(yīng)用提供有力支撐。
未來,航天宏圖將持續(xù)深耕3DGS核心技術(shù),重點方向包括:融合激光雷達等多源數(shù)據(jù),提升重建精度;結(jié)合大語言模型,實現(xiàn)智能化的三維場景交互;積極拓展AR/VR、自動駕駛等新興領(lǐng)域的創(chuàng)新應(yīng)用,推動3DGS技術(shù)在各行業(yè)的深入應(yīng)用,為“實景三維中國”建設(shè)貢獻更大力量。
六、參考文獻
1. Kerbl B, Kopanas G, Leimkühler T, et al. 3d gaussian splatting for real-time radiance field rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.
2. Chen G, Wang W. A survey on 3d gaussian splatting[J]. arXiv preprint arXiv:2401.03890, 2024.
天津航天宏圖科技有限責(zé)任公司針對各行業(yè)用戶的市場需求,依托于中國航天的產(chǎn)品研發(fā)平臺和技術(shù)資源;專注于提供基于LTE無線集群系統(tǒng)的解決方案,同時研制具有自主知識產(chǎn)權(quán)的高新技術(shù)系統(tǒng)終端設(shè)備。產(chǎn)品與服務(wù)廣泛應(yīng)用于公共安全、石油、林業(yè)、海洋、電力、港口、機場等行業(yè)。經(jīng)過多年的摸索與實踐積累,目前已經(jīng)形成較強的無人機系統(tǒng)集成、無人機系統(tǒng)運營能力,同時專注于微光條件下的長距離光學(xué)成像技術(shù)的研究,成功研發(fā)出HTN系列和HTS系列兩套微光成像系統(tǒng)并成功應(yīng)用于港口運營監(jiān)控。
航天宏圖堅持以市場為導(dǎo)向,堅持差異化、專業(yè)化發(fā)展戰(zhàn)略;攜手各專業(yè)研究院及知名企業(yè)建立廣泛的戰(zhàn)略合作伙伴關(guān)系,聚焦客戶業(yè)務(wù)“痛點”,不斷推出適于客戶需求的定制化解決方案,為各行業(yè)客戶提供全方位的產(chǎn)品與服務(wù)。
2025-09-17 10:54
2025-09-17 10:53
2025-09-17 10:53
2025-09-17 10:25
2025-09-16 09:32
2025-09-16 09:31
2025-09-16 09:27
2025-09-16 09:25
2025-09-16 09:24
2025-09-16 09:23