-
微信號:youuav
關(guān)注官方微信
m.youuav.com手機(jī)掃碼看新聞
-
- 添加收藏
- 關(guān)于我們
無人機(jī)整機(jī)
無人機(jī)配件
無人機(jī)服務(wù)
設(shè)備與工具對于在給定環(huán)境中完全能夠自主導(dǎo)航的代理，除了路徑規(guī)劃或跟隨能力之外，避障被認(rèn)為是最基本的要求之一。提出了一個端到端的模仿學(xué)習(xí)框架，用于基于視覺的避障技術(shù)，該技術(shù)可應(yīng)用于無人機(jī)，其中此類決策策略是根據(jù)對實(shí)際人類飛行數(shù)據(jù)的監(jiān)督進(jìn)行訓(xùn)練的。我們利用深度學(xué)習(xí)技術(shù)將視覺輸入映射到轉(zhuǎn)向方向。在成功訓(xùn)練神經(jīng)網(wǎng)絡(luò)后，無人機(jī)應(yīng)該能夠模仿人類專家的決策，在自主導(dǎo)航期間僅使用視覺輸入避開障礙物。所提出的基于人類數(shù)據(jù)的序列神經(jīng)網(wǎng)絡(luò)模仿學(xué)習(xí)的總體框架如圖1所示。
圖1 使用順序神經(jīng)網(wǎng)絡(luò)的基于人類數(shù)據(jù)的模仿學(xué)習(xí)框架
訓(xùn)練數(shù)據(jù)采集和預(yù)處理
Gazebo模擬器用于為神經(jīng)網(wǎng)絡(luò)提供模擬環(huán)境和訓(xùn)練數(shù)據(jù)。設(shè)計了一個方形的地圖，邊界周圍有墻壁，整個地圖上隨機(jī)放置障礙物，并使用轉(zhuǎn)子螢火蟲模型來獲取訓(xùn)練數(shù)據(jù)。仿真環(huán)境和無人機(jī)攝像機(jī)的示例圖像如下圖 2所示。模擬環(huán)境中的人類專家飛行數(shù)據(jù)被記錄下來，這意味著每個時間步的圖像和來自專家的相應(yīng)控制輸入被聚合到訓(xùn)練數(shù)據(jù)集中。
圖2 仿真環(huán)境示例（左）和無人機(jī)圖像（右）
四類神經(jīng)網(wǎng)絡(luò)架構(gòu)
1.全連接神經(jīng)網(wǎng)絡(luò) (FCNN)
本研究中用于比較的FCNN模型的架構(gòu)如圖 3所示。FCNN使用三個全連接層，每個層有100個節(jié)點(diǎn)，輸入圖像被展平為(120 × 160)(120×160)神經(jīng)網(wǎng)絡(luò)的向量。整流線性單元（ReLU）函數(shù)被用作每個隱藏層的激活函數(shù)。神經(jīng)網(wǎng)絡(luò)的最終輸出是(3 × 1)(3×1)向量，其中輸出向量的最大元素被認(rèn)為是神經(jīng)網(wǎng)絡(luò)的預(yù)測值。
圖3 FCNN的架構(gòu)
2.卷積神經(jīng)網(wǎng)絡(luò) (CNN)
本研究中使用的CNN架構(gòu)如圖 4所示。使用了兩組雙卷積層，其中第二組后面是第一組的最大池化操作。一種(3×3 )(3×3)步長為 1 的卷積濾波器和(2×2)(2×2)最大池化內(nèi)核用于兩個卷積集。最終卷積層的輸出被展平為(100 ×1)(100×1)池化后的向量，然后是輸出層。
圖4 CNN 的架構(gòu)（不包括通道的可視化）
3. 遞歸神經(jīng)網(wǎng)絡(luò) (RNN)
由于基于視覺的避障可以被認(rèn)為是一個順序任務(wù)，因此在本研究中使用了RNN。不是將原始圖像用作 RNN 的輸入，而是將從圖像中提取的特征用作 RNN 的輸入。這是通過遷移學(xué)習(xí)的概念完成的，其中預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的片段被用作另一個神經(jīng)網(wǎng)絡(luò)的特征提取器。該網(wǎng)絡(luò)主要由兩部分組成：前面是預(yù)訓(xùn)練的特征提取CNN，后面是門控循環(huán)單元（GRU）RNN。一般來說，長短期記憶 (LSTM) 單元是最廣泛采用的單元之一，用于實(shí)現(xiàn)由于RNN具有處理梯度消失問題的能力。GRU單元和LSTM單元的結(jié)構(gòu)比較如下圖 5所示。
圖5 RNN細(xì)胞結(jié)構(gòu)
在 RNN 訓(xùn)練過程之前，特征提取 CNN 在 CIFAR-10 數(shù)據(jù)集 上進(jìn)行訓(xùn)練，底層用作特征提取器，因?yàn)橐阎?CNN 在底層學(xué)習(xí)更多通用特征. 之后在 RNN 訓(xùn)練階段，CNN 的權(quán)重和偏差是固定的，僅更新 RNN 的參數(shù)。RNN模型的架構(gòu)如圖 6所示。
圖6 RNN 的架構(gòu)
4. 3D 卷積神經(jīng)網(wǎng)絡(luò) (3D-CNN)
該框架中使用的3D-CNN架構(gòu)總共由四個卷積層組成。3D-CNN模型的架構(gòu)如圖 7所示。作為具有二維卷積過濾器的卷積層的替代品，三維過濾器應(yīng)用于一堆連續(xù)圖像。將時間視為額外的物理維度，卷積過濾器中的額外維度允許 3D-CNN 獲取給定數(shù)據(jù)中的時空特征。
圖7 3D-CNN 的架構(gòu)（不包括通道的可視化）
訓(xùn)練結(jié)果
使用混淆矩陣來更全面地評估每個神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。混淆矩陣顯示每個案例的預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的比率，其中顏色提供比率的可視化。每個神經(jīng)網(wǎng)絡(luò)的混淆矩陣是使用來自驗(yàn)證數(shù)據(jù)集的 500 個隨機(jī)抽樣批次計算的。每個網(wǎng)絡(luò)的結(jié)果如圖 8所示。
圖8 四類神經(jīng)網(wǎng)絡(luò)的混淆矩陣
混淆矩陣的結(jié)果表明，考慮序列數(shù)據(jù)的模型（例如 3D-CNN 和 RNN）在兩個前饋神經(jīng)網(wǎng)絡(luò)中表現(xiàn)出更好的結(jié)果。FCNN 顯示出最差的準(zhǔn)確性，主要是因?yàn)镕CNN無法從圖像輸入中提取特征。除了FCNN之外，四個神經(jīng)網(wǎng)絡(luò)中有三個在層內(nèi)包含卷積操作，這表明卷積層非常重要，尤其是在提取圖像中的特征時。這也意味著特征的提取可以對處理圖像的任務(wù)的性能產(chǎn)生主要影響。
避障性能評估
為了驗(yàn)證每個神經(jīng)網(wǎng)絡(luò)的避障能力，設(shè)計了三個用于測試目的的隨機(jī)障礙物布局的附加地圖。障礙物的布局是隨機(jī)設(shè)置的，因此測試地圖中的障礙物圖案與訓(xùn)練環(huán)境中的障礙物圖案不一致。選擇隨機(jī)布局是為了增加性能評估環(huán)境的復(fù)雜性，因?yàn)樾阅苁轻槍ζ渎窂缴系亩鄠€障礙物進(jìn)行評估的。與方形訓(xùn)練環(huán)境不同，測試地圖的整體形狀設(shè)計為長矩形，以便可以衡量平均行駛距離或成功率等標(biāo)準(zhǔn)。每張地圖的總長度為24米24米用于避障驗(yàn)證的測試地圖布局如圖 9所示。
圖9 用于性能評估的測試場景圖
訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)針對上面顯示的三個測試圖進(jìn)行了避障任務(wù)的測試。每個神經(jīng)網(wǎng)絡(luò)都進(jìn)行了十次測試，如果無人機(jī)成功越過長方形地圖而沒有撞到任何障礙物，則認(rèn)為試飛成功。如果無人機(jī)位于距離任何障礙物0.05 m以內(nèi)，則確定碰撞；如果無人機(jī)太靠近障礙物，則認(rèn)為試飛失敗并終止模擬。所有測試場景和試飛的實(shí)際軌跡如圖10所示。藍(lán)色和紅色軌跡分別表示成功和不成功的試飛,綠色虛線框表示安全邊界0.05米。
圖10 地圖中試飛的軌跡（FCNN、CNN、RNN、3D-CNN）
將每次試飛的最遠(yuǎn)行進(jìn)點(diǎn)進(jìn)行比較，計算每個神經(jīng)網(wǎng)絡(luò)相對于測試圖的均值和標(biāo)準(zhǔn)差。由于成功率僅提供了對試驗(yàn)是否成功的性能評估，因此可以通過分析最遠(yuǎn)行進(jìn)點(diǎn)的分布來進(jìn)行更有效的評估。這樣的評估標(biāo)準(zhǔn)在飛行路徑的一致性方面提供了對神經(jīng)網(wǎng)絡(luò)性能的進(jìn)一步了解。所有三種測試地圖場景的結(jié)果如圖 11所示。
圖11 最遠(yuǎn)點(diǎn)評估
每個圖中的水平虛線代表起點(diǎn)和終點(diǎn)，其中y軸上的0是起點(diǎn)，24是地圖的終點(diǎn)。盒子的上下邊緣代表采集到的最遠(yuǎn)點(diǎn)分布的上下四分位數(shù)，因此盒子的高度代表數(shù)據(jù)的四分位數(shù)間距。每個箱線圖的上下限，或須線，表示數(shù)據(jù)集的最大值和最小值在四分位距的 1.5倍以內(nèi)，方框中間的紅色水平線表示收集的積分。位于框外的紅叉是位于胡須范圍之外的數(shù)據(jù)點(diǎn)。
結(jié)果表明，就所有三個測試地圖的性能而言，3D-CNN是最一致的。雖然 RNN 能夠表現(xiàn)出相當(dāng)好的結(jié)果，但收集到的數(shù)據(jù)點(diǎn)的變化大于 3D-CNN，表明性能不太一致。在大多數(shù)測試場景中，CNN 也被證明能夠跨越一半以上的地圖，而 FCNN 在一致性和最大行駛距離方面都不太成功。
源自：International Journal of Aeronautical and Space Sciences (2020) 21:768–779 https://doi.org/10.1007/s42405-020-00254-x
2025-09-17 10:55
2025-09-16 09:27
2025-09-12 11:30
2025-09-11 10:41
2025-09-09 10:52
2025-09-04 21:58
2025-08-28 11:13
2025-08-27 14:14
2025-08-26 13:50
2025-08-23 20:37
