航空攝影測量在研究鯨目動物方面特別有用,因為它們一生大部分時間都生活在地表下,通常居住在離人類很遠的地方。在這一技術(shù)之前,對鯨目動物的測量傳統(tǒng)上僅限于評估通過捕鯨收集的尸體。航空攝影測量技術(shù)后來發(fā)展到計算除總長度外的形態(tài)測量,如異速生長和背寬測量,以估計營養(yǎng)條件的變化。然而,用于攝影測量的有人飛機可能是昂貴的,可能限制采樣天數(shù),并給野生動物學(xué)家?guī)盹L(fēng)險。在過去十年中,小型無人飛機系統(tǒng)(UAS,又名無人機)的可負擔(dān)性和可訪問性迅速增加。這些系統(tǒng)越來越多地被用于涵蓋海洋科學(xué)和保護應(yīng)用的各個領(lǐng)域的項目中,目前正被用于對極地、溫帶和熱帶生物群落中的各種齒鯨和須鯨進行攝影測量研究。無人機系統(tǒng)改進了航空攝影測量,因為它們通常提供與傳統(tǒng)方法質(zhì)量相似(如果不是更好的話)的數(shù)據(jù),并且更適合與生活在遠離能夠提供數(shù)據(jù)的區(qū)域的海洋物種進行短暫的互動。
從持續(xù)時間相機陷阱研究到基于無人機系統(tǒng)的調(diào)查,提供了對生物多樣性的深入了解,并促進了新一輪的生態(tài)監(jiān)測。但分析這些圖像所需的專業(yè)知識和時間是一個主要瓶頸。幸運的是,這些豐富的圖像,以及專家注釋,為獲取現(xiàn)代機器學(xué)習(xí)算法的力量提供了基礎(chǔ)。大型數(shù)據(jù)集與不斷增長的計算能力和人工智能的進步相結(jié)合,使技術(shù)專家能夠自動進行以前勞動密集型的生態(tài)分析。僅在幾年前被認為不可能實現(xiàn)自動化的任務(wù):動物探測、物種識別,甚至攝影測量現(xiàn)在都在生態(tài)研究界的范圍內(nèi)。
我們試圖利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)和無人機系統(tǒng)(UAS)不斷增長的能力,通過分析航空圖像來自動識別鯨魚的物種和長度估計。通過遷移學(xué)習(xí)來分析在具有挑戰(zhàn)性和多變的條件下收集的中等大小(N=384)的鯨魚圖像數(shù)據(jù)集,并訓(xùn)練了一個CNN來識別UAS圖像中的駝背鯨、小須鯨和藍鯨。然后從每個動物輸出的掩膜中導(dǎo)出長度,如圖1所示。
圖1 自動攝影測量工作流程
1
進行無人飛機系統(tǒng)(UAS)操作以收集圖像。
2
將用于對象檢測和實例分割的卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用于圖像,生成描繪感興趣的鯨類的掩模和具有預(yù)測置信分?jǐn)?shù)的物種預(yù)測。
3
將主成分分析(PCA)應(yīng)用于掩模以找到其主軸。
4
沿該軸測量鯨類,獲得從下頜前端到吸蟲缺口的長度(以像素為單位)。
5
使用焦距、傳感器尺寸、像素分辨率和海拔高度將該測量值轉(zhuǎn)換為米。
6
然后將該導(dǎo)出的長度與物種和置信度分?jǐn)?shù)組合作為最終的工作流程輸出。
對于精確和自動化的攝影測量,每個圖像中可能有多個動物,CNN必須成功完成實例分割——將圖像中的每個像素映射到定類別并分離該類別的每個實例的任務(wù)。我們通過Mask R‐CNN攝取圖像并輸出每個感興趣對象周圍的邊界框、每個對象(例如鯨魚物種)的類別以及每個邊界框內(nèi)對象的完整像素掩碼。
圖2 Mask R-CNN結(jié)構(gòu)概述
首先,將圖像輸入到標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)中,以便從圖像中提取有意義的特征。該CNN由一系列卷積層和最大池化層組成。初始層通常創(chuàng)建要素(如邊和曲線)的貼圖。在更深的層中創(chuàng)建的特征圖更抽象,創(chuàng)建特征的組合(例如,胸鰭、尾鰭)。通過該過程,CNN提取將允許有效分類的區(qū)別特征。該過程創(chuàng)建特征圖。區(qū)域建議網(wǎng)絡(luò)(RPN)從這些特征圖中提出各種邊界框,這些邊界框可能包含感興趣的對象和這些邊界框被并行地傳遞到一系列完全連接的層,其細化邊界框角并進行類預(yù)測,以及掩碼分支,其精確地決定邊界框中的哪些像素屬于感興趣的對象。這導(dǎo)致對用于逐像素分割的邊界框、類和掩碼的預(yù)測。在這個例子中,橙色代表動物的左鰭,藍色代表右鰭,綠色代表主體和尾鰭。
在UAS操作之后,在圖像上運行訓(xùn)練的掩模R-CNN模型,生成描繪感興趣的CE-Tacean的掩模(圖3)、物種預(yù)測和物種預(yù)測中從0.0到1.0的置信分?jǐn)?shù)。對該掩模進行主成分分析(PCA)以找到長軸(第一特征向量),從而測量全長。沿著該軸測量掩模,獲得從下頜到錨爪凹口的長度(以像素為單位)。
圖3 從訓(xùn)練的掩碼R‐CNN模型生成的掩碼和邊界框輸出的示例
圖4顯示了所有三個物種的基于CNN的長度與常規(guī)人工測量長度的比較。在所有三個物種中,基于CNN的長度和人工長度之間的平均差異為0.31米。兩個比較被確定為該模型的極端異常值,一個是藍鯨,另一個是座頭鯨。
圖4 基于CNN的長度與所有三個物種的常規(guī)人工測量長度的比較
雖然人工方法目前可以被認為是鯨魚攝影測量研究中最準(zhǔn)確的長度估計方法,但它仍然受到與進行測量的分析人員相關(guān)的變化的影響。事實上,由多個個體進行的人工測量可能存在差異,并且已被證明變異系數(shù)(CV)<1%。自動化方法,一旦經(jīng)過訓(xùn)練和設(shè)置,在每次運行中的變化可以忽略不計,并且一旦用更多的數(shù)據(jù)進行訓(xùn)練,可以提供更好的工具來比較個體長度的細微差異。
源自:DOI: 10.1111/2041-210X.13246
2025-09-04 21:58
2025-08-28 11:13
2025-08-27 14:14
2025-08-26 13:50
2025-08-23 20:37
2025-08-22 10:33
2025-08-18 14:20
2025-08-13 11:12
2025-08-13 10:55
2025-08-08 09:53