北京航空航天大学、中关村学院与东北大学联合提出GAAT,通过局部几何可靠性估计、稀疏跨模态融合与跨粒度对比学习提升无人机RGB-IR感知。方法覆盖分割、检测、跟踪与热红外新视角合成,并构建UAVMeta数据集与StateBench采集状态评测。
Tags:👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future
作者单位: 北京航空航天大学、中关村学院、东北大学
论文链接:https://arxiv.org/abs/2608.27971
完整作者署名: Jingpu Yang、Debin Tang、Yilin Sun、Fengxian Ji、Jiahua Zhu、Wenrui Ding、Yufeng Wang。Jingpu Yang、Debin Tang 和 Yilin Sun 为共同第一作者,Yufeng Wang 为通讯作者。
先估计局部对齐可靠性,再进行跨模态交互。
当 RGB 与红外“看见同一片区域”,却未必对应同一个 patch
在低空巡检、灾害响应、搜救、交通监管、夜间监视和应急测绘等任务中,无人机往往同时搭载 RGB 相机与红外(Infrared,IR)相机。RGB 图像擅长提供颜色、纹理、边缘和细粒度外观信息,红外图像则能够从热辐射角度刻画目标,在夜间、逆光、烟尘、弱照度或局部遮挡条件下提供补充线索。两类传感器的组合,使无人机能够在更复杂的环境中获得比单一视觉通道更丰富的观测。
然而,多模态并不等于天然对齐。无人机平台上的不同相机通常具有不同的光学系统、分辨率、视场范围、安装位置、曝光机制和采集时刻。平台在飞行过程中还会发生平移、旋转、俯仰、加速和转向,导致两个传感器虽然观察的是同一场景,却可能存在局部视差、镜头畸变、遮挡差异和时序位移。在工程数据中,RGB 与 IR 往往只能通过裁剪、缩放或全局仿射变换实现大致的中心对齐,而很难为每一对图像提供精确、密集、逐像素的对应关系。
这种问题在视觉 Transformer 的 patch 化表示中会被进一步放大。图像被划分为规则 patch 后,两个模态中具有相同索引的 token,并不一定覆盖同一个物理区域。一个模态中的车辆 token,可能在另一个模态中对应道路、树冠或背景;一个模态中清晰可见的目标,在另一个模态中也可能因分辨率和视场差异而发生偏移。如果模型仍然把“同索引”当作可靠正样本,并让所有 patch 进行密集跨模态交互,就可能把错误匹配写入表征空间,既影响对比学习,也增加无效计算。
论文配图将这一困难概括为三个相互关联的现象:第一,无人机视角会随着飞行姿态和观察位置变化;第二,RGB 与 IR 的分辨率差异及局部 patch 位移会破坏 token 级对应;第三,不区分可靠性地进行融合,容易让可靠目标区域与不可靠或无关区域被同等处理。换句话说,多模态无人机感知真正需要解决的,不只是“如何把两种信息加在一起”,而是“在什么位置、以多大置信度、通过什么粒度把它们对应起来”。
图 1 无人机多模态感知中的视角变化、跨模态错配与可靠性无关融合问题。
GAAT 的核心转变:先判断“哪里可信”,再决定“如何交互”
针对上述问题,团队提出 GAAT(Geometry-Aware Alignment Transformer,几何感知对齐 Transformer)。GAAT 的核心思路可以概括为一句话:先估计局部对齐可靠性,再进行跨模态交互。
这一思路没有把目标简单设定为回归一个全局配准矩阵,也没有假设所有 token 都能够获得同等可靠的对应关系。相反,GAAT 将残余 patch-center misalignment(patch 中心错位)视为一种需要显式建模的可靠性问题,围绕同一条可靠性通路设计了三个相互衔接的模块:
syncPATC 负责从同步视图变换中学习 token 与 query 的几何可靠性; MG-Sparse-MMA 根据可靠性选择少量高价值 query,在局部邻域内完成稀疏、双向的跨模态融合; RA-QCGCL 让对比学习的监督粒度与实际交互结构保持一致,在 patch 和 query 层面共同约束跨模态表征。
因此,GAAT 并不是把若干独立模块简单串联,而是建立了一个从可靠性估计、稀疏路由、局部采样到跨粒度监督的闭环:同一套几何先验既影响哪些区域参与融合,也影响哪些区域可以被当作对比学习的正样本。
图 2 GAAT 总体框架:以局部几何可靠性贯穿编码、稀疏融合与跨粒度对比学习。
第一层:syncPATC 学习可迁移的局部几何可靠性
GAAT 的第一个关键组件是 syncPATC(Synchronized Patch-Center Alignment,同步 patch 中心对齐)。它的设计重点不是为每一对真实 RGB–IR 图像标注密集对应点,而是利用同步视图变换构造可控的自监督信号。
在训练过程中,模型对 RGB 与 IR 图像施加同一个已知的仿射变换。由于两个模态共享这一变换,原始视图与变换视图之间的几何关系是已知的。在每个模态内部,模型据此提取 query、估计 query 的中心位置,并在局部邻域内寻找与变换后位置最一致的 token。通过对应一致性和逆变换后的 cycle consistency,syncPATC 学习哪些 patch 中心在不同视图下保持稳定,哪些区域的局部匹配分布较分散、容易受到遮挡、纹理贫乏或模态差异影响。换言之,这一步提供的是各模态内部的变换一致性可靠性先验,而不是直接回归 RGB–IR 之间的完整配准场。
syncPATC 输出四类几何先验:
token-level confidence,描述每个 token 作为跨模态交互锚点的可靠程度; query-level confidence,用于判断一个语义 query 是否值得进入后续融合; query center,给出 query 在特征网格中的空间中心; sub-token offset,对局部采样位置进行细粒度修正。
其中,offset 是用于 query 局部采样的子 token 偏移,并不等同于直接回归 RGB 到 IR 的完整图像配准场。这个区分非常重要:GAAT 的目标是提高交互的几何可信度,而不是声称已经消除了所有真实传感器之间的局部形变。
论文还引入了 view-gap curriculum(视图间隔课程)。训练早期,损失权重更强调小视图间隔、较容易的同步变换,以建立稳定对应;随着训练推进,权重逐渐转向更大的视图间隔,使模型承担更强的旋转、平移、尺度和剪切扰动。这样的由易到难权重调度,使模型能够在没有人工密集对应标注的情况下,逐步学习处理更强的视角变化。
图 3a syncPATC 的变换一致性与局部可靠性估计。
图 3b 同步视图变换提供无需密集标注的自监督信号。
第二层:MG-Sparse-MMA 把可靠性转化为稀疏的局部融合
有了可靠性先验,GAAT 并不让所有 token 进行全连接式跨模态注意力,而是采用 MG-Sparse-MMA(Modality-Guided Sparse Multimodal Attention,模态引导稀疏多模态注意力)。
该模块首先通过共享 query bank 从 RGB 和 IR 特征中提取候选 query,再将 token confidence 和 query confidence 融入 saliency ranking。默认设置下,模型从候选 query 中选择排名前 K_s 个高可靠、高信息量的 query,论文配置为 K_s=4。只有这些被选中的 query 才会驱动后续局部跨模态交互,其余区域不需要承担同等的融合开销。
对于每一个被选中的 query,MG-Sparse-MMA 会在由 query center 定位的局部窗口内进行采样,并将可学习 offset 与 syncPATC 提供的几何偏移相结合。默认局部半径为 1,对应一个 3×3 的邻域。随后,模型分别执行 IR→RGB 与 RGB→IR 的双向更新,通过 saliency-aware gate 自适应控制另一模态信息写入当前模态的程度,最后把 query 更新以 residual scatter-back 的方式写回原始 token 网格。
这种设计具有两层意义。其一,融合区域不再由固定 token 索引或单纯的视觉显著性决定,而是同时受到局部几何可靠性和语义重要性的约束。其二,交互复杂度从密集 all-patch attention 的二次规模,转化为围绕少量 query 和局部邻域的稀疏计算,理论上可将跨模态交互成本压缩到与 K_s 和局部采样数相关的规模。对于高分辨率无人机图像,这种“只在值得交互的地方计算”的策略尤其具有吸引力。
图 4 MG-Sparse-MMA:只在高可靠 query 所指向的局部区域执行跨模态融合。
第三层:RA-QCGCL 让对比学习与稀疏交互真正对齐
如果融合已经转向稀疏 query,预训练监督却仍然对所有同索引 patch 一视同仁,模型仍可能在训练阶段重新引入错误正样本。为此,GAAT 设计了 RA-QCGCL(Reliability-Aware Query-Guided Cross-Granularity Contrastive Learning,可靠性感知的 query 引导跨粒度对比学习)。
RA-QCGCL 首先融合 syncPATC 的几何 confidence、RGB/IR 图像证据以及样本级配准质量先验,在特征网格上构建 joint reliability map。默认情况下,模型选择可靠性最高的前 25% token 进入 patch 级对比学习,而不是强行让所有 patch 参与。
在此基础上,RA-QCGCL 使用三种互补的监督分支:
P2P(patch-to-patch):在可靠 token 子集上保留空间锚定的 patch 对 patch 对比,强化局部语义一致性与空间唯一性; P2Q(patch-to-query):将可靠 patch 拉近对应的跨模态语义 query,使局部证据与更高层语义槽位建立联系; Q2Q(query-to-query):在 patch 对应较弱时,直接对齐 RGB 与 IR 的 query slot,为跨模态表征提供更稳定的语义级约束。
这三条分支对应三个粒度:局部空间、局部到语义、语义到语义。它们共同解决了一个常被忽略的问题,即跨模态预训练的监督粒度必须与实际交互粒度匹配。GAAT 不是先进行稀疏融合,再用密集目标“补课”,而是让选中的 token、query 及其可靠性共同决定学习信号的分配。
除了三大核心模块,GAAT 还在双 Swin-V2 编码器中加入了模态特定的高频/对比度增强。RGB 分支使用 Sobel 与 Laplacian 等高频线索强化纹理和边缘,IR 分支使用梯度幅值与局部对比度响应刻画热边界和热差异;同时结合 masked image modeling、可见性加权知识蒸馏和模态补全目标,尽可能保留各自传感器的特有信息,再在可靠区域进行交互。
图 5 RA-QCGCL:让对比学习的监督粒度与稀疏交互结构保持一致。
UAVMeta:把多模态预训练、任务标注和采集状态放到同一数据域
为了让方法开发和评估不再依赖彼此割裂的数据来源,团队构建了 UAVMeta。当前版本包含 2,575 对同步 RGB–IR 图像,覆盖白天与夜间场景,并采用按 acquisition 划分的训练/验证/测试协议,样本数量分别为 1,715/572/288 对。按采集批次而非单帧随机切分,可以避免时间相邻帧同时落入训练集和测试集,从而降低数据泄漏风险。
UAVMeta 在同一采集域内提供三类监督任务:语义分割、目标检测和场景分类,并保留与飞行采集过程有关的元数据。原始 RGB–IR 对通过局部匹配与全局仿射变换完成粗粒度中心对齐,但不强行抹除局部位移,因此保留了 GAAT 所要面对的真实困难。论文描述的预处理流程结合了 LoFTR、SuperPoint、LightGlue 和 RANSAC 仿射拟合,并将配准质量归一化为样本级先验,用于对比学习加权和质量诊断。
UAVMeta 的价值不仅在于“多了一个数据集”,还在于它把预训练和下游任务放在了同一个具有明确采集背景的多模态环境中。现有 UAV 数据集往往专注于单一任务,或者只提供 RGB 数据;而 UAVMeta 试图同时回答:模型能否理解场景?能否定位目标?能否进行像素级解析?这些能力是否会随相机状态、观察尺度和飞行动作变化而改变?
StateBench:从“预测场景内容”走向“理解图像是如何被采集的”
论文进一步提出 StateBench,用于评价模型从同步 RGB–IR 输入中预测采集状态代理指标的能力。它定义了四类分数:
CARS(Camera Acquisition Reliability Score):综合 RGB 的亮度、裁剪、清晰度,IR 的动态范围、饱和度、局部热对比度以及运动模糊风险; OSGS(Observation Scale and Ground Sampling Score):描述观察尺度和地面采样相关信息; VSS(Viewpoint Stability Score):刻画云台姿态与航向稳定性; FMCS(Flight Maneuver Complexity Score):描述速度、加速度、偏航速率和高度变化率所体现的飞行动作强度。
这四个量并不是把“图像质量”简单压缩为一个分数,而是试图把相机可靠性、空间尺度、视角稳定性和运动复杂度分开建模。论文使用 MSPA-4D(Multi-State Prediction Accuracy)协议,将各状态维度的误差、有效性和活动程度纳入统一评价。需要强调的是,这些指标是由平台遥测和图像统计构造的 acquisition-state proxy,而不是对所有真实传感器状态的直接测量;它们更适合用于条件分层、失败分析和后续自适应策略研究。
六类主任务验证:从像素级解析到三维新视角合成
论文围绕六类主任务开展了系统验证,覆盖语义分割、目标检测、场景分类、变化检测、多目标跟踪和热红外新视角合成,并在多个外部 UAV/遥感基准上进行迁移测试。
1. 语义分割:几何可靠性提升空间解析性能
在 KUST4K 可见光–红外语义分割基准上,GAAT(C) 获得 82.14 mIoU 和 92.41 mAcc,均为当前表格对比方法中的最高值。相较于表中强基线,mIoU 高出 SGFNet 1.07 个百分点,mAcc 高出 DOFA 2.93 个百分点。对于道路、建筑、植被等空间敏感区域,这一聚合结果与可靠性引导的局部融合降低跨模态错配干扰、提升空间解析性能的设计目标相一致。
在 UAVMeta 的 acquisition-disjoint 测试集上,GAAT 达到 67.79±1.18 mIoU、78.58±1.32 FWIoU 和 87.44±0.93 Pixel Accuracy,相较于 SegFormer-B5 的平均结果分别提升 4.27、4.05 和 2.58 个百分点。扩展实验还显示,GAAT(U) 在 UAVid 上达到 69.98 mIoU、82.31 mAcc,在 UDD5 上达到 77.17 mIoU、90.31 aAcc;在 UAVM 上,GAAT(C) 的 mIoU、mPA 和 mF1 分别为 87.08、93.70 和 92.75,均为表中最高值。UDD6 上,GAAT 的 aAcc 达到 89.95,mIoU 为 78.71,略低于 RingMo-Aerial(M) 的 78.90,这也说明几何感知并不会在每一个指标、每一个数据集上都自动带来绝对优势。
2. 目标检测:在跨模态车辆与小目标场景中扩大有效信息覆盖
在 DroneVehicle 目标检测基准上,GAAT(D) 获得 56.59 mAP、80.12 mAP50 和 67.16 mAP75,相较于表中最强 DDQ-DETR 基线分别提升 6.49、7.72 和 7.66 个百分点。三个指标同时提升,表明收益不仅体现在较宽松的 IoU 阈值下,也体现在更严格的定位质量上。
在 UAVMeta 内域检测任务上,GAAT(D) 获得 44.86±3.76 mAP、62.64±4.40 mAP50 和 52.00±5.13 mAP75,相较于 RGB-only 的 DDQ-DETR 基线平均提升 1.53、0.71 和 1.63 个百分点。扩展基准进一步给出:HIT-UAV 上为 56.40/87.01/60.48,LLVIP 验证集上为 63.60/96.15,UAVDT 上为 54.93/84.26/66.04,VisDrone-DET 上为 41.14/66.75/42.64,这些结果在各自表格中均处于领先位置。IndraEye 的结果则呈现出明显的模态差异:GAAT 在 IR 的 mAP50 达到 71.10,但在 EO 和部分 IR 指标上仍有更强的专用检测器,说明通用预训练表征与专门设计的单任务检测器之间仍存在互补空间。
3. 场景分类:验证表征的全局语义迁移能力
在 AID 数据集的 20%/50% 训练比例下,GAAT 分别获得 95.90/97.38 的总体准确率;在 RESISC45 的 10%/20% 训练比例下,分别获得 92.84/94.49。这些结果表明,GAAT 学到的表征不仅服务于局部空间任务,也能够迁移到更依赖全局语义的场景识别。不过,在公开场景分类对比中,SkySense 和 RVSA 在部分训练比例下仍然更强,因此本文更适合将 GAAT 的优势概括为“具有良好迁移能力”,而不是宣称在所有分类设置下都达到最优。
在 UAVMeta 场景分类任务上,GAAT(G) 使用 RGB–IR 输入,准确率达到 63.66±1.78,平衡准确率达到 51.97±0.56,均为表中最高;Macro-F1 为 48.12±1.23,与 IR-only 强基线的 48.72±5.85 接近。这种结果揭示了多模态模型在类别不均衡和复杂采集状态下的真实表现,也提示采集条件可能是影响全局识别的重要因素。
4. 变化检测:跨时相表征保持对结构差异的敏感性
在 CDD 上,GAAT(CF) 获得 97.85 F1 和 95.79 IoU,与 ScratchFormer 的 97.88/95.85 仅有很小差距;在 LEVIR-CD 上,GAAT(CX) 达到 95.96 F1 和 92.47 IoU,两项指标均为表中最高。变化检测要求模型区分真实结构变化与视角、光照、成像条件变化,几何可靠性和跨粒度对齐为这种判别提供了更稳健的特征基础。
5. 多目标跟踪:让检测表征进一步服务于跨帧关联
在官方 M3OT 验证序列上,团队将 GAAT 检测器接入 ByteTrack 风格的跟踪框架。Drone 1 的 RGB–IR pooled 结果中,GAAT(B) 的 HOTA、IDF1 和 MOTA 分别为 51.05、67.96 和 47.80,均为表中最高。Drone 2 上,GAAT(B) 的 pooled HOTA 为 49.79、MOTA 为 49.54,两项领先,但 pooled IDF1 为 60.84,低于 CenterTrack 的 65.78。这个结果很有代表性:几何感知表征能够改善检测和总体关联质量,但身份保持仍可能受到跟踪器、序列长度和遮挡模式的影响,不能简单归结为单一预训练模块的全部贡献。
6. 热红外新视角合成:几何感知表征进入三维重建场景
在 TSDN 的 SingleTime-AM00 热红外新视角合成设置中,GAAT 的 IR 分支与 ThermalGS 结合后获得 26.92 PSNR、0.89 SSIM 和 0.11 LPIPS。其中 SSIM 和 LPIPS 为表中最优,PSNR 则由 Thermal3D-GS 与 ThermalGS 的 27.21 并列领先。对三维任务而言,GAAT 的意义不在于单项 PSNR 的绝对第一,而在于说明由 RGB–IR 预训练得到的 IR 分支表征可以被迁移到热红外场景的几何重建和新视角渲染中。
StateBench 结果:不仅识别“看到了什么”,也开始刻画“如何看到的”
在 StateBench 单帧 RGB–IR 输入设置下,GAAT 的 MSPA-4D 综合得分为 52.69,高于表中 SkySense-S2 的 52.26,并取得 12.66 的 FMCS MAE,为表中最低。GAAT 并非在每一个状态维度上都取得最低误差:CARS MAE 最优为 SkySense-S2 的 2.24,OSGS MAE 最优为 SkySense-HR 的 20.45,VSS MAE 最优为 ViT-Large 的 7.61。GAAT 的价值更接近于在多个状态维度之间取得平衡,并在总体 MSPA-4D 上保持领先。
这一评价角度为无人机感知带来一个值得重视的延伸:模型输出不应只回答“图像里有什么”,还可以进一步回答“当前采集是否可靠、观察尺度如何、视角是否稳定、飞行是否剧烈”。如果未来将这些状态预测与动态曝光、主动采样、航迹规划或条件化推理结合起来,就有机会形成从感知结果反向服务数据采集的闭环。
更多定性结果:从像素级解析到跨时相变化
除数据集层面的量化指标外,论文附录还汇集了语义分割、目标检测和变化检测的代表性输出。以下图件保留输入、参考标注、对比方法、GAAT 预测与误差可视化,用于直观观察目标轮廓、密集小目标和跨时相变化区域上的输出差异。定性案例是对整体测试集指标的补充,不替代定量评价。
语义分割
图 7a UDD5 语义分割定性对比。各列依次为输入图像、真实标注、DeepLabV3-R101 预测、GAAT(U) 配合 UPerNet 的预测、基线误差图与 GAAT 误差图。
图 7b UAVMeta RGB–IR 语义分割定性结果。各列依次为 RGB 输入、配对 IR 输入、真实标注、DeepLabV3-R101 预测、GAAT(C) 配合 SegFormer 风格解码器的预测、基线误差图与 GAAT 误差图。
目标检测
图 8a UAVDT 目标检测定性对比。各列依次为输入图像、真实框、MaRS 配合 Faster R-CNN 的预测与 GAAT 配合同一检测头的预测。
图 8b VisDrone-DET 目标检测定性对比。各列依次为输入图像、真实框、MaRS 配合 Faster R-CNN 的预测与 GAAT 配合同一检测头的预测。
图 8c UAVMeta 弱光 RGB–IR 目标检测结果。各列依次为 RGB 输入、配对红外输入、RGB-only DDQ-DETR 预测与 RGB–IR GAAT(D) 预测。
变化检测
图 9a CDD 双时相变化检测定性对比。各列依次为时相 A、时相 B、真实变化掩膜、MaRS 配合 ChangeFormer 的预测、GAAT(CF) 预测及误差图;末列 B/G 分别表示基线与 GAAT。
图 9b LEVIR-CD 双时相建筑变化检测定性对比。列定义与图 9a 相同,末列 B/G 分别表示基线与 GAAT。
消融实验与可视化:三大模块为何需要协同工作
论文通过跨任务消融验证了 GAAT 各组件的作用。以代表性指标为例,在 KUST4K 上,完整模型 mIoU 为 82.14,去掉 syncPATC、MG-Sparse-MMA 和 RA-QCGCL 后分别为 82.07、80.09 和 80.60;在 DroneVehicle 上,完整模型 mAP50 为 80.12,对应消融结果为 78.94、53.05 和 74.18;在 LEVIR-CD 上,完整模型 F1 为 95.96,去掉三类模块后分别降至 83.19、85.62 和 85.56。在 M3OT 的代表性 pooled 指标中,完整模型 HOTA/IDF1 为 50.42/64.40,去掉模块后也出现明显下降。
这些结果支持一个整体性解释:syncPATC 提供“哪里更可信”的先验,MG-Sparse-MMA 将先验转化为“在哪里交互、如何采样”的路由,RA-QCGCL 则确保“哪些关系被监督”与实际交互结构相匹配。缺少其中任何一环,模型都可能重新暴露出错误匹配、无效密集计算或监督粒度不一致的问题。
定性热图也呈现出相似趋势。在五个代表性 UAV 场景中,GAAT 的响应更集中于车辆、道路结构和行人附近,而 MaRS 的激活范围更宽,背景区域响应更明显。需要强调的是,这些热图属于定性分析,并不是独立的配准精度基准;它们的意义在于直观展示 Top-K query routing 和几何校准局部采样所带来的注意力紧凑性。
图 6a GAAT 与 MaRS 的特征响应热图定性对比。
图 6b UAVMeta 的昼夜 RGB–IR、多任务标注与采集元数据样例。
这项工作的意义:把“对齐”从预处理步骤提升为表征学习原则
从方法层面看,GAAT 最值得关注的地方,是它没有把几何问题局限在输入端的配准预处理,而是把局部可靠性贯穿到预训练过程的多个环节。传统流程通常先对齐、再融合、再学习;GAAT 则进一步追问:对齐之后,哪些局部对应仍然可信?这些区域应该获得多少交互预算?在 patch 对应不可靠时,是否可以借助 query 级语义关系继续学习?
这一框架带来的启发是,未来的多模态基础模型可能需要同时建模三类信息:内容是什么、空间上在哪里、当前观测有多可靠。对于无人机而言,传感器并不是静止的实验室设备,而是安装在持续运动的平台上。视角、尺度、姿态、曝光和飞行动作会共同决定每一帧数据的可用性。GAAT 通过 UAVMeta 和 StateBench,将表征学习与采集过程连接起来,为后续的条件化感知和采集策略优化提供了一个可扩展接口。
从应用层面看,几何可靠性优先的设计适合那些对空间精度要求较高的场景,例如道路和建筑分割、车辆检测、灾害区域变化识别、搜救目标定位和多目标跟踪。特别是在夜间或弱可见条件下,RGB 与 IR 的互补信息只有在空间关系足够可信时才能真正转化为增益。GAAT 的结果表明,稀疏、局部、可靠性引导的交互,有望成为复杂低空视觉系统的一条重要技术路线。
边界与展望:从 RGB–IR 走向更广泛的低空多模态感知
论文当前的主要验证集中在同步 RGB–IR 数据和仿射变换监督下。现实无人机系统还可能面临非刚性局部形变、更大的时间偏移、传感器不同步、动态物体遮挡以及 SAR、深度、多光谱和 LiDAR 等更多模态。UAVMeta 的数据模式和 GAAT 的可靠性通路为这些扩展留下了接口,但这些模态上的全面验证仍需要后续研究完成。
此外,StateBench 中的四类状态指标主要是由遥测和图像统计构造的代理分数,不能替代对真实传感器健康状态、标定误差和任务风险的直接评估。稀疏交互虽然降低了跨模态计算量,但训练阶段仍包含双分支编码器和预训练损失,下游评测则需按任务配置相应的任务头或解码器;面向机载实时部署时,还需要进一步进行模型压缩、量化、延迟分析和能耗评估。
总体而言,GAAT 提供的不只是一个新的无人机多模态网络名称,而是一种更明确的建模立场:不要默认所有跨模态对应都可靠,也不要把所有区域都交给同一种交互方式;应当先估计局部几何可信度,再用稀疏交互和匹配粒度的监督去利用互补信息。
在当前预印本的多任务实验中,GAAT 已在 KUST4K、DroneVehicle、LEVIR-CD、多个 UAV 扩展基准以及 StateBench 综合评价上展现出较强竞争力,并在语义分割、检测、变化检测、跟踪和热红外新视角合成等空间敏感任务中表现出良好的迁移潜力。随着更丰富的低空传感器和更真实的飞行数据被纳入,这条“几何感知对齐 + 稀疏融合 + 跨粒度监督”的路线,或将成为构建下一代多模态无人机感知基础模型的重要候选方案。
作者与机构
Jingpu Yang(北京航空航天大学、中关村学院)、Debin Tang(东北大学)、Yilin Sun(北京航空航天大学)、Fengxian Ji(中关村学院)、Jiahua Zhu(北京航空航天大学)、Wenrui Ding(北京航空航天大学)、Yufeng Wang(北京航空航天大学)。Jingpu Yang、Debin Tang 和 Yilin Sun 为共同第一作者,Yufeng Wang 为通讯作者。技术交流社区免费开放
技术交流
加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!
没有评论:
发表评论