点击下方卡片关注「3D视觉工坊」公众号选择星标干货第一时间送达本文经授权发布 | 来源3D视觉工坊「3D视觉从入门到精通」知识星球(点开有惊喜) 星球内有20多门3D视觉系统课程、300场顶会讲解、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研欢迎加入由于物体和复制品在纹理和颜色上的高度相似性高光谱伪装物体跟踪仍然是一个重大挑战。尽管最近取得了进展但跟踪器和嵌入令牌中存在的缺陷阻碍了模型训练。具体来说大多数方法都依赖于假彩色三通道图像来微调基于RGB的跟踪器。然而它在RGB域内引入了一种混淆效应可能导致有害的偏差将模型误导到伪相关同时忽视了高光谱图像中固有的关键光谱鉴别。此外当前的令牌类型嵌入方法忽略了模板和搜索之间的关键相关性最终混淆了相关性并提高了跟踪性能。为了应对这些挑战本文提出了一种新的无偏跟踪框架称为Causal HyperPrompter。它首先引入了一个结构因果模型在跟踪过程中识别和控制排他性因果因素并引入了一种反事实干预策略以消除混淆变量并减轻从RGB继承的偏见模型。此外我们提出了一种新的令牌类型嵌入模块该模块集成了局部光谱角度建模以增强模板和搜索令牌之间的语义联系从而提高了模型对对象定位的敏感性。最后为了克服手动初始化检测框和解决数据稀缺的困难我们引入了一个大规模的高光谱伪装目标检测和跟踪数据集。BihoT-130k由13750个带注释的帧组成横跨各种著名的场景。在多个大规模数据集上进行的广泛实验证明了我们方法的有效性。图2我们提出的CHP整体结构示意包括因果适配器、反事实干预策略和前景频谱校准模块(FSCM)。L表示 Transformer编码器层数。具体来说因果适配器引入了一组反事实模板/搜索标记(灰色)这些标记由根据方程(6)学习的高斯分布生成模拟了一个反事实情景即根据方程(5)去除了虚假的RGB诱导线索。图3与图4所提跟踪SCM。右侧图示展示了与两条跟踪SCM路径相对应的示例一条通过RGB模态XR另一条通过融合模态M。图4. (a)展示了经典的事实性SCM图(b)展示了反事实干预。图(c)通过比较两个假设可以消除直接效应。图6FSCM的细节。通过使用光谱角映射技术可在基于补丁的局部光谱提取后进行相似区域帧的捕捉。构造的数据集特性介绍为了证明我们方法的卓越性能在三个广泛使用的数据集上与先前的方法进行了全面的比较HOT24-RedNIR、HOT24-VIS、BihoT-130k-TRA。对比实验定量结果在HOT24-VIS、HOT24-RedNIR和BihoT-130k-TRA三个跟踪基准上与多类代表性跟踪器对比视觉跟踪器如OSTrack、MixFormer、ODTrack、ARTrack用三通道假彩方式适配HS专门的HS跟踪器如SiamHYPER、SEE-Net、SENSE、SSF-Net。结果显示CHP在三套数据上AUC与DP20均取得最优或领先。在HOT24-VIS相对更“好跟踪”的场景仍能保持优势。在HOT24-RedNIR上优势更明显体现其对“谱信息”利用更充分、对RGB域捷径依赖更小。在 BihoT-130k-TRA伪装/混淆更强上多数方法出现明显性能下滑而 CHP 下降更小且排名第一说明对复杂背景、复制品干扰、低对比等更鲁棒。跟踪可视化结果基于属性的对比结果1基于属性的对比结果2偏置得分的定量定性对比本文仅做学术分享如有侵权请联系删文。3D视觉方向论文辅导来啦可辅导SCI期刊、CCF会议、本硕博毕设、核心期刊等。添加微信cv3d001备注姓名方向单位邀请入群。