跨模态因果对皆，让机器更懂视觉根据！
来自中山大学、新加坡南洋理工大学等团队建议跨模态因果对皆框架（CRA），通过因果干扰和跨模态对皆，权贵擢升时空定位的准确性与可解释性。
关联论文已被 CVPR 2025 招揽，代码已开源。
事情是这么的——
比年来跟着多模态大模子的发展，视频问答（VideoQA）任务——要求模子根据视频实质回答天然言语问题——性能权贵擢升。
然则，现存模子相似依赖查验数据中的统计偏差（如言语关键词与谜底的伪善关联），而非真的的因果视觉根据，导致回答穷乏可解释性。
举个栗子～
举例下图中，当视频中出现"婴儿"和"女性"时，模子可能仅因二者高频共现而给出谜底，却忽略真实因果事件（如"女性抱起婴儿"）。
也即是说，天然终结答对了，但过程中模子禁受的是失误的视觉依据。
针对肖似情况，为提供可靠的视觉根据接济，视频问答定位（VideoQG）任务应时而生，要求模子同期输出谜底过头对应视频片断的时期区间。
但现存措施濒临两大挑战：
多模态偏差：视频与言语中的沾污成分（如高频关键词、短时视觉特征）导致模子学习伪善关联；
弱监督猖狂：标注目频片断资本腾贵，现存模子依赖视频问答（VideoQA）的弱监督信号，难以精确定位。
以上即是 CRA 框架出身的配景。
此外，中山大学 HCP-Lab 团队已将关键的因果模块集成到开源因果框架 CausalVLR 中。
该框架是一个基于 PyTorch 的 python 开源器用包，用于因果联系发现，因果推理，为多样视觉言语推理任求杀青开首进的因果学习算法。
三模块驱动因果推理
现存措施常因依赖于查验数据中的统计偏差，导致模子无法准确识别与问题关联的因果视觉场景，进而产生不准确的时空定位终结。
为克服这一问题，CRA 框架通过三个中枢模块杀青了从噪声阻碍、特征对皆到因果联系建模的全进程优化。
该框架在 NextGQA 和 STAR 数据集上的现实终结标明，CRA 约略权贵擢升模子的时空定位才智和因果推理的准确性，为视频问答定位任务提供了更可靠的时刻贬责决议。
三个中枢模块具体张开如下：
GSG：阻碍噪声，聚焦关键帧
第一个，高斯平滑定位模块（GSG）。
GSG 模块通过自适合高斯滤波去噪，精确算计视频片断的时时停止。
它的中枢功能，是基于跨模态防御力算计时期区间，通过自适合高斯滤波去噪，生成鲁棒的视频片断特征。
时刻亮点主要有仨：
1、跨模态防御力计议：应用 CLIP 视频特征与 RoBERTa 言语特征的交互，生成泉源时期防御力权重；
2、自适合高斯滤波：引入可学习参数的高斯核，阻碍时序上的不自由噪声（如无关配景帧），凸起关键事件区域（下图）；
3、动态阈值分割：根据平滑后的防御力散播，动态截取高反应区间，擢升定位精度。
消融现实袒露，移除高斯滤波（GSG w/o GS）会导致 IoU@0.5 下跌 2.2%（下表），诠释其对噪声阻碍的关键作用。
△GSG 消融现实，其中 SGG w/o GS †示意 GSG 在查验过程中具有高斯平滑，但在推理过程中莫得高斯平滑 CMA：弱监督下的双向对皆
第二个，交叉模态对皆模块（CMA）。
CMA 模块应用双向对比学习，增强视频与问答特征的对皆终结。
它的中枢功能，是通过双向对比学习，对皆视频片断特征与问答特征，增强跨模态一致性。
时刻亮点有二：
双向 InfoNCE 蚀本：从统一批次中采样正 / 负样本，分离对皆视觉→言语和言语→视觉特征（公式 1-2）；
动态难样本挖掘：优先采选语义相反大的负样本，迫使模子关爱细粒度因果关联。
移除 CMA 模块后，Acc@GQA 下跌 2%，IoP@0.5 下跌 2.2%（下表），突显其对弱监督查验的进犯性。
ECI：割断伪善因果链
第三个，显式因果干扰模块（ECI）。
ECI 模块则通过前门和后门干扰，排斥多模态偏差，擢升因果一致性。
它的中枢功能，是针对视觉和言语模态分离诡计前门干扰与后门干扰，排斥多模态沾污成分。
言语后门干扰：贯通问答语义结构图（如主谓宾联系），阻断关键词与谜底的伪善旅途；
视觉前门干扰：以视频片断为中介变量，通过特征聚类模拟搀杂因子散播，重构因果链（公式 3-4）。
现实终结袒露，在 NextGQA 数据集上，去除了 Causal 模块后相关于 CRA 在 Acc@GQA 酿成了 1.2% 的性能蚀本。
现实终结：多维度性能逾越
在 NextGQA 数据皆集，CRA 以 18.2% 卓越 Temp [ CLIP ] （NG+）2.2%，且在使用 FrozenBiLM 大模子时仍保捏上风。
此外，IoP@0.5 达 28.5%，权贵优于基于 LLM 伪标注的 TimeCraft（27.8%），诠释其无需稀薄数据的高效性。
在 STAR 数据皆集，CRA 分离以 26.8% 与 27.5% 的 Acc@GQA 分数在 Temp [ CLIP ] 和 FrozenBiLM 的 Backbone 下逾越 NG+。
而通过统计弱监督视频定位的散播情况，磋议团队不错不雅察到 NG+ 局限于小区间的算计，而 CRA 所算计的区间与真实散播情况更相宜。
综上，CRA 框架通过跨模态因果对皆，初次在弱监督条目下杀青了视频问答定位的高精度与可解释性。
当今，CRA 框架代码已开源。
磋议团队示意，CRA 为视频显露提供了新的因果推理范式，或将鞭策自动驾驶、智能监控等鸿沟的实在 AI 应用。
论文地址：
https://arxiv.org/abs/2503.07635
CRA-GQA 仓库：
https://github.com/WissingChen/CRA-GQA
因果框架仓库：
https://github.com/HCPLab-SYSU/CausalVLR
— 完 —
学术投稿请于职责日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿实质
附上论文 / 面容主页皆集，以及辩论神态哦
咱们会（尽量）实时修起你
一键关爱 � � 点亮星标
科技前沿发扬逐日见
一键三连「点赞」「转发」「防范心」
接待在驳倒区留住你的思法！体育游戏app平台