SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias
Wenqian Ye, Di Wang, Guangtao Zheng, Bohan Liu, Aidong Zhang
Résumé
Resume traduit automatiquement a partir de la version anglaise originale.
Les grands modèles vision-langage, comme CLIP, ont montré de fortes performances de classification zero-shot en alignant images et texte dans un espace d'embedding partagé. Cependant, les modèles CLIP développent souvent des biais fallacieux multimodaux, tendance indésirable à s'appuyer sur des caractéristiques fallacieuses. Par exemple, CLIP peut déduire les types d'objets dans les images à partir d'arrière-plans fréquemment co-occurrents plutôt que des caractéristiques fondamentales de l'objet. Ce biais altère significativement la robustesse des modèles CLIP pré-entraînés sur des données hors distribution, où de telles associations intermodales ne tiennent plus. Les méthodes existantes de mitigation du biais fallacieux multimodal nécessitent généralement un fine-tuning sur des données aval ou une connaissance préalable du biais, ce qui compromet l'utilisabilité immédiate de CLIP. Dans cet article, nous analysons d'abord théoriquement l'impact du biais fallacieux multimodal sur la classification zero-shot. À partir de cette analyse, nous proposons Spuriousness-Aware Guided Exploration (SAGE), une méthode simple et efficace qui atténue le biais fallacieux par une sélection guidée de prompts. SAGE ne requiert ni entraînement, ni fine-tuning, ni annotations externes. Elle explore un espace de modèles de prompts et sélectionne ceux induisant la plus grande séparation sémantique entre classes, améliorant ainsi la robustesse du pire groupe. Des expériences étendues sur quatre jeux de données de référence du monde réel et cinq modèles dorsaux populaires démontrent que SAGE améliore systématiquement les performances zero-shot et la généralisation, surpassant les approches zero-shot antérieures sans connaissance externe ni mise à jour des modèles.
Resume original (anglais)
Large vision-language models, such as CLIP, have shown strong zero-shot classification performance by aligning images and text in a shared embedding space. However, CLIP models often develop multimodal spurious biases, which is the undesirable tendency to rely on spurious features. For example, CLIP may infer object types in images based on frequently co-occurring backgrounds rather than the object's core features. This bias significantly impairs the robustness of pre-trained CLIP models on out-of-distribution data, where such cross-modal associations no longer hold. Existing methods for mitigating multimodal spurious bias typically require fine-tuning on downstream data or prior knowledge of the bias, which undermines the out-of-the-box usability of CLIP. In this paper, we first theoretically analyze the impact of multimodal spurious bias in zero-shot classification. Based on this insight, we propose Spuriousness-Aware Guided Exploration (SAGE), a simple and effective method that mitigates spurious bias through guided prompt selection. SAGE requires no training, fine-tuning, or external annotations. It explores a space of prompt templates and selects the prompts that induce the largest semantic separation between classes, thereby improving worst-group robustness. Extensive experiments on four real-world benchmark datasets and five popular backbone models demonstrate that SAGE consistently improves zero-shot performance and generalization, outperforming previous zero-shot approaches without any external knowledge or model updates.
Ce que cet article apporte
Défense au niveau du prompt contre le biais multimodal : SAGE estime à quel point un prompt est « conscient de la fallacité » et explore des variations guidées pour trouver des formulations où le modèle s'appuie sur le contenu visuel réel plutôt que sur des raccourcis de données.
BibTeX
@inproceedings{ye2026sage,
title = {SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias},
author = {Wenqian Ye and Di Wang and Guangtao Zheng and Bohan Liu and Aidong Zhang},
booktitle = {AAAI Conference on Artificial Intelligence},
year = {2026},
url = {https://arxiv.org/abs/2511.13005}
}