SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias
Wenqian Ye, Di Wang, Guangtao Zheng, Bohan Liu, Aidong Zhang
Resumen
Resumen traducido automaticamente a partir del original en ingles.
Los grandes modelos visión-lenguaje, como CLIP, han mostrado un fuerte rendimiento de clasificación zero-shot al alinear imágenes y texto en un espacio de incrustación compartido. Sin embargo, los modelos CLIP a menudo desarrollan sesgos espurios multimodales, la tendencia indeseable de apoyarse en características espurias. Por ejemplo, CLIP puede inferir tipos de objetos en imágenes a partir de fondos que coocurren con frecuencia en lugar de las características centrales del objeto. Este sesgo deteriora significativamente la robustez de los modelos CLIP preentrenados en datos fuera de distribución, donde tales asociaciones cruzadas dejan de cumplirse. Los métodos existentes para mitigar el sesgo espurio multimodal suelen requerir ajuste fino sobre datos descendentes o conocimiento previo del sesgo, lo que socava la usabilidad inmediata de CLIP. En este artículo analizamos primero teóricamente el impacto del sesgo espurio multimodal en la clasificación zero-shot. A partir de esta idea, proponemos Spuriousness-Aware Guided Exploration (SAGE), un método simple y eficaz que mitiga el sesgo espurio mediante la selección guiada de prompts. SAGE no requiere entrenamiento, ajuste fino ni anotaciones externas. Explora un espacio de plantillas de prompts y selecciona aquellas que inducen la mayor separación semántica entre clases, mejorando así la robustez del peor grupo. Experimentos extensivos en cuatro conjuntos de datos de referencia del mundo real y cinco modelos troncales populares demuestran que SAGE mejora consistentemente el rendimiento zero-shot y la generalización, superando enfoques zero-shot previos sin conocimiento externo ni actualizaciones del modelo.
Resumen original (ingles)
Large vision-language models, such as CLIP, have shown strong zero-shot classification performance by aligning images and text in a shared embedding space. However, CLIP models often develop multimodal spurious biases, which is the undesirable tendency to rely on spurious features. For example, CLIP may infer object types in images based on frequently co-occurring backgrounds rather than the object's core features. This bias significantly impairs the robustness of pre-trained CLIP models on out-of-distribution data, where such cross-modal associations no longer hold. Existing methods for mitigating multimodal spurious bias typically require fine-tuning on downstream data or prior knowledge of the bias, which undermines the out-of-the-box usability of CLIP. In this paper, we first theoretically analyze the impact of multimodal spurious bias in zero-shot classification. Based on this insight, we propose Spuriousness-Aware Guided Exploration (SAGE), a simple and effective method that mitigates spurious bias through guided prompt selection. SAGE requires no training, fine-tuning, or external annotations. It explores a space of prompt templates and selects the prompts that induce the largest semantic separation between classes, thereby improving worst-group robustness. Extensive experiments on four real-world benchmark datasets and five popular backbone models demonstrate that SAGE consistently improves zero-shot performance and generalization, outperforming previous zero-shot approaches without any external knowledge or model updates.
Qué aporta este trabajo
Defensa a nivel de prompt contra el sesgo multimodal: SAGE estima cuán «consciente de espuriedad» es un prompt y explora variaciones guiadas para encontrar formulaciones donde el modelo se apoya en el contenido visual real y no en atajos del dataset.
BibTeX
@inproceedings{ye2026sage,
title = {SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias},
author = {Wenqian Ye and Di Wang and Guangtao Zheng and Bohan Liu and Aidong Zhang},
booktitle = {AAAI Conference on Artificial Intelligence},
year = {2026},
url = {https://arxiv.org/abs/2511.13005}
}