L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.
Xiaomi dévoile, dans le cadre de son projet MiLM Plus, les indicateurs RC-S et RC-T de suppression d’objets alignés sur la perception (PROVE), accompagnés d’un test de performance sur une vidéo réelle.
Les modèles de suppression d’objets ont progressé plus rapidement que les indicateurs utilisés pour les évaluer. Les « effaceurs par diffusion » parviennent désormais à reconstruire de manière convaincante les ombres, les reflets et les structures masquées ; pourtant, les indicateurs PSNR, SSIM, LPIPS, ReMOVE et CFD évaluent souvent leurs résultats de manière erronée. La cause profonde est d’ordre structurel : l’effacement est une tâche « un-à-plusieurs » mal posée, de sorte qu’il n’existe pas de « vérité de référence » unique à laquelle se référer. Une équipe de MiLM Plus, chez Xiaomi Inc., a publié PROVE (Perceptual RemOVal cohErence), accepté à l’ACM MM 2026, afin de combler cette lacune. PROVE associe deux métriques alignées sur la perception — RC-S pour la cohérence spatiale et RC-T pour la cohérence temporelle — à PROVE-Bench, un benchmark vidéo en conditions réelles à deux niveaux. Ces deux métriques évaluent localement la région modifiée, en utilisant la « Maximum Mean Discrepancy » (MMD) sur une fenêtre glissante appliquée aux caractéristiques de DINOv2, et aucune des deux ne nécessite de vidéo de référence.
Par ailleurs, oui — en tant qu’environnement d’évaluation, et non comme fonctionnalité du produit. PROVE est fourni sous forme de dépôt PyTorch sous licence Apache 2.0, avec un point d’entrée CLI unique (run_prove_metrics.py). Il nécessite Python 3.10 ou une version ultérieure, PyTorch 2.6 ou une version ultérieure, Transformers 4.51 ou une version ultérieure, ainsi que DINOv2-giantweights. Les masques sont obligatoires ; les pixels blancs indiquent l’objet supprimé.
À noter également, la suppression d’objets est un problème mal posé et de type « un-à-de multiples » : de nombreuses restaurations sont plausibles pour un même trou, de sorte qu’il n’existe pas de vérité de référence unique.
Les deux partagent la même idée : privilégier la correspondance locale dans l’espace des caractéristiques profondes plutôt que l’agrégation globale.
RC-S (spatial) : l’analyse des composants connectés divise le masque en cibles indépendantes. Chaque rectangle de délimitation est agrandi d’un tiers de la longueur de son côté, le recadrage est transmis à DINOv2, et le masque est sous-échantillonné à la résolution des caractéristiques. Une fenêtre de taille w × w se déplace sur la carte de caractéristiques, calculant la valeur au carré de la « Maximum Mean Discrepancy » (MMD) à l’aide d’un noyau RBF gaussien entre les caractéristiques masquées et les caractéristiques d’arrière-plan locales. Les scores sont moyennés par cible, puis sur l’ensemble des cibles.
RC-T (temporel) : les images adjacentes sont recadrées conjointement selon l’union de leurs masques afin d’éviter tout désalignement, puis le MMD est calculé uniquement à l’intérieur de l’intersection, c’est-à-dire la région restaurée dans les deux images. Une expérience d’ablation montre que la suppression du recadrage rend RC-T insensible aux altérations injectées.
Les implications concrètes de cette annonce se dessineront progressivement.
À lire également :
- Avec ses nouveaux modèles ouverts, Meta propose une nouvelle refonte de sa stratégie en matière d’IA, qui connaît des difficultés
- Faites évoluer votre stratégie marketing grâce à de nouveaux outils d’IA
Source originale : MarkTechPost : MarkTechPost