L’écosystème de l’intelligence artificielle continue sa progression à un rythme soutenu.
Distinguer le signal du bruit dans les évaluations de codage
À l’issue d’un audit approfondi, nous avons constaté des problèmes généralisés au niveau des tâches dans SWE-Bench Pro et estimons qu’environ 30 % d’entre elles ne fonctionnent pas correctement.
Il est essentiel de mesurer avec précision les capacités de nos modèles pour prendre des décisions éclairées en matière de déploiement et de sécurité, notamment celles relevant du « Preparedness Framework » d’OpenAI(s’ouvre dans une nouvelle fenêtre). À chaque nouvelle version d’un modèle, nous publions les résultats obtenus lors de divers tests de référence externes et internes afin de suivre les progrès réalisés. Lorsque les évaluations comportent des failles qui affectent les résultats, elles peuvent donner une fausse idée des capacités, fausser les analyses de sécurité et influencer les priorités de recherche.
Nous avons récemment mené une enquête pour déterminer dans quelle mesure l’un des benchmarks de codage les plus utilisés, SWE-bench Verified, présentait des problèmes fondamentaux de conception et de contamination, et nous avons constaté que ce benchmark ne fournissait plus d’indications pertinentes sur les aptitudes en matière de développement logiciel. À l’époque, nous avions encouragé l’ensemble de la communauté à adopter SWE-Bench Pro.
Notons par ailleurs, sWE-Bench Pro(s’ouvre dans une nouvelle fenêtre) a été conçu pour améliorer SWE-Bench Verified en testant les modèles sur des horizons plus longs et avec des tâches de codage plus réalistes, afin de mieux évaluer les compétences de codage autonomes. Comme dans SWE-bench Verified, les tâches sont générées de manière programmatique à partir de l’historique des modifications de fonctionnalités dans un ensemble de dépôts publics et privés. Les modèles doivent mettre en œuvre une solution qui permette de réussir les nouveaux tests relatifs à une fonctionnalité, sans compromettre les fonctionnalités existantes. Sur l’échantillon public de 731 tâches, les modèles « frontier » ont vu leur taux de réussite passer de 23,3 % à 80,3 % en huit mois.
Depuis, nous avons réalisé un audit similaire sur SWE-Bench Pro, en examinant l’ensemble de données à l’aide d’un pipeline d’analyse des points de données. Ce pipeline a passé en revue les tentatives du modèle pour résoudre la tâche, les métadonnées de la tâche et les traces d’échec afin de repérer d’éventuelles failles dans l’évaluation. Chaque tâche signalée a ensuite été évaluée à plusieurs reprises par des chercheurs et des agents, puis examinée de manière indépendante par cinq ingénieurs logiciels expérimentés ; les divergences ont fait l’objet d’un suivi approfondi.
Nous avons constaté la présence de problèmes de dysfonctionnement dans une partie importante de l’ensemble de données. Notre pipeline d’analyse des points de informations a signalé 200 tâches défaillantes (27,4 %), tandis que la campagne d’annotation humaine en a identifié 249 (34,1 %).
Dans la foulée, nos conclusions mettent en évidence la difficulté d’élaborer des critères de référence rigoureux mais équitables, ainsi que l’utilité croissante des agents pour effectuer des contrôles de qualité des données à grande échelle. À la lumière de ces résultats, nous estimons qu’environ 30 % des tâches de SWE-bench Pro présentent des dysfonctionnements, et nous recommandons aux développeurs de modèles d’examiner attentivement les résultats.
Parallèlement, notre objectif est de nous assurer que les échecs dans l’exécution des tâches reflètent de véritables limites du modèle, et que les réussites correspondent à des solutions complètes et valides répondant aux exigences de la consigne. Afin de vérifier la qualité des données utilisées dans l’évaluation, nous avons mis en place un processus d’assurance qualité permettant de déterminer si chaque point de éléments reflète fidèlement les capacités du modèle.
Les prochaines semaines permettront d’en mesurer la portée réelle.
Dans le même ordre d’idées :
- La « première » attaque par ransomware pilotée par l’IA a tout de même nécessité l’intervention d’un humain | TechCrunch
- La participation de 300 dollars de votre famille dans OpenAI
Information publiée en premier lieu par OpenAI : OpenAI