L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine.
Faire progresser la programmation dans les langages de programmation aux ressources limitées
Les dernières avancées de nos modèles offrent des capacités renforcées pour le développement et la migration de logiciels écrits dans des langages de programmation disposant de peu de ressources, tels que COBOL, Fortran et Visual Basic. Ces langages disposent de moins de code et de documentation à partir desquels les modèles peuvent apprendre que des langages comme Python et JavaScript, mais ils soutiennent néanmoins des infrastructures critiques et des services essentiels à travers le monde. COBOL prend en charge(s’ouvre dans une nouvelle fenêtre) plus de 40 % des systèmes bancaires en ligne, 80 % des transactions par carte bancaire en agence et 95 % des transactions aux distributeurs automatiques, tandis que Fortran est utilisé dans les prévisions météorologiques(s’ouvre dans une nouvelle fenêtre) et l’analyse de la sûreté des réacteurs nucléaires(s’ouvre dans une nouvelle fenêtre). Faire progresser la capacité de l’IA à fonctionner dans ces langages pourrait aider les équipes à maintenir et à moderniser les logiciels dont dépendent ces services essentiels.
Ce travail s’appuie sur les retours des développeurs et des entreprises clientes, qui nous ont fait savoir que les modèles de codage rencontraient souvent des difficultés avec ces langages. La maintenance et la modernisation de ces logiciels peuvent s’avérer difficiles : la documentation peut être incomplète, les développeurs d’origine ont peut-être quitté l’entreprise, et certaines règles métier importantes n’existent peut-être que dans le code. Que les équipes corrigent des bogues ou migrent vers un autre langage, elles doivent préserver le comportement dont dépendent leurs systèmes.
Avec un effort de raisonnement plus notable, la précision atteint 97,9 %, ce qui correspond pratiquement à la saturation de l’évaluation.
À relever, pour mesurer les progrès réalisés, nous avons mis au point deux évaluations. MultiLangBench vérifie si un système est capable de créer de toutes pièces un moteur de base de données compatible avec SQLite à partir de 20 langages de programmation différents. Notre évaluation de migration COBOL vérifie si un modèle est capable de migrer des programmes existants vers un autre langage tout en préservant leur comportement. Ensemble, ces deux évaluations testent deux compétences complémentaires : la création de nouveaux logiciels et la préservation du fonctionnement des logiciels existants.
Nos derniers modèles affichent des améliorations significatives dans les deux évaluations, offrant une précision bien supérieure à moindre coût.
Sur MultiLangBench, GPT-6 Astra atteint un taux de réussite moyen de 87,4 % sur 20 langages de programmation, contre 26,8 % pour GPT-5.6 Sol, avec des améliorations constatées dans tous les langages testés. GPT-6 Luna surpasse également GPT-5.6 Sol, atteignant 40,3 % pour un coût API estimé inférieur d’environ 78 %.
Lors de notre évaluation de la migration COBOL, GPT‑6.1 Sol atteint une précision de 86,6 % avec un faible effort de raisonnement, contre seulement 5,4 % pour GPT‑5.6 Sol, tout en coûtant 39 % moins cher. Avec un effort de raisonnement plus notable, la précision atteint 97,9 %, ce qui correspond pratiquement à la saturation de l’évaluation.
Dans l’ensemble, ces résultats montrent que nos modèles gagnent considérablement en efficacité lorsqu’ils traitent un large éventail de langages de programmation, tout en devenant plus rentables.
MultiLangBench demande à un modèle de créer un moteur de base de données compatible avec SQLite dans un langage de programmation donné. Le modèle doit organiser la base de code, gérer l’état, traiter les erreurs et ajouter de nouvelles fonctionnalités tout en préservant les fonctionnalités existantes.
Ce qu’il faut garder à l’esprit :
- Avec un effort de raisonnement plus notable, la précision atteint 97,9 %, ce qui correspond pratiquement à la saturation de l’évaluation.
- MultiLangBench demande à un modèle de créer un moteur de base de données compatible avec SQLite dans un langage de programmation donné.
Le contexte technologique évolue, et ce type d’annonce en témoigne.
À lire également :
Reportage initial : OpenAI : OpenAI