Benchmarks

OpenAI présente GPT-Red : un modèle interne automatisé de « red teaming » qui a battu les testeurs humains par 84 % contre 13 % lors d’un test d’injection de prompts

par
OpenAI présente GPT-Red : un modèle interne automatisé de « red teaming » qui a battu les testeurs humains par 84 % contre 13 % lors d'un test d'injection de prompts

Voici une information qui pourrait bien avoir un impact durable sur le secteur. OpenAI présente GPT-Red : un modèle interne automatisé de « red teaming » qui a battu les testeurs humains par 84 % contre 13 % lors d’un test d’injection de prompts Cette semaine, OpenAI a publié des informations détaillées sur GPT-Red, un … Lire la suite

Anthropic Claude : Sonnet 5, Sonnet 4.6 et Opus 4.8 : comparaison des benchmarks de codage agentique, des tarifs des API et des compromis entre coût et performance

par
Anthropic Claude : Sonnet 5, Sonnet 4.6 et Opus 4.8 : comparaison des benchmarks de codage agentique, des tarifs des API et des compromis entre coût et performance

Une évolution notable vient d’être rendue publique dans le domaine. Anthropic Claude : Sonnet 5, Sonnet 4.6 et Opus 4.8 : comparaison des benchmarks de codage agentique, des tarifs des API et des compromis entre coût et performance Anthropic vient de lancer Claude Sonnet 5. L’entreprise le présente comme son modèle Sonnet le plus « … Lire la suite

Guide de programmation pour la programmation GPU par tuiles de NVIDIA : de cuTile et des noyaux Triton à Flash Attention

par
Guide de programmation pour la programmation GPU par tuiles de NVIDIA : de cuTile et des noyaux Triton à Flash Attention

Les développements se succèdent à un rythme impressionnant dans l’IA. Guide de programmation pour la programmation GPU par tuiles de NVIDIA : de cuTile et des noyaux Triton à Flash Attention Dans ce tutoriel, nous explorons la programmation TileGymGPU en créant un workflow Colab concret capable de fonctionner sur différents types de matériel. Nous commençons … Lire la suite

SpaceXAI lance Grok 4.5, un modèle entraîné à l’aide du curseur pour la programmation, les tâches agentiques et le travail intellectuel, à un coût de 2 $ par million d’entrées

par
SpaceXAI lance Grok 4.5, un modèle entraîné à l'aide du curseur pour la programmation, les tâches agentiques et le travail intellectuel, à un coût de 2 $ par million d'entrées

L’actualité du jour apporte un éclairage intéressant sur l’évolution du domaine. SpaceXAI lance Grok 4.5, un modèle entraîné à l’aide du curseur pour la programmation, les tâches agentiques et le travail intellectuel, à un coût de 2 $ par million d’entrées SpaceXAI vient de lancer Grok 4.5. L’entreprise le présente comme son système le plus … Lire la suite

Distinguer le signal du bruit dans les évaluations de codage

par
Distinguer le signal du bruit dans les évaluations de codage

L’écosystème de l’intelligence artificielle continue sa progression à un rythme soutenu. Distinguer le signal du bruit dans les évaluations de codage À l’issue d’un audit approfondi, nous avons constaté des problèmes généralisés au niveau des tâches dans SWE-Bench Pro et estimons qu’environ 30 % d’entre elles ne fonctionnent pas correctement. Il est essentiel de mesurer … Lire la suite

Utilisation de Lift pour convertir des fichiers PDF de recherche en éléments JSON structurées, avec une évaluation contrôlée au niveau des champs, guidée par un schéma

par
Utilisation de Lift pour convertir des fichiers PDF de recherche en éléments JSON structurées, avec une évaluation contrôlée au niveau des champs, guidée par un schéma

L’intelligence artificielle reste au cœur de toutes les attentions. Utilisation de Lift pour convertir des fichiers PDF de recherche en éléments JSON structurées, avec une évaluation contrôlée au niveau des champs, guidée par un schéma Dans ce tutoriel, nous mettons en place un workflow complet d’extraction de informations structurées à partir de fichiers PDF à … Lire la suite

Patronus AI lève 50 millions de dollars pour créer des « mondes numériques » destinés à tester la résistance des agents IA | TechCrunch

par
Patronus AI lève 50 millions de dollars pour créer des « mondes numériques » destinés à tester la résistance des agents IA | TechCrunch

Un nouveau jalon vient d’être franchi dans l’univers de l’intelligence artificielle. Patronus AI lève 50 millions de dollars pour créer des « mondes numériques » destinés à tester la résistance des agents IA | TechCrunch Les agents IA gagnent en sophistication. Ils ne se contentent plus de répondre à des questions, cependant sont désormais capables … Lire la suite

Cisco AI présente FAPO : optimisation des prompts tenant compte du pipeline, avec attribution des échecs au niveau des étapes et orchestration du code Claude

par
Cisco AI présente FAPO : optimisation des prompts tenant compte du pipeline, avec attribution des échecs au niveau des étapes et orchestration du code Claude

Un nouveau jalon vient d’être franchi dans l’univers de l’intelligence artificielle. Cisco AI présente FAPO : optimisation des prompts tenant compte du pipeline, avec attribution des échecs au niveau des étapes et orchestration du code Claude Réussir à formuler correctement les prompts reste la partie la plus difficile lorsqu’il s’agit de déployer des applications LLM … Lire la suite

Tutoriel CodeGen de Salesforce : générer, valider et reclasser des fonctions Python à l’aide de tests unitaires et de contrôles de sécurité

par
Tutoriel CodeGen de Salesforce : générer, valider et reclasser des fonctions Python à l'aide de tests unitaires et de contrôles de sécurité

Le secteur de l’IA vient d’être le théâtre d’un développement notable. Tutoriel CodeGen de Salesforce : générer, valider et reclasser des fonctions Python à l’aide de tests unitaires et de contrôles de sécurité Dans ce tutoriel, nous mettons en œuvre un workflow de bout en bout pour Salesforce CodeGen. Nous chargeons un modèle CodeGen provenant … Lire la suite

OpenAI lance LifeSciBench, un benchmark comprenant 750 tâches qui évalue les modèles d’IA sur des projets de recherche réels en sciences de la vie à l’aide d’une grille d’évaluation rédigée par des experts

par
OpenAI lance LifeSciBench, un benchmark comprenant 750 tâches qui évalue les modèles d'IA sur des projets de recherche réels en sciences de la vie à l'aide d'une grille d'évaluation rédigée par des experts

L’actualité tech du jour met en lumière un développement significatif. OpenAI lance LifeSciBench, un benchmark comprenant 750 tâches qui évalue les modèles d’IA sur des projets de recherche réels en sciences de la vie à l’aide d’une grille d’évaluation rédigée par des experts La plupart des tests de référence en biologie posent des questions précises, … Lire la suite