Voici une annonce qui mérite l’attention des observateurs du secteur.
Présentation de LifeSciBench
Un référentiel rédigé et évalué par des experts, fondé sur la exploration concrète en sciences de la vie
Les systèmes d’IA agentique sont de plus en plus capables d’effectuer des tâches scientifiques. Cependant, leur utilité pour les scientifiques en sciences de la vie dépend de leur capacité à gérer la complexité de la recherche réelle. Ce travail se présente rarement sous la forme d’une simple question de rappel de faits ou d’un problème de prédiction bien défini. Les équipes de recherche interprètent des données incomplètes, concilient des retombées contradictoires, conçoivent des expériences complexes, résolvent les problèmes liés aux tests, évaluent les risques liés à la transposition clinique et décident de la marche à suivre dans un contexte d’incertitude.
Les systèmes d’IA agentique sont de plus en plus capables d’effectuer des tâches scientifiques.
Dans le même temps, les tests de performance actuels ne reflètent pas pleinement ces capacités. De nombreuses évaluations dans le domaine des sciences de la vie se concentrent sur des domaines restreints ou des compétences isolées, ce qui se traduit par des questions au format structuré et des réponses de référence bien définies. Bien que précieuses, ces évaluations ne permettent souvent pas de déterminer véritablement si un modèle est capable d’apporter une contribution dans l’ensemble des travaux de recherche.
Nous avons conçu LifeSciBench pour contribuer à combler cette lacune. Chaque tâche repose sur l’avis de chercheurs en sciences de la vie en activité, titulaires d’un doctorat et possédant une expérience directe dans la conduite de programmes de découverte de médicaments dans les secteurs biotechnologique et pharmaceutique.
LifeSciBench comprend 750 tâches élaborées par des experts, réparties sur sept flux de travail et sept domaines biologiques.
LifeSciBench évalue si les systèmes d’IA sont capables de prendre en charge des tâches concrètes de travaux de recherche en sciences de la vie, et pas seulement de répondre à des questions de biologie. Pour définir la taxonomie de ce benchmark, nous avons interrogé des chercheurs en sciences de la vie en activité sur les flux de travail qu’ils utilisent le plus souvent dans le cadre de la recherche appliquée. Nous avons ensuite regroupé leurs réponses en sept catégories récurrentes : traitement des données, analyse, conception et optimisation, raisonnement scientifique, validation et exploitation, transposition et communication scientifique.
Les grandes lignes :
- Nous avons conçu LifeSciBench pour contribuer à combler cette lacune.
- LifeSciBench comprend 750 tâches élaborées par des experts, réparties sur sept flux de travail et sept domaines biologiques.
L’avenir dira si cette annonce tient toutes ses promesses.
Dans le même ordre d’idées :
- Un chimiste IA quasi autonome optimise une réaction complexe en chimie médicinale
- Comment créer des modèles Transformers économes en mémoire avec xFormers à l’aide de séquences compactées, de GQA, d’ALiBi, de SwiGLU et de l’attention causale
- L’application de messagerie malaisienne Respond.io, qui s’appuie sur des agents IA, lève 62,5 millions de dollars et envisage des acquisitions | TechCrunch
Source : OpenAI : OpenAI