Anthropic travaille sur un système permettant de vérifier l’identité des modèles d’IA | TechCrunch

L’intelligence artificielle reste au cœur de toutes les attentions.

Anthropic travaille sur un système permettant de vérifier l’identité des modèles d’IA | TechCrunch

Selon un article de blog publié mardi, Anthropic travaille actuellement sur un système open source permettant de vérifier quel modèle d’IA a généré un résultat donné. Ce système, baptisé FlashProve, a été conçu pour fournir ce que les chercheurs appellent une « inférence vérifiable » : une preuve cryptographique, c’est-à-dire essentiellement une garantie mathématique, attestant qu’un résultat donné provient bien d’un modèle d’IA spécifique. Il vise à permettre aux utilisateurs de vérifier que la réponse qu’ils ont reçue provient bel et bien du modèle qu’ils pensent utiliser.

À l’instar des signatures cryptographiques utilisées dans les e-mails, qui permettent aux destinataires de vérifier qu’un message provient bien de l’expéditeur indiqué, FlashProve serait capable de résister aux tentatives d’usurpation visant à faire passer un modèle pour un autre, même lorsque l’usurpateur n’est autre que le laboratoire qui a développé et exploite ce modèle d’IA. Les chercheurs soulignent notamment que ce système pourrait servir à empêcher une entreprise spécialisée dans l’IA de remplacer subrepticement un modèle par un autre moins cher afin de réduire ses coûts, ou par un modèle plus coûteux afin de gonfler ses résultats de performance.

Dans le même temps, flashProve pourrait également servir à vérifier les affirmations de tiers selon lesquelles une tâche spécifique aurait été réalisée par un modèle avancé. « Un développeur pourrait affirmer que sa bibliothèque logicielle a été analysée à la recherche de vulnérabilités par un modèle de cybersécurité de pointe, ou une entreprise pourrait affirmer que son plan d’affaires a été validé par un modèle approprié », écrivent les chercheurs. « Comment un utilisateur peut-il vérifier ces affirmations ? »

Pour fonctionner, le dispositif exige que les laboratoires d’IA publient une « empreinte » de chaque modèle d’IA qu’ils lancent, qui pourra ensuite être associée à des résultats spécifiques et vérifiée de manière cryptographique. Il est essentiel de noter que ces empreintes ne révèlent pas les poids d’un modèle, ces paramètres internes qui définissent son comportement et que les créateurs de modèles fermés, tels qu’Anthropic et OpenAI, gardent confidentiels. Cela signifie que les laboratoires pourraient publier ces empreintes sans pour autant renoncer à leur atout le plus précieux, ce qui permettrait au mécanisme de fonctionner également avec des modèles commerciaux. Le mécanisme est aussi conçu pour être léger, de sorte que la vérification puisse être effectuée sur un appareil local.

Dans le cadre de cette annonce, les chercheurs ont publié un cahier des charges technique détaillé ainsi qu’un code fonctionnel pour divers éléments du système, qui sont accessibles au public sous licence open source sur GitHub. Les travaux de travaux de recherche sur ce système se poursuivent, et il n’est pas prévu de le déployer chez Anthropic ni dans aucun autre laboratoire.

« Cet article de travaux de recherche a pour but de présenter l’état d’avancement de nos travaux, et non un programme de exploration achevé », expliquent les équipes de recherche dans leur publication. « Nous partageons ces informations dans le but explicite que d’autres puissent examiner ce que nous avons réalisé, s’en inspirer et l’améliorer. »

Les prochaines semaines permettront d’en mesurer la portée réelle.

À découvrir aussi :


Reportage initial : TechCrunch AI : TechCrunch AI