Un nouveau jalon vient d’être franchi dans l’univers de l’intelligence artificielle.
GPT-Red : favoriser l’amélioration continue pour une plus grande robustesse
Former des « red-teamers » spécialisés dans la sécurité automatisée afin d’améliorer la robustesse.
Les tests de type « red team » sont essentiels pour détecter les vulnérabilités et améliorer la robustesse de nos modèles. Cependant, les approches actuelles ne sont pas évolutives, ce qui crée un goulot d’étranglement.
D’un autre côté, nos derniers modèles ont déjà atteint les limites des évaluations de robustesse couramment utilisées.
Nous devons mettre au point des méthodes permettant à la sécurité et à l’alignement d’évoluer au même rythme que les capacités des modèles.
Nous avons formé GPT-Red, un modèle automatisé de « red teaming » qui renforce notre capacité à détecter les vulnérabilités afin de pouvoir les corriger avant un déploiement à plus grande échelle.
GPT-Red est un red-teamer redoutable, et nos modèles précédents sont extrêmement vulnérables à ses attaques par injection de prompt.
Les éléments clés de cette information :
- Nous devons mettre au point des méthodes permettant à la sécurité et à l’alignement d’évoluer au même rythme que les capacités des modèles.
- GPT-Red est un red-teamer redoutable, et nos modèles précédents sont extrêmement vulnérables à ses attaques par injection de prompt.
Les mois à venir apporteront sans doute plus de précisions.
À lire également :
- Aujourd’hui, les défenseurs adoptent eux aussi cette approche de l’injection rapide
- L’IA Siri est déjà en train de changer ma façon d’utiliser mon iPhone
D’après OpenAI : OpenAI