Un acteur majeur du secteur vient de faire parler de lui.
Fastino lance GLiNER2.5-Decide : un système de prise de décision à poids ouvert de 340 millions de paramètres fonctionnant sur un processeur (CPU)
Fastino Labs a lancé GLiNER2.5-Decide, un modèle de décision à poids ouvert comptant 340 millions de paramètres. Il traite du texte et un schéma de questions typées, et renvoie des réponses structurées. Chaque réponse est accompagnée d’une distribution de probabilité, d’un score de confiance et de métadonnées relatives à la faisabilité des contraintes. Il est destiné à faciliter les prises de décision fréquentes au sein des pipelines d’agents : acheminement, triage, sélection d’outils et garde-fous.
Est-ce déployable ? Oui, les modèles sont distribués sous licence Apache 2.0 et s’installent via la commande `pip install gliner2`. Ils fonctionnent sur CPU, GPU ou dans des environnements isolés (air-gapped). L’équipe Fastino propose par ailleurs des services hébergés d’inférence et d’ajustement via son API GLiNER.
Notons par ailleurs, gLiNER2.5-Decide est un classificateur non génératif. Il utilise un encodeur DeBERTa-v3-large et a été affiné à partir de gliner2-large-v1. Il ne génère aucun token et ne nécessite aucun système de prompt.
Les ensembles d’étiquettes sont transmis au moment de l’appel. Chaque question du schéma définit les réponses autorisées. Elle précise également si elle attend une seule réponse, de multiples réponses ou une valeur ordonnée. Les schémas peuvent contenir des instructions, des exemples, des descriptions d’étiquettes et des règles établissant des liens entre les réponses des différentes questions.
Le pipeline comporte deux étapes. L’encodeur lit simultanément le texte et le schéma, puis attribue un score à chaque réponse admissible. Un décodeur contraint recherche ensuite l’affectation conjointe ayant obtenu le score le plus élevé parmi celles autorisées par les règles définies.
Il faut souligner, fastino définit clairement son champ d’application. Le modèle ne raisonne pas, n’explique pas et ne répond pas aux questions ouvertes. Il est spécialisé dans les décisions opérationnelles.
Fastinoteam illustre cette valeur à l’aide d’un exemple de « garde-corps ». Analysé séparément, le modèle a signalé une injection de prompt avec un score de 0,82. Il a par ailleurs classé ce même prompt comme sûr, avec un score de 0,52. L’attaque a été détectée, mais les deux résultats étaient contradictoires.
Le décodage conjoint applique une règle selon laquelle tout préjudice détecté entraîne un verdict « dangereux ». Le modèle d’IA renvoie alors simultanément « safety=unsafe » et « harm_type=prompt_injection ». Le code en aval peut utiliser ces scores pour bloquer, rediriger ou signaler le problème à un niveau supérieur.
Difficile à ce stade de prédire tous les impacts de cette annonce.
À lire également :
Couverture originale : MarkTechPost : MarkTechPost