Nouvelle étape franchie dans l’univers des technologies d’intelligence artificielle.
Cursor lance Cursor Router : un classificateur au niveau des requêtes offrant une qualité de codage de pointe à un coût réduit de 30 à 50 %
Cursor a rendu « Cursor Router » accessible à tous pour les formules Teams et Enterprise. Ce système est un classificateur qui analyse chaque requête avant l’exécution d’un modèle, puis la transmet au modèle le mieux adapté à cette tâche spécifique. L’équipe de Cursor fait état de performances de pointe, avec des économies de 60 % lors des tests A/B en ligne, et de 30 à 50 % pour les comptes Enterprise en accès anticipé.
Par ailleurs, le problème qu’il vise à résoudre tient davantage à un mode de dépenses qu’à un déficit de compétences. Cursor indique qu’environ 60 % de ses développeurs choisissent un seul modèle pour leur travail quotidien. Les tâches courantes sont donc réalisées à des prix de pointe, et les dépenses en IA augmentent plus rapidement que la qualité des performances. Le « routing » est la réponse apportée par Cursor à ce décalage.
Cursor Router n’est ni une chaîne de repli ni un mécanisme de récente tentative. Il s’agit d’un classificateur entraîné sur plus de 600 000 requêtes réelles, évalué dans le cadre d’un test A/B en ligne portant sur des millions de requêtes réelles, et optimisé pour la satisfaction des utilisateurs (AFC) en tant que signal de récompense.
Pour chaque requête, le routeur analyse quatre éléments : la requête, le contexte, la complexité de la tâche et le domaine. Il combine ces éléments avec les connaissances acquises sur le comportement de chaque modèle. Cursor publie trois règles de routage qui découlent de cette classification :
Cette troisième règle repose sur l’argument du coût. Les économies ne proviennent pas d’une réévaluation à la baisse des problèmes complexes. Elles proviennent de la suppression des tâches routinières de la tarification « de pointe », tandis que le niveau des tâches difficiles reste inchangé.
Dans la foulée, un détail de mise en œuvre mérite l’attention de quiconque a déjà développé un routeur. Cursor Router tient compte du cache tant lors de l’entraînement que lors de l’évaluation. Il est entraîné sur un ensemble de données où le routage génère des échecs de cache, et les économies de coûts indiquées incluent le coût de ces échecs de cache. Changer de modèle en cours de conversation invalide le cache des prompts, et ce coût est bien réel. Les routeurs qui ignorent ce fait surestiment leurs économies.
Ce qu’il faut garder à l’esprit :
- Il combine ces éléments avec les connaissances acquises sur le comportement de chaque modèle.
- Cette troisième règle repose sur l’argument du coût.
- Un détail de mise en œuvre mérite l’attention de quiconque a déjà développé un routeur.
À suivre donc, dans un domaine qui n’a pas fini de nous surprendre.
Pour aller plus loin :
Lire l’article complet sur MarkTechPost : MarkTechPost