Un acteur majeur du secteur vient de faire parler de lui.
Vercel Labs met en open source « agent-desktop » pour une utilisation sur les ordinateurs des agents
Vercel Labs a lancé « agent-desktop », une interface en ligne de commande (CLI) open source permettant l’utilisation d’agents IA sur macOS, Windows et Linux. « agent-desktop » analyse chaque application via l’arborescence d’accessibilité du système d’exploitation, et non par le biais de captures d’écran. Un agent reçoit un instantané JSON contenant une référence pour chaque élément sur lequel il peut agir. La version 1.0.2 a été publiée le 30 octobre 2026 sous licence Apache 2.0. Pour les développeurs, tout agent de programmation prenant en charge le shell peut désormais piloter des applications natives sans modèle de vision.
agent-desktop est une interface CLI et une bibliothèque C développées en Rust par Vercel Labs, destinées à la lecture et à la gestion d’applications de bureau. Il s’agit d’un logiciel auquel les agents font appel, et non d’un agent à proprement parler. Il n’intègre aucun modèle d’IA de langage de grande envergure (LLM) et ne dispose pas d’interface graphique. Chaque commande affiche une enveloppe JSON, puis se termine. La boucle « observer, agir, vérifier » reste du ressort de votre agent.
L’identifiant de l’instantané contenu dans la référence rend celle-ci auto-descriptive.
De plus, chaque commande suit un cheminement prédéfini. L’interface CLI ou la bibliothèque C appelle `agent-desktop-core`, qui n’accède au système d’exploitation que par l’intermédiaire d’un trait `PlatformAdapter`. Une crate de plateforme communique ensuite avec l’API d’accessibilité native :
Précisons, core n’importe jamais de crate de plateforme. Chaque binaire est compilé pour fonctionner sur un seul et même dispositif d’exploitation.
De plus, un instantané attribue des références qualifiées telles que @s8f3k2p9:e8. L’identifiant de l’instantané contenu dans la référence rend celle-ci auto-descriptive. Un simple @e8 est rejeté avec le code INVALID_ARGS. Lorsque l’interface utilisateur change, une action renvoie STALE_REF ou AMBIGUOUS_TARGET. L’agent prend alors un nouvel instantané.
Autre élément, chaque erreur implique une disposition. Les agents ne doivent réessayer que lorsque le système indique que c’est sans danger. La résolution des références est stricte et préfère échouer en fermant plutôt que de faire des suppositions.
Un dossier qu’il faudra continuer à observer dans les mois à venir.
À lire également :
- Edge0 lance Audio8-TTS-Realistic, un modèle de synthèse vocale par clonage de voix de 0,6 milliard de paramètres
- Découvrez LEANN : un index vectoriel open source qui réduit la taille d’un index RAG composé de 60 millions de blocs, passant de 201 Go à 6 Go
Source originale : MarkTechPost : MarkTechPost