L’intelligence artificielle reste au cœur de toutes les attentions.
OpenClaw lance des applications compagnons pour iOS et Android permettant de connecter un téléphone à une passerelle d’agent IA auto-hébergée
Cet assistant open source connecte les téléphones à une passerelle auto-hébergée, ajoutant ainsi des fonctionnalités de caméra, de localisation, de commande vocale et de Canvas à son agent.
OpenClaw vient de lancer des applications compagnons natives pour iOS et Android. L’application iOS s’intitule « OpenClaw – AI that does things ». Les deux applications sont téléchargeables gratuitement. Il ne s’agit pas de chatbots autonomes. Chaque téléphone devient un nœud au sein d’un réseau d’agents auto-hébergés. L’assistant lui-même fonctionne sur une passerelle distincte. Cette séparation est au cœur même de la conception du dispositif.
OpenClaw est un assistant/agent IA personnel open source. Il a été créé par Peter Steinberger avec la collaboration de membres de la communauté. Ce projet est indépendant et n’est pas affilié à Anthropic. Son cœur est écrit en TypeScript. L’environnement d’exécution est Node 24 (recommandé) ou Node 22.19+. La passerelle fonctionne sous macOS, Linux ou Windows via WSL2. Vous pouvez communiquer avec lui depuis les applications de chat que vous utilisez déjà. Les canaux pris en charge comprennent WhatsApp, Telegram, Discord, Slack, Signal et iMessage. L’agent peut naviguer sur le Web, exécuter des commandes shell, ainsi que lire et écrire des fichiers. Il fonctionne avec des modèles hébergés, par abonnement, via une passerelle ou en local. Vous devez fournir une clé API fournie par le fournisseur de votre choix. Il dispose d’une mémoire persistante et prend en charge les compétences et les plugins de la communauté.
La passerelle (Gateway) constitue le plan de contrôle unique. Elle gère les sessions, le routage, les canaux, les outils et les événements. Vous exécutez un processus Gateway sur votre propre machine ou serveur. Les messages de chat arrivent toujours sur la Gateway, jamais sur un téléphone. Un nœud est un appareil associé qui se connecte à cette Gateway. Les nœuds se connectent via un WebSocket sur le port par défaut 18789. Chaque nœud s’enregistre avec le rôle « node » lors de l’appairage. Les nœuds exposent une interface de commande via `node.invoke`. Ces familles de commandes comprennent notamment `canvas.*`, `camera.*`, `device.*`, `notifications.*` et `system.*`. La documentation est claire : « Les nœuds sont des périphériques, pas des passerelles. » Sur un réseau local, les applications détectent la passerelle via mDNS/Bonjour. Pour l’accès à distance, OpenClaw recommande Tailscale avec un point de terminaison wss://.
Dans la foulée, le téléphone donne une « présence physique » à l’agent. Il intègre du matériel spécifique à l’appareil dans vos flux de travail. L’application iOS se connecte via un code QR ou un code de configuration. Elle prend en charge le chat, le mode « Talk » en temps réel et en arrière-plan, par conséquent que les validations. Vous pouvez partager du texte, des liens et des fichiers multimédias depuis iOS vers OpenClaw. Les fonctionnalités optionnelles incluent l’accès à l’appareil photo, à l’écran, à la localisation, aux photos, aux contacts, au calendrier et aux rappels. L’application Android est un nœud compagnon, et non une passerelle autonome. Il permet d’afficher en temps réel les réponses au chat, les images jointes et l’historique complet des sessions. Le mode « Talk » utilise ElevenLabs ou la synthèse vocale intégrée au système. Une surface « Canvas » en temps réel permet à l’agent d’afficher des tableaux de bord et des outils. Android accorde les autorisations une par une. Un service en premier plan maintient la connexion à la passerelle.
À ce sujet, prenons l’exemple de la collecte de informations sur le terrain, sur un chantier. L’agent utilise l’appareil photo iOS pour photographier les conditions sur place. Chaque photo est géolocalisée à l’aide des coordonnées GPS. Prenons l’exemple d’un rappel contextuel. L’agent déclenche une tâche lorsque vous arrivez à un endroit précis. Prenons l’exemple d’une notification reçue sur Android. L’agent la lit et rédige une réponse. Prenons l’exemple d’un tableau de bord en temps réel. L’agent affiche une surface Canvas sur votre écran. Pensez à l’utiliser en mode mains libres. Le mode « Talk » offre la possibilité de mener une conversation vocale en continu. Une restriction s’applique toutefois à la caméra et à la capture d’écran : l’application doit être au premier plan. Les appels en arrière-plan génèrent une erreur.
Ensuite, ouvrez l’application et sélectionnez une passerelle détectée. Vous pouvez également saisir manuellement l’adresse hôte et le port. L’application se connecte avec le rôle « node » et envoie une demande d’appairage de l’appareil. Validez cette demande depuis l’interface CLI de la passerelle.
En parallèle, les commandes ayant un impact important sur la vie privée sont désactivées par défaut. C’est le cas, par exemple, de `camera.snap`, `camera.clip` et `screen.record`. Vous devez les activer explicitement via `gateway.nodes.allowCommands` dans votre fichier de configuration.
Pour faire simple :
- Prenons l’exemple de la collecte de informations sur le terrain, sur un chantier.
- Validez cette demande depuis l’interface CLI de la passerelle.
- Les commandes ayant un impact important sur la vie privée sont désactivées par défaut.
Reste à voir comment l’industrie va réagir à cette annonce.
Sur le même sujet :
Information publiée en premier lieu par MarkTechPost : MarkTechPost