L’industrie de l’IA poursuit sa transformation rapide avec cette nouvelle annonce.
Liquid AI open-source « Pipette » : une suite d’évaluations reproductibles qui mesure simultanément les modèles embarqués, la quantification, le temps d’exécution et le matériel
Les fiches techniques des modèles indiquent les performances obtenues dans des conditions de type serveur, en précision totale. Ces chiffres permettent rarement de prédire le comportement du même modèle d’IA sur un téléphone. Cette semaine, Liquid AI a lancé Pipette. Il s’agit d’une plateforme open source permettant d’évaluer les performances des modèles de base sur des terminaux périphériques, développée en partenariat avec Artificial Analysis, qui intervient en tant que validateur méthodologique indépendant. Pipette considère le comportement sur le terminal comme une propriété du mécanisme déployé, et non du système pris isolément. Son unité de mesure est une configuration complète : système + quantification + environnement d’exécution + terminal. L’ensemble de données de sortie couvre cinq indicateurs de performances sur appareil, répartis sur plus de 1 000 configurations (modèle × quantification × runtime × appareil × contexte), couvrant plus de 30 modèles, des versions de llama.cpp pour macOS, iOS, Windows et Android, ainsi que des longueurs de contexte allant de 256 à 8 192 tokens. Les premiers performances vérifiés proviennent d’un MacBook Pro équipé d’un M5 Max, d’un iPhone 17 Pro et d’un Galaxy S26 Ultra. Cette affirmation peut être vérifiée dans la pratique : deux modèles 350M avec le même niveau de quantification sur le même téléphone conservent respectivement 78,4 % et 33,8 % du débit de décodage à 4 096 tokens.
Oui, Pipetteships propose une infrastructure sous licence Apache 2.0 (pipette-mgmt, pipette-clients, pipette-scores), un ensemble de informations publiques de résultats, un tableau de bord hébergé, de ce fait que des applications de benchmark natives pour iOS et Android. Aucun élément n’est en attente. La publication des résultats soumis par la communauté est encore en phase bêta.
Liquid AI a lancé Pipette en partenariat avec Artificial Analysis, un organisme de validation indépendant qui a examiné et vérifié la méthodologie. Le principe est précis et utile : le comportement sur l’appareil est une propriété du mécanisme déployé, et non du modèle pris isolément.
L’ensemble de données de lancement couvre cinq indicateurs de performances sur appareil, répartis sur plus de 1 000 configurations (système × quantification × environnement d’exécution × appareil × contexte). Il comprend plus de 30 modèles, plusieurs formats de quantification, des versions de llama.cpp pour macOS, iOS, Windows et Android, de cette manière que des longueurs de contexte allant de 256 à 8 192 tokens. Les premiers résultats publiés concernent un MacBook Pro équipé d’un M5 Max, un iPhone 17 Pro et un Galaxy S26 Ultra ; les performances pour l’AMD Ryzen AI Max+ 395 et la Radeon 8060S seront disponibles prochainement.
Dans Pipette, l’unité de mesure correspond à une configuration de déploiement : système + quantification + exécution + périphérique. Un test de performance définit ensuite la métrique et la structure du jeton, ce qui permet d’obtenir un résultat en termes de latence, de débit ou de mémoire. La qualité est évaluée séparément sur IFBench, GPQA Diamond et MATH-500. Ces scores de qualité proviennent actuellement d’évaluations réalisées avec le fichier « llama.cpp » sur des systèmes de référence NVIDIA H100 de 80 Go, puis sont mis en correspondance avec des exécutions sur appareil utilisant le même modèle et la même quantification — le score de qualité indiqué à côté du débit du téléphone n’a pas été calculé sur le téléphone lui-même.
Quatre comparaisons publiées montrent à quel point une configuration peut influencer une décision :
Les tests de performance suivent une méthodologie publiée : formes de jetons fixes, décodage « glouton », phase d’échauffement ignorée, cinq répétitions chronométrées et contrôle de l’état de préparation. Avant chaque répétition chronométrée, une vérification spécifique à la plateforme contrôle les conditions thermiques et de charge ; les tests échoués ne sont pas publiés. Les évaluations utilisent un protocole distinct avec un système de notation déterministe et indépendant du système, et les scores « pipette » ne tiennent jamais compte de la provenance de la génération. Chaque soumission enregistre la version de référence, la forme des jetons, l’artefact du système, la quantification, la version et les paramètres du moteur d’exécution, ainsi que le matériel et le système d’exploitation de l’appareil.
Les informations principales :
- La qualité est évaluée séparément sur IFBench, GPQA Diamond et MATH-500.
- Quatre comparaisons publiées montrent à quel point une configuration peut influencer une décision :
À suivre donc, dans un domaine qui n’a pas fini de nous surprendre.
À lire également :
Couverture originale : MarkTechPost : MarkTechPost