Microsoft a confronté deux variantes d’Anthropic en les plaçant côte à côte. L’entreprise a testé Claude Sonnet 4.6 et Claude Sonnet 5 dans des agents d’IA. Ces agents s’exécutent via GitHub Copilot Chat, intégré à Visual Studio Code sous Windows. À première vue, la version la plus récente donne l’impression d’être moins coûteuse. Pourtant, les chiffres réels racontent une tout autre histoire.
Dans cet article, vous comprendrez où les coûts s’envolent. De plus, vous découvrirez quand le modèle le plus récent devient réellement rentable.
Quand le prix le plus bas dissimule une facture plus lourde
Le tableau tarifaire privilégie le Sonnet 5. En effet, la version la plus récente connaît une baisse de 33% sur toutes les catégories de jetons. Par exemple, le jeton d’entrée passe de 3 dollars à 2 dollars par million, et le jeton de sortie chute de 15 dollars à 10 dollars.
Cependant, le coût ne dépend pas uniquement du tableau. En pratique, il dépend de la consommation réelle de tokens. Et c’est précisément là que le Sonnet 5 surprend. En effet, le modèle le plus récent utilise un volume de tokens bien plus important pour accomplir la même tâche.
150 tâches, 15 scénarios et une variation qui assomme
L’évaluation a suivi une méthode rigoureuse. D’abord, les ingénieurs ont défini 150 tâches pour les agents. Ensuite, ils ont réparti l’ensemble en 15 scénarios techniques. Puis, ils ont effectué cinq exécutions par modèle dans chaque scénario.
Chaque exécution a reçu une note objective. Ainsi, un évaluateur de LLM calibré a noté des critères binaires et des dimensions de qualité. Les coûts, enfin, provenaient de données réelles de tokens par itération.
Architecture sur Microsoft Azure: là où le Sonnet 5 a consommé 12 fois plus
Ici, le scénario devient intéressant. Les ingénieurs ont évalué le design architectural sur Azure. Dans ces tâches, le Sonnet 5 a consommé en médiane 12 fois plus de tokens. À tel point qu’une seule exécution a atteint 47 fois le volume de référence.
Pourtant, le coût a baissé dans certains cas. Autrement dit, le modèle le plus récent coûtait 0,47 dollar par exécution, contre 0,54 dollar pour l’ancien. Ainsi, la remise de 33% sur le tarif a généré une économie de 12% dans ce contexte.
Cependant, il existe un problème sérieux pour ceux qui préparent leur budget. Le Sonnet 4.6 a maintenu une consommation prévisible. Dans la majorité des exécutions, il utilisait entre 14 000 et 45 000 tokens. Tandis que le Sonnet 5 a montré une variation extrême et irrégulière.
Qualité du code: le modèle le plus récent a trébuché sur l’aspect idiomatique
Un coût bas perd de sa valeur lorsque la qualité chute. Et c’est exactement ce qui s’est produit. Dans les neuf scénarios où la sortie était exploitable, le Sonnet 4.6 affichait 90% dans la dimension idiomatique. Cette métrique évalue si le code respecte les normes et les conventions du marché. Le Sonnet 5, en revanche, n’atteignait que 78%.
Un exemple illustre ce contraste. Dans une architecture analytique pour l’IoT, le Sonnet 4.6 a réussi le test idiomatique dans quatre exécutions sur cinq. Le Sonnet 5, avec le même prompt, n’en a réussi qu’une seule. De plus, ce scénario a enregistré un cas curieux: une exécution a utilisé 16 000 tokens. Une autre, sous le même prompt, a brûlé 6,6 millions.
Microsoft: Migration de code: ici le jeu a changé
Désormais, l’histoire prend une tournure radicale. Microsoft a testé trois scénarios de mise à niveau dans le SharePoint Framework. Dans ces tâches, le Sonnet 5 est passé par le premier portail dans 100% des exécutions. Le Sonnet 4.6, lui, n’y est parvenu que dans 60% des cas.
La mise à niveau de la version 1.21.1 vers 1.22.0 a révélé quelque chose d’important. Le Sonnet 4.6 a échoué lors des cinq tentatives; d’ailleurs, il a ignoré l’instruction et a adopté la version 1.22.1 de sa propre initiative. Le Sonnet 5, en revanche, a suivi l’instruction à chaque exécution.
Cette obéissance, toutefois, a un coût. Dans ces mises à niveau, le Sonnet 5 coûtait 2,01 dollars par exécution. Autrement dit, il était 3,7 fois plus cher que les 0,55 dollars du Sonnet 4.6. Dans un cas extrême, une exécution a consommé pas moins que 69 millions de tokens. Cela s’est produit parce que l’agent a mené des recherches étendues sur le web pour trouver des étapes non documentées.
Le problème que aucun modèle n’a résolu
Il existe une limite que la version du modèle ne parvient pas à dépasser. La correction de configuration est restée nulle dans tous les scénarios du SharePoint Framework. Par conséquent, aucun des deux modèles n’a remporté les migrations structurelles.
La raison est simple. Bon nombre de ces migrations exigent des étapes que la documentation officielle couvre rarement. L’équipe de Microsoft, par exemple, a identifié sept modifications de configuration manquantes. Ainsi, lorsque le contenu de référence présente des lacunes, le choix du modèle perd de son importance.
Ce que le dev retire de ce test de Microsoft pour le quotidien
La leçon centrale est claire: le tableau des prix ne raconte qu’une partie de l’histoire. En pratique, c’est la consommation de jetons qui détermine le coût final.
Ainsi, il vaut la peine de tester le modèle dans votre contexte réel avant de migrer. Pour les tâches d’architecture, le Sonnet 4.6 offre qualité et prévisibilité. En revanche, pour les migrations de code avec des instructions strictes, le Sonnet 5 démontre une plus grande discipline.
En fin de compte, le choix dépend de votre charge de travail et, surtout, du budget que vous pouvez prévoir.
Acomptez notre profil sur Instagram !
