Estimer le coût LLM
Comparez les modèles avec le total tokens facturés et le nombre de passes, pas seulement le taux “par token”.
The problem
Deux modèles peuvent finir avec des nombres d’appels différents. Le plus “cheaper rate” peut coûter plus cher au total.
Cadre
- tokens facturés par appel
- appels par action utilisateur
- total tokens par modèle
Pourquoi le routing compte
Vous utilisez des modèles moins chers pour les étapes simples et premium pour la qualité finale.
Exemple
Modèle A : 1 appel. Modèle B : 2 appels. Même avec un taux “headline” inférieur, A peut gagner.