Inférence

L’inférence est l’acte d’utiliser un modèle d’IA entraîné : lui fournir un prompt et obtenir une réponse. Elle se distingue de l’entraînement, processus unique et bien plus coûteux qui construit les poids du modèle.

Cette distinction aide à comprendre les coûts. Entraîner un modèle frontier peut demander des mois et un immense calcul, mais ce coût n’est payé qu’une fois. L’inférence, elle, coûte à chaque utilisation, d’où une facturation généralement au token et l’importance des progrès qui la rendent plus rapide ou moins chère.

C’est aussi pourquoi les petits modèles peuvent fonctionner localement : même un bon portable peut assurer l’inférence de nombreuses tâches, alors qu’il n’aurait jamais pu entraîner le modèle.