Inferencia

La inferencia es el acto de usar un modelo entrenado, proporcionarle un prompt y obtener una respuesta. Se distingue del entrenamiento, el proceso único y mucho más caro que crea los pesos.

La diferencia ayuda a entender los costes. Entrenar un modelo de frontera puede requerir meses y enorme capacidad de cálculo, pero se paga una vez. La inferencia se paga con cada uso; por eso los proveedores la miden, normalmente por token, y por eso importan tanto las mejoras que la abaratan o aceleran.

También explica por qué es práctico ejecutar modelos pequeños localmente: un buen portátil puede hacer inferencia para muchas tareas aunque jamás pudiera entrenar el modelo.