aprendizaje en contexto
Cuando un modelo adquiere una nueva habilidad a partir de ejemplos colocados en el mensaje, sin ningún cambio en el modelo en sí.
Hay dos formas de enseñarle a un modelo algo nuevo. Puedes volver a entrenarlo, lo que cambia los números internos del modelo y cuesta tiempo y dinero. O puede incluir un par de ejemplos directamente en el mensaje y dejar que el modelo desarrolle el patrón por sí solo. El segundo es el aprendizaje en contexto, y es la razón por la que “aquí hay tres ejemplos del formato que quiero” funciona tan bien como hábito de estímulo.
En realidad, no se aprende nada en el sentido permanente: se cierra la conversación y la habilidad desaparece, porque solo vivió en la ventana de contexto. Esto es una limitación y una característica al mismo tiempo. No cuesta nada, es instantáneo y ahora se está extendiendo más allá del texto. GEN-1.5 de Generalist AI hace el mismo truco con los robots, cargando una breve demostración en video en la ventana contextual en lugar de volver a entrenar con horas de metraje.