apprentissage en contexte
Lorsqu'un modèle acquiert une nouvelle compétence à partir d'exemples placés dans l'invite, sans aucune modification du modèle lui-même.
Il existe deux manières d’enseigner quelque chose de nouveau à un modèle. Vous pouvez le recycler, ce qui modifie les numéros internes du modèle et coûte du temps et de l’argent. Ou vous pouvez insérer quelques exemples directement dans l’invite et laisser le modèle déterminer lui-même le modèle. Le deuxième est l’apprentissage en contexte, et c’est la raison pour laquelle « voici trois exemples du format que je souhaite » fonctionne si bien comme habitude d’incitation.
Rien n’est réellement appris de manière permanente : fermez la conversation et la compétence disparaît, car elle n’a vécu que dans la fenêtre contextuelle. C’est à la fois une limitation et une fonctionnalité. Cela ne coûte rien, c’est instantané et cela s’étend désormais au-delà du texte. Le GEN-1.5 de Generalist AI fait la même chose avec les robots, en chargeant une courte démonstration vidéo dans la fenêtre contextuelle au lieu de se recycler sur des heures de séquences.