Distillation

Construire un modèle de pointe en partant de zéro coûte une fortune. La distillation est le raccourci: on prend un modèle existant et coûteux, on lui pose d’énormes quantités de questions, et on entraîne un nouveau modèle plus petit sur ses réponses. Le petit modèle ne voit jamais les données d’entraînement d’origine ni les poids, seulement les sorties, mais il en reprend une part étonnante du comportement. Résultat: un modèle bien moins cher à construire et à faire tourner, au prix d’un peu de qualité.

Pratiquée en interne, la méthode est courante et c’est ainsi que sont fabriqués la plupart des petits modèles rapides que vous utilisez. Pratiquée d’une entreprise à l’autre, elle devient vite contentieuse, car elle permet à un laboratoire d’absorber le travail coûteux d’un rival via son interface publique. La plupart des fournisseurs l’interdisent désormais dans leurs conditions d’utilisation, plusieurs ont accusé des concurrents de le faire quand même, et les laboratoires qui s’en abstiennent le font savoir.