colapso del modo
Cuando un modelo se adapta a una forma preferida de decir las cosas en lugar de extenderse a las muchas formas en que una persona podría expresarlas.
Pídele a diez personas que describan la misma foto y obtendrás diez oraciones diferentes. Un modelo de lenguaje, al que se le pregunta lo mismo repetidamente, tiende a converger en un estilo de casa. Esa reducción es el colapso modal, y el estado opuesto, en el que el modelo distribuye sus opciones de manera más uniforme entre posibles frases, se llama cobertura modal.
Lo interesante es de dónde viene. Bradley Emi, de la empresa de detectores Pangram, sostiene que se trata en gran medida de un efecto secundario del post-entrenamiento, la etapa en la que un modelo aprende reglas sobre qué evitar y cómo comportarse. Los modelos base, las versiones sin procesar antes de esa configuración, escriben con mucha más variedad y, en consecuencia, son más difíciles de detectar. Si eso es así, entonces cada barandilla que agregue un laboratorio hará que la escritura de su modelo sea un poco más uniforme y un poco más fácil de detectar.