Moduszusammenbruch
Wenn sich ein Modell auf eine bevorzugte Art einlässt, Dinge auszudrücken, anstatt sich auf die vielen Arten auszubreiten, die eine Person sonst gerne formulieren würde.
Bitten Sie zehn Personen, dasselbe Foto zu beschreiben, und Sie erhalten zehn verschiedene Sätze. Ein Sprachmodell, das wiederholt nach dem Gleichen gefragt wird, tendiert dazu, sich einem Hausstil anzunähern. Bei dieser Einengung handelt es sich um einen Modenkollaps, und der entgegengesetzte Zustand, bei dem das Modell seine Auswahlmöglichkeiten gleichmäßiger auf mögliche Formulierungen verteilt, wird als Modenabdeckung bezeichnet.
Das Interessante daran ist, woher es kommt. Bradley Emi von der Detektorfirma Pangram argumentiert, dass dies größtenteils ein Nebeneffekt des Post-Trainings ist, der Phase, in der ein Modell Regeln darüber lernt, was es zu vermeiden und wie es sich zu verhalten hat. Basismodelle, die Rohversionen vor dieser Formgebung, schreiben viel vielfältiger und sind entsprechend schwerer zu erkennen. Wenn das zutrifft, sorgt jede Leitplanke, die ein Labor hinzufügt, dafür, dass die Schrift seines Modells etwas einheitlicher und leichter zu erkennen ist.