JEPA
Die Weltmodellarchitektur von Meta, die eine abstrakte Zusammenfassung dessen vorhersagt, was als nächstes kommt, und nicht die Pixel.
JEPA steht für Joint Embedding Predictive Architecture, ein Ansatz, der von Yann LeCun von Meta vertreten wird. Die Kernidee ist eine Reaktion auf Videogeneratoren: Anstatt genau vorherzusagen, wie das nächste Bild Pixel für Pixel aussieht, sagt JEPA eine komprimierte abstrakte Beschreibung davon voraus.
Das Argument ist, dass es sich bei den meisten Pixeln um irrelevante Details handelt. Wenn Sie möchten, dass ein System versteht, dass ein heruntergefallenes Glas herunterfällt und zerbricht, brauchen Sie es nicht, um jede Scherbe richtig zu bemalen, sondern um die Situation richtig zu machen. Ob diese Abstraktion die Generierung übertrifft, ist eine der lebendigen Meinungsverschiedenheiten in der KI-Forschung.