VRAM
La mémoire sur une carte graphique. Il décide de la taille d'un modèle que vous pouvez exécuter sur votre propre ordinateur, et c'est généralement ce qui vous arrête.
VRAM est la mémoire intégrée à une carte graphique, distincte de la mémoire principale de votre ordinateur. Lorsque vous exécutez un modèle d’IA localement, l’ensemble du modèle doit tenir dans cette mémoire en même temps, ainsi que le texte sur lequel il travaille actuellement. S’il ne s’adapte pas, le modèle tourne très lentement ou refuse de démarrer.
C’est pourquoi les discussions locales sur l’IA regorgent de chiffres comme 8, 16 ou 24 gigaoctets. À titre indicatif, la taille d’un modèle en milliards de paramètres, divisée par deux ou par quatre selon le degré de compression, vous donne les gigaoctets dont vous avez besoin. C’est également la raison pour laquelle les outils destinés à exécuter des modèles performants sur votre propre machine fixent souvent un plancher dur, comme l’exigence de 24 Go définie par Perplexity pour son agent local sur Windows.