VRAM
Der Speicher einer Grafikkarte. Es entscheidet darüber, wie groß das Modell ist, das Sie auf Ihrem eigenen Computer ausführen können, und es ist normalerweise das, was Sie davon abhält.
VRAM ist der in eine Grafikkarte integrierte Speicher, getrennt vom Hauptspeicher Ihres Computers. Wenn Sie ein KI-Modell lokal ausführen, muss das gesamte Modell zusammen mit dem Text, an dem es gerade arbeitet, auf einmal in diesen Speicher passen. Passt es nicht, läuft das Modell entweder quälend langsam oder verweigert den Start.
Deshalb wimmelt es in lokalen KI-Diskussionen von Zahlen wie 8, 16 oder 24 Gigabyte. Als grober Anhaltspunkt ergibt die Größe eines Modells in Milliarden von Parametern, halbiert oder geviertelt, je nachdem, wie stark es komprimiert wurde, die benötigten Gigabyte. Dies ist auch der Grund, warum Tools, die darauf abzielen, fähige Modelle auf Ihrem eigenen Computer auszuführen, oft einen harten Boden festlegen, wie etwa die 24-GB-Anforderung Perplexity, die für seinen lokalen Agenten auf Windows festgelegt wurde.