VRAM
La memoria su una scheda grafica. Decide quanto è grande un modello che puoi eseguire sul tuo computer e di solito è ciò che ti ferma.
VRAM è la memoria integrata in una scheda grafica, separata dalla memoria principale del computer. Quando esegui un modello AI localmente, l’intero modello deve adattarsi immediatamente a quella memoria, insieme al testo su cui sta attualmente lavorando. Se non si adatta, il modello gira lentamente o si rifiuta di avviarsi.
Ecco perché le discussioni locali sull’IA sono piene di numeri come 8, 16 o 24 gigabyte. Come guida approssimativa, la dimensione di un modello in miliardi di parametri, dimezzata o divisa in quattro a seconda di quanto pesantemente è stato compresso, ti dà i gigabyte di cui hai bisogno. È anche il motivo per cui gli strumenti volti a eseguire modelli capaci sul proprio computer spesso costituiscono un limite, come il requisito di 24 GB Perplexity impostato per il suo agente locale su Windows.