VRAM
La memoria en una tarjeta gráfica. Decide el tamaño del modelo que puedes ejecutar en tu propia computadora y, por lo general, es lo que te detiene.
VRAM es la memoria integrada en una tarjeta gráfica, separada de la memoria principal de su computadora. Cuando ejecuta un modelo de IA localmente, todo el modelo debe caber en esa memoria a la vez, junto con el texto en el que está trabajando actualmente. Si no encaja, el modelo funciona muy lento o se niega a arrancar.
Por eso los debates locales sobre IA están llenos de cifras como 8, 16 o 24 gigabytes. Como guía aproximada, el tamaño de un modelo en miles de millones de parámetros, dividido a la mitad o en cuartos dependiendo de qué tan comprimido se haya comprimido, le brinda los gigabytes que necesita. También es la razón por la que las herramientas destinadas a ejecutar modelos capaces en su propia máquina a menudo establecen un piso duro, como el requisito de 24 GB que Perplexity estableció para su agente local en Windows.