Tanto Google como Amazon quieren que su código PyTorch se ejecute en sus chips, no en el de Nvidia
TorchTPU de Google y TorchNeuron de Amazon prometen mover las aplicaciones PyTorch a sus propios chips de IA con un simple cambio de configuración. Ningún benchmarks todavía.
Google y Amazon han lanzado cada uno una herramienta destinada a una de las ventajas más silenciosas de Nvidia: los desarrolladores de software ya escriben. Según TechCrunch del 20 de octubre, Google anunció TorchTPU, una versión de código abierto de PyTorch que se ejecuta en su Tensor Processing Units (TPU), y Amazon anunció TorchNeuron un día antes para sus chips Trainium. Ambos dicen que los programas PyTorch existentes pueden moverse con “un simple cambio de configuración” y sin reescribirlos.
PyTorch es el conjunto de herramientas de programación con el que se crean la mayoría de las aplicaciones de IA. Meta lo creó en 2016 y se lo entregó a Linux Foundation en 2022. TechCrunch dice que algunas cuentas sitúan su uso en el 85% de las aplicaciones de inteligencia artificial, aunque esa cifra no tiene una fuente firme. Google dice que funcionó con Meta, Hugging Face, Inferact (fabricante de vLLM), RadixArk (fabricante de SGLang) y otros, por lo que TorchTPU funciona bien con herramientas populares. También lanzó un “conjunto de agentes TPU” para ayudar a los desarrolladores a portar aplicaciones y corregir errores en el camino, y actualizó LiteRT, su herramienta para ejecutar IA en teléfonos y computadoras portátiles. Amazon dice que está enviando un código al propio PyTorch que “desacopla varias características de los chips de Nvidia”.
Las advertencias son la parte importante. La cobertura no informa cifras de adopción ni comparaciones de rendimiento para ninguna de las herramientas. También enfatiza que esto no significa que los desarrolladores abandonarán el hardware Nvidia automáticamente. “Funciona con un cambio de configuración” es una promesa; Aún está por demostrar qué tan bien funciona en proyectos reales y complicados.
Qué hay detrás de esto: un chip sólo es útil si el software puede usarlo fácilmente. La mayor parte del código de IA se ha escrito y ajustado teniendo en cuenta las GPU de Nvidia, porque las funciones de PyTorch se crearon en torno a ellas. Esa conveniencia es una de las principales razones por las que la gente sigue comprando Nvidia, incluso cuando otros chips pueden ser más baratos. Si pasar a un competidor requiere un fin de semana de reescritura, la mayoría de los equipos se quedan quietos. Si se necesita una configuración, el coste de cambio baja y los precios podrían verse bajo presión. Piensa en ello como en los cargadores de teléfonos: el conector, más que la batería, decide lo que compras.
Qué significa esto para ti: para la mayoría de las personas, nada cambia hoy. Con el tiempo, una mayor competencia entre los proveedores de chips podría significar servicios de IA más baratos y menos dependencia de una sola empresa. Si entrena o ejecuta modelos usted mismo, espere el benchmarks independiente y pruebe su propia carga de trabajo a pequeña escala antes de mover algo.
Fuentes
DeepSeek estrena DeepInfer, el motor que utiliza para dar servicio a su modelo más económico
DeepSeek abrió el software de servicio detrás de V4.1-Flash en Apache 2.0. Aún no hay cifras de velocidad, pero podría reducir el costo de ejecutar el modelo usted mismo.
