Lithos-Metal es un nuevo motor abierto para ejecutar IA rápidamente en el silicio Apple Macs
El motor de litos-metal de código abierto apunta a los modelos Qwen en los chips M5 de Apple y cita 168 tokens por segundo. Esa cifra es una proyección según los supuestos establecidos, no una velocidad medida de un extremo a otro.
Un nuevo proyecto de código abierto llamado lithos-metal tiene como objetivo hacer que los modelos de lenguaje grandes se ejecuten más rápido en Macs. Es un motor de inferencia, es decir, el programa que realmente ejecuta un modelo entrenado y produce sus respuestas, creado específicamente para el silicio Apple y con licencia Apache 2.0. Una publicación de Hacker News destacó un número de titular: el modelo Qwen3.8-27B a 168 tokens por segundo en un M5 Max de 40 núcleos. Un token es un pequeño fragmento de texto, aproximadamente tres cuartos de una palabra, por lo que sería una velocidad de lectura muy rápida.
Lea la letra pequeña antes de emocionarse. La propia página del proyecto llama a 168 una “proyección de cálculo de destino” para un contexto corto 128-token, en una máquina de 48 GB, asumiendo seis tokens aceptados por cada pase de verificación de ocho filas y omitiendo algunos gastos generales como el dibujo y el rebobinado. No es una velocidad medida de un extremo a otro y la página advierte que los alcances de tiempo difieren entre los backends, por lo que no es una comparación comparable con otras herramientas. En un contexto de 32.000-token, la cifra proyectada cae a 127 tokens por segundo.
Las ideas de velocidad son interesantes. Los “megakernels” fusionan muchos pequeños pasos de GPU en un programa más grande por capa, lo que reduce el tiempo de espera. El control de generación permanece en la GPU en lugar de regresar a la CPU. Y un método llamado DSpark utiliza decodificación especulativa: un modelo borrador pequeño y rápido adivina varios tokens por delante, y el modelo grande los verifica todos de una sola vez, manteniendo los correctos. Cuando las conjeturas son buenas, obtienes varias palabras por el precio de una.
Dónde está: el proyecto es joven. Necesita un Apple de silicio Mac en macOS 26 o posterior y suficiente memoria unificada para el modelo, el borrador del modelo y el contexto. Existen recetas medidas principalmente para el M5 Max con 40 núcleos de GPU y el M5 Pro para modelos más pequeños, mientras que otros chips no están medidos y no obtienen fusión automática. Sólo se ejecuta una generación a la vez y algunas integraciones de modelos están etiquetadas como experimentales. También ofrece un servidor local compatible con interfaces de chat comunes y puede iniciar agentes de codificación.
Qué significa esto para usted: si recién está comenzando con la IA local, no la necesita; una aplicación amigable como Ollama o LM Studio es el camino más fácil. Si posee un Mac de gama alta reciente y le gustan los retoques, vale la pena marcarlo como favorito, pero espere las pruebas de velocidad independientes. La lección de hoy es una buena costumbre: cuando llegue un número de velocidad sin “medir” al lado, pregunta qué proyecta.
Fuentes
Una falla crítica en el agente de codificación Archon permite que extraños se apoderen de su máquina
Un error de clase de gravedad máxima (CVSS 9.8) en el agente de codificación de IA Archon expone una interfaz de control no autenticada. Aún no existe ningún parche; la solución provisional es bloquear la interfaz de su propia computadora.
