K2 Horizon envía seis modelos abiertos y los datos de entrenamiento con ellos

Mientras que cuatro laboratorios comerciales enviaban modelos de vanguardia la semana pasada, un instituto de investigación en Abu Dhabi lanzó seis propios e hizo algo que los grandes laboratorios no hacen: publicó los datos de entrenamiento junto con ellos. El Instituto de Modelos Fundamentales, parte de la Universidad de Inteligencia Artificial Mohamed bin Zayed, lanzó K2 Horizon el 3 de septiembre bajo la licencia Apache 2.0, que es tan permisiva como las licencias de software.

La flota abarca entre 900 y 375 mil millones de parámetros. Los parámetros son los números ajustables dentro de un modelo, y más de ellos generalmente significa más capacidad y más hardware necesario para ejecutarlo. Hay modelos densos en 0.9B, 3.7B, 7B y 32B, además de dos modelos de mezcla escasa de expertos en 36B con 4B activo y 375B con 23B activo. Escaso significa que solo una fracción del modelo se activa para cualquier pregunta determinada, por lo que ejecutar un modelo 375B puede costar más cerca de uno 23B. IFM apunta al modelo 0.9B a relojes y gafas, el 3.7B y 7B a teléfonos, el 32B y 36B a computadoras portátiles y servidores locales, y el modelo insignia 375B al trabajo empresarial. IFM afirma que los modelos 0.9B, 3.7B y 7B establecen nuevos avances en sus tamaños. Dos notas técnicas del comunicado: un método de “destilación por difusión” que genera bloques de tokens en paralelo para una aceleración de aproximadamente 3 veces, y una arquitectura de combinación de valor y atención destinada a mejorar el razonamiento sin computación adicional.

Por qué “completamente abierto” no es lo mismo que “pesos abiertos”. La mayoría de los modelos que se llaman abiertos, incluidos Llama y DeepSeek, publican los pesos: los números terminados que necesitas para ejecutar el sistema. No publican lo que se entrenó, lo que significa que puedes usar el modelo pero no puedes verificarlo, reproducirlo o estudiar por qué se comporta como lo hace. El fundador de IFM, Eric Xing, planteó la distinción directamente, argumentando que la ciencia funciona cuando otros pueden ver los datos, seguir el método y reproducir el resultado. Si los modelos resisten frente a los mejores lanzamientos de peso abierto es una cuestión que se someterá a pruebas independientes durante las próximas semanas, y los puntos de referencia autoinformados por cualquier laboratorio merecen el mismo escepticismo. Pero la afirmación de transparencia es comprobable de una manera que no lo son las puntuaciones de los puntos de referencia, que es más bien el punto.

Qué significa esto para usted. Si desea ejecutar un modelo capaz en su propia máquina en lugar de enviar su texto al servidor de otra persona, los modelos 7B y 32B son los que debe considerar, y están en Hugging Face con soporte para vLLM, SGLang y Ollama, además de compilaciones GGUF, que es el formato que desean la mayoría de las herramientas de escritorio. Un modelo 7B funciona cómodamente en una computadora portátil decente. Si estás estudiando o enseñando, los datos de entrenamiento publicados hacen que esta sea la familia de modelos serios más inspeccionable disponible en este momento, lo cual es importante si tu pregunta es “¿por qué dijo eso?” en lugar de “qué dijo”. Para todos los demás: nada cambia hoy, pero un modelo totalmente reproducible a esta escala brinda a los investigadores una herramienta que han estado pidiendo desde 2023.

Fuentes

• Comunicado de prensa de K2 Horizon (Institute of Foundation Models)
• El Institute of Foundation Models de MBZUAI lanza K2 Horizon
• IFM lanza modelos K2 Horizon completamente abiertos con pesos, código y datos de entrenamiento (AIwire)