Un modelo de IA capaz que cabe en tu teléfono y funciona completamente sin conexión
La startup PrismML ha reducido un modelo abierto de 27.000 millones de parámetros a menos de 4 GB para que funcione en un iPhone, conservando cerca del 90 % de su capacidad. Según las informaciones, Apple está probando esta tecnología de compresión. Por qué la IA en el dispositivo es discretamente tan importante.
La mayor parte de la IA que utilizas hoy vive en la nube: escribes, tus palabras viajan a un centro de datos y la respuesta vuelve hasta ti. PrismML, una startup fundada por un grupo de investigadores de Caltech, acaba de mostrar otro camino. Su nuevo modelo, Bonsai 27B, es una IA con todas las funciones, puede razonar sobre problemas con varios pasos, utilizar herramientas y leer imágenes, que se ejecuta directamente en un iPhone, sin necesidad de conexión a internet. Los pesos del modelo están disponibles bajo la licencia abierta Apache 2.0, por lo que cualquiera puede descargarlos y ejecutarlos.
La parte ingeniosa es la reducción. Un modelo de este tamaño necesitaría normalmente unos 54 GB de almacenamiento, o cerca de 18 GB incluso después de aplicar la compresión habitual. PrismML consiguió reducirlo a unos 3,9 GB, lo bastante pequeño como para caber en un iPhone 17 Pro Max. Lo logra mediante una «cuantización» agresiva, que consiste simplemente en almacenar cada uno de los números internos del modelo con mucho menos detalle, en la versión más extrema, cada valor se reduce a uno de solo dos estados. En las pruebas de la propia empresa realizadas con 15 comparativas, la versión adaptada al teléfono conservó alrededor del 90 % de la capacidad del modelo completo, y sus habilidades matemáticas y de programación quedaron «prácticamente intactas». En un iPhone genera unas 11 palabras por segundo, y una carga completa de batería permite producir aproximadamente 67.000 palabras antes de agotarse.
Qué hay detrás: como salvedad, estas cifras son de la propia PrismML, así que las pruebas independientes mostrarán la situación real, y la compresión más intensa sí perjudicó de forma visible algunas capacidades, como leer imágenes y seguir instrucciones complicadas. Pero la dirección importa. Los «agentes» de IA modernos, herramientas que completan una tarea paso a paso por sí solas, pueden hacer cientos de llamadas a un modelo para un solo trabajo. En la nube, cada llamada cuesta dinero, añade un retraso y envía tus datos, capturas de pantalla y documentos, fuera de tu dispositivo. Ejecutarlas en el teléfono hace que esos ciclos sean prácticamente gratuitos y mantiene tus datos contigo. Por eso resulta especialmente interesante para Apple: su propia IA en el dispositivo se ha quedado por detrás de sus rivales, y CNBC informa de que PrismML ya mantiene conversaciones iniciales con Apple para licenciar la tecnología de compresión, aunque la empresa las califica de «muy preliminares».
Qué significa esto para ti: hoy no hay nada que instalar, salvo que te guste experimentar, hay una demostración gratuita y una versión preliminar para desarrolladores. Pero esta es la señal más clara hasta la fecha de que la «IA privada y sin conexión en tu propio teléfono» está convirtiéndose en una realidad en vez de seguir siendo una afición de nicho. Para cualquiera que se preocupe por dónde terminan sus instrucciones y documentos, es una noticia realmente buena. Cabe esperar que los teléfonos y portátiles que compres durante los próximos dos años se apoyen en este tipo de IA en el dispositivo para las tareas cotidianas y reserven la nube para las más difíciles.
Fuentes
Fuentes: https://prismml.com/news/bonsai-27b
OpenAI crea una IA cuyo único trabajo es atacar a sus otras IA
OpenAI ha entrenado un modelo interno llamado GPT-Red para buscar fallos de seguridad en sus propios sistemas, y los encuentra con mucha más frecuencia que los expertos humanos. Qué significa «inyección de instrucciones» y por qué importa a medida que la IA empieza a actuar en tu nombre.
