Un investigador deja OpenAI a los ocho meses porque apuesta por mejores datos, no por modelos más grandes
Andrew Ho ha dejado OpenAI para crear conjuntos de datos especializados y espera que los laboratorios gasten más de 100.000 millones de dólares en recopilarlos. Un investigador de Cambridge observa el mismo patrón desde fuera.
Andrew Ho ha dejado OpenAI después de ocho meses, pero su motivo resulta más interesante que la marcha. Cree que los grandes modelos lingüísticos generalizan mal: trasladan una capacidad a una situación nueva mucho peor de lo que sugieren sus resultados más destacados. Incluso en programación, el área que recibe más financiación, afirma que el rendimiento es irregular. Su diagnóstico es que faltan los datos de entrenamiento adecuados, y está creando una empresa para venderlos.
Según Ho, gran parte del trabajo con valor económico apenas aparece en los datos con los que aprenden los modelos. «La mayoría de los trabajos dependen mucho del contexto y no se pueden representar con facilidad en un entorno evaluable», escribió. Incluso cuando puedes observar cómo una persona hace bien una tarea, cuesta saber si los caminos que no eligió también habrían funcionado. Ho espera que los laboratorios de IA gasten más de 100.000 millones de dólares en recopilación dirigida de datos durante los próximos años. Sus primeros productos se centran en la ciencia: conjuntos para análisis bioinformáticos, donde asegura que incluso GPT-5.6 Sol solo acierta alrededor del 30% de las veces, y datos para tareas cotidianas de laboratorio, como evaluar fotografías de experimentos. Después llegarán la química, la ciencia de materiales y la sanidad. Ho también se muestra abiertamente escéptico sobre las valoraciones de los laboratorios frontera. Sostiene que siguen sin ser rentables porque necesitan gastar de forma constante para mantenerse por delante de rivales más baratos como Qwen y Kimi.
Qué hay detrás
El investigador de Cambridge Adam Hunt describe el mismo perfil desde fuera de los laboratorios. Su tesis es que los modelos recientes no ganan amplitud, sino que se vuelven más puntiagudos: la programación y las matemáticas difíciles siguen mejorando, mientras la calidad del lenguaje y la lógica sencilla se estancan o retroceden. Su explicación es mecánica. El aprendizaje por refuerzo, el método que convirtió a los modelos de razonamiento en lo que son hoy, necesita una señal clara de acierto o error. El código compila o no; una demostración matemática es válida o no. En la mayor parte del trabajo humano no existe una señal equivalente, por lo que ese entrenamiento no se puede aplicar. Hunt concede a su propia hipótesis una confianza aproximada del 40%, una sinceridad poco habitual en una predicción pública. Tom Zahavy, de DeepMind, formula un argumento estructural relacionado en un artículo titulado «LLMs can’t jump»: los modelos manejan bien la deducción y la inducción, pero fallan al inventar una explicación que nada en su entrenamiento había insinuado.
Qué significa esto para ti: Para la mayoría de la gente no cambia nada hoy. Sí sirve para corregir una suposición frecuente: los modelos no mejoran por igual en todos los campos. Que la IA haya progresado muchísimo en el trabajo de programación de un compañero dice muy poco sobre si también ha mejorado en el tuyo. Si una herramienta te decepciona en algo que parece fácil y al mismo tiempo resuelve algo que parece difícil, no significa que la estés usando mal. Esa irregularidad es el estado actual de la tecnología y explica por qué probar directamente vale más que leer las notas de una versión.
Fuentes
Fuentes: https://x.com/andrewho03/status/2082615798011744270
Amazon reduce discretamente el desarrollo de casi todos sus modelos de IA
Nova Premier, Omni, el modelo de vídeo Reel y el generador de imágenes Canvas quedan de hecho en modo de mantenimiento. Los recursos pasan a un nuevo grupo de investigación de modelos frontera dirigido por Pieter Abbeel.
