hipótesis del gran mundo
El argumento de Richard Sutton de que cualquier sistema de aprendizaje es siempre mucho más pequeño que el mundo en el que opera y debe diseñarse en consecuencia.
La idea es simple y un poco humillante. Independientemente de lo que construyas, el mundo al que tiene que enfrentarse es mucho más grande y complicado que el sistema mismo. Por lo tanto, un modelo nunca puede contener una imagen completa de su entorno, sólo una imagen comprimida y parcial, y la respuesta honesta del diseño es construir sistemas que sigan aprendiendo del mundo en lugar de sistemas que intenten terminar de aprender por adelantado.
Richard Sutton lo utiliza como base para una crítica mordaz de los datos sintéticos, material de entrenamiento que un modelo genera para sí mismo. Si el mundo es infinitamente complejo y el modelo solo capturó una porción de él, entonces los datos que produce el modelo provienen de esa misma porción. Obtienes más de lo que ya sabe que más de lo que no sabe. Otros argumentan que se ha demostrado que los datos sintéticos funcionan para enseñar habilidades comprobables específicas, como código y pasos de razonamiento, lo cual es una afirmación diferente a si pueden producir algo genuinamente nuevo.