La última investigación del MIT ha dado una revelación interesante: cuando manejas secuencias de tokens que superan los millones, la solución más eficiente no consiste en acumular capacidades en los pesos del modelo, sino en externalizar la lógica de cálculo principal en un entorno estructurado externo. Tomemos como ejemplo un entorno de ejecución de código, que es una práctica concreta de esta idea.

Desde otra perspectiva, el soporte para conocimiento y razonamiento está en proceso de transformación. Antes pensábamos que los pesos del modelo eran el contenedor de toda comprensión, pero esta investigación muestra que, cuando la escala es lo suficientemente grande, la verdadera emergencia de inteligencia ocurre en esos marcos externos cuidadosamente diseñados—esas estructuras geométricas. La implicación detrás de esto es bastante profunda: en el futuro, las arquitecturas de IA podrían parecerse cada vez más a la ingeniería, dependiendo más de un diseño de sistemas ingenioso que del tamaño del modelo en sí.