La última investigación de Google ha descubierto algo interesante: los modelos Transformer no simplemente memorizar de manera mecánica, sino que construyen un mapa de conocimientos en la matriz de pesos, entrelazando las relaciones entre diversos conceptos.

¿Suena a tecnología de vanguardia, verdad? Lo más sorprendente es que, en tareas adversariales, estos modelos incluso pueden aprender razonamiento de múltiples saltos. Los investigadores probaron con un grafo de 50,000 nodos y rutas de 10 saltos, y la precisión del modelo para predecir rutas nunca antes vistas alcanzó el 100%. ¿Qué significa esto? Significa que no se basa en memorizar, sino que realmente comprende esa red de relaciones.

Esta cosa desafía muchas de nuestras ideas preconcebidas sobre el almacenamiento de conocimientos en IA. Si el modelo realmente codifica implícitamente relaciones globales, puede estimular su potencial creativo, pero también puede hacer que la edición y el control del conocimiento sean más difíciles. En otras palabras, debemos replantear cómo gestionar y optimizar ese «mapa de conocimientos» que hay detrás de estos modelos.