Acabei de assistir a um avanço incrível em otimização - alguém bateu o recorde de treino do NanoGPT. Alcançou uma perda de validação de 3.28 no Fineweb em apenas 22.3 minutos. É insano, considerando que o melhor resultado anterior era 24.9 minutos. O ritmo dos ganhos de eficiência no treino de modelos continua a acelerar. Estas melhorias de velocidade são muito mais importantes do que as pessoas percebem para a escalabilidade das aplicações de IA.