Je viens d’assister à une avancée folle en optimisation – quelqu’un a pulvérisé le record d’entraînement de NanoGPT. Atteint une perte de validation de 3,28 sur Fineweb en seulement 22,3 minutes. C’est dingue quand on considère que le précédent record était de 24,9 minutes. Le rythme des gains d’efficacité dans l’entraînement des modèles ne cesse d’accélérer. Ces améliorations de vitesse comptent bien plus qu’on ne le pense pour le passage à l’échelle des applications d’IA.