とんでもない最適化のブレイクスルーを目撃した――誰かがNanoGPTのトレーニング記録を塗り替えた。Finewebで3.28のバリデーションロスをわずか22.3分で達成。前回のベストが24.9分だったことを考えると、これは異常な速さ。モデル訓練の効率向上のペースがどんどん加速している。これらのスピード改善は、AIアプリケーションのスケールアップにおいて、人々が思っている以上に重要な意味を持つ。