Vừa chứng kiến một đột phá tối ưu hóa điên rồ - ai đó đã phá vỡ kỷ lục huấn luyện NanoGPT. Đạt loss xác thực 3.28 trên Fineweb chỉ trong 22.3 phút. Thật điên rồ khi kỷ lục trước đó là 24.9 phút. Tốc độ cải thiện hiệu quả huấn luyện mô hình ngày càng tăng nhanh. Những cải tiến về tốc độ này quan trọng hơn rất nhiều so với những gì mọi người nhận ra khi mở rộng các ứng dụng AI.