Một tổ chức (SGLang) hiện đạt 7.583 token mỗi giây trên mỗi GPU chạy mô hình AI nào đó R1 trên GB200 NVL72, tăng 2.7 lần so với H100.
Chúng tôi rất vui khi thấy hệ sinh thái mã nguồn mở tiến bộ tối ưu hóa suy diễn trên GB200 NVL72, giảm chi phí trên mỗi token cho ngành công nghiệp tại
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Một tổ chức (SGLang) hiện đạt 7.583 token mỗi giây trên mỗi GPU chạy mô hình AI nào đó R1 trên GB200 NVL72, tăng 2.7 lần so với H100.
Chúng tôi rất vui khi thấy hệ sinh thái mã nguồn mở tiến bộ tối ưu hóa suy diễn trên GB200 NVL72, giảm chi phí trên mỗi token cho ngành công nghiệp tại