Sebuah organisasi (SGLang) kini mencapai 7.583 token per detik per GPU yang menjalankan model AI tertentu R1 di GB200 NVL72, sebuah lonjakan 2,7x dibandingkan H100.
Kami sangat senang melihat ekosistem sumber terbuka memajukan optimasi inferensi pada GB200 NVL72, menurunkan biaya per token untuk industri di
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Sebuah organisasi (SGLang) kini mencapai 7.583 token per detik per GPU yang menjalankan model AI tertentu R1 di GB200 NVL72, sebuah lonjakan 2,7x dibandingkan H100.
Kami sangat senang melihat ekosistem sumber terbuka memajukan optimasi inferensi pada GB200 NVL72, menurunkan biaya per token untuk industri di