Sebuah organisasi (SGLang) kini mencapai 7.583 token per detik per GPU yang menjalankan model AI tertentu R1 di GB200 NVL72, sebuah lonjakan 2,7x dibandingkan H100.
Kami sangat senang melihat ekosistem sumber terbuka memajukan optimasi inferensi pada GB200 NVL72, menurunkan biaya per token untuk industri di
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
22 Suka
Hadiah
22
8
Bagikan
Komentar
0/400
AltcoinHunter
· 06-19 17:03
Ayo, kita goreng! Meningkat 2.7 kali, belum上市
Balas0
CryptoPunster
· 06-18 08:09
Perang perangkat keras di masa depan akan menghancurkan kelompok penjual tiket ilegal.
Balas0
LiquidityWizard
· 06-17 07:19
*secara teoritis* mengalikan efisiensi dengan 2,7x berarti -63% basis biaya... menarik
Balas0
DeFiDoctor
· 06-17 01:31
Mode peningkatan digital diragukan, disarankan untuk memeriksa kembali kelompok kontrol.
Balas0
TokenAlchemist
· 06-17 01:16
meh, raw tps tidak berarti optimal dalam ekstraksi mev sejujurnya
Balas0
GasWhisperer
· 06-17 01:16
metrik tps itu mengalir seperti gelombang mempool yang halus saat ini
Balas0
ProposalManiac
· 06-17 01:15
Tetap saja Nvidia, belum cukup untuk naik level.
Balas0
HodlKumamon
· 06-17 01:09
Eh, sangat kuat ww pengeluaran besar Daya Komputasi kecil
Sebuah organisasi (SGLang) kini mencapai 7.583 token per detik per GPU yang menjalankan model AI tertentu R1 di GB200 NVL72, sebuah lonjakan 2,7x dibandingkan H100.
Kami sangat senang melihat ekosistem sumber terbuka memajukan optimasi inferensi pada GB200 NVL72, menurunkan biaya per token untuk industri di