Una organización (SGLang) ahora logra 7,583 tokens por segundo por GPU ejecutando el modelo de IA 某AI模型 R1 en el GB200 NVL72, un salto de 2.7x sobre el H100.
Estamos emocionados de ver cómo el ecosistema de código abierto avanza en las optimizaciones de inferencia en GB200 NVL72, reduciendo el costo por token para la industria en
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Una organización (SGLang) ahora logra 7,583 tokens por segundo por GPU ejecutando el modelo de IA 某AI模型 R1 en el GB200 NVL72, un salto de 2.7x sobre el H100.
Estamos emocionados de ver cómo el ecosistema de código abierto avanza en las optimizaciones de inferencia en GB200 NVL72, reduciendo el costo por token para la industria en