某组织 (SGLang) 现在在 GB200 NVL72 上运行某AI模型 R1 时,每个 GPU 实现了 7,583 个令牌每秒,比 H100 提升了 2.7 倍。



我们很高兴看到开源生态系统在 GB200 NVL72 上推进推理优化,从而降低行业每个 token 的成本
A-2.72%
OVER1.5%
TOKEN0.49%
查看原文
post-image
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 9
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)