このアーキテクチャのテスト結果はかなり印象的です。

彼らの生産作業負荷測定では、分散推論を用いた場合、従来のセットアップと比べて約50%のスループット向上が示されました。さらに興味深いのは、KVキャッシュ対応のルーティング最適化のおかげでレイテンシが20〜40%減少したことです。

これらは合成的なベンチマークではなく、すべての指標は実際の本番環境で実際のユーザーリクエストを実行したものから得られています。