Kết quả thử nghiệm từ kiến trúc này khá ấn tượng.

Các phép đo khối lượng công việc sản xuất của họ cho thấy mức tăng thông lượng khoảng 50% khi sử dụng suy luận phân tách so với các thiết lập truyền thống. Thậm chí thú vị hơn: độ trễ giảm 20-40% nhờ tối ưu hóa định tuyến nhận biết bộ nhớ cache KV.

Đây cũng không phải là điểm chuẩn tổng hợp — tất cả các chỉ số đều đến từ môi trường sản xuất thực tế chạy các yêu cầu của người dùng thực.