Non-disaggregated performance 怎么测试

[ToBeResumed]

在vllm_benchmark result中给出的几种测试对比组，请问Non-disaggregated模式是怎么设置的，对应步骤里哪步？

[ShangmingCai]

@ToBeResumed Non-disaggregated的实验你直接通过vllm起实例就可以了，通过传入参数开启chunked-prefill，比如

CUDA_VISIBLE_DEVICES=0 python3 \
    -m vllm.entrypoints.openai.api_server \
    --model $model \
    --port 8100 \  
    --max-model-len 10000 \ 
    --enable-chunked-prefill \
    --gpu-memory-utilization 0.8

[ToBeResumed]

谢谢解答，新年快乐