vLLM：从零开始掌握

1. 安装 vLLM

参考我的个人安装教程：vLLM 安装

2. 学习 vLLM 路线

KV Cache

1. 讲清了 vLLM 的 Prefix Cache 机制：

   • vLLM的prefix cache为何零开销

2. KV Cache 机制讲解

   • 高效推理的核心：vLLM V1 KV cache 管理机制剖析
   • vLLM PD分离KV cache传递机制详解与演进分析
   • 1.5x提升:PD分离KV cache传输的实践经验

Scheduler

• vLLM Scheduler逻辑难啃？先手搓一个基础调度器

• vLLM V1 Scheduler的调度逻辑&优先级分析