在Transformer大模型自回归推理中，KVCache是提升效率的核心组件——通过缓存注意力计算产生的Key/Value向量，避免每轮重复处理历史token，可将推理速度提升数倍。但随着100K+tokens长文档分析等场景普及及高并发请求激增，KVCache存储开销呈线性膨胀（公式简化为：KVCache Size≈2×批处理大小×序列长度×注意力头数×头维度），传统依赖 GPU显存的方案逐渐暴露显存不足、重复计算、场景适配差等瓶颈。

浪潮云海InCloud AIOS依托KVCache卸载技术，以“计算-存储解耦”与“分层智能调度”破解困局，通过三级存储、智能元数据调度、动态复用三大核心模块，在长上下文、高并发场景中实现推理效率与资源利用率双重跃升。浪潮云海平台的实测数据，更直观印证了该技术的落地价值。

三级分层存储：

破解显存瓶颈，平衡时延、容量与复用需求

KVCache卸载技术借鉴CPU多级缓存设计，构建“L1-L2-L3”三级存储体系（如图KVCache 分层存储卸载架构），通过不同介质的特性互补，从根源上突破GPU显存容量限制，兼顾低时延与大容量需求。

• L1 缓存（GPU 本地显存）：低时延核心承载

聚焦实时性需求，存储当前活跃请求的KVCache（如实时对话生成缓存），访问时延低至微秒级（＜10μs），确保推理速度不受损。同时采用Block级动态分配机制，将KVCache拆分为固定token长度的独立单元，由内存管理器按需分配，消除显存外部碎片，避免预分配造成的资源浪费，显著提升显存利用率。

• L2 缓存（CPU DRAM/NVMe SSD）：容量扩展主力

承接近期有复用潜力的缓存（如电商商品基础描述、金融标准条款），CPU DRAM容量可达GPU显存的3-5倍，NVMe SSD更实现TB级扩容。通过GPU Direct Storage（GDS）技术达成“零CPU中转”传输，时延控制在1-10ms，比重新计算效率提升10倍以上；依托浪潮云海InCloud Rail V8.0的低时延存储优化，进一步压缩L2层数据调取耗时。

• L3 缓存（分布式存储）：跨场景复用载体

基于分布式存储集群构建，存储跨实例、跨机房的复用缓存（如行业政策片段、报告模板），容量近乎无限且支持跨地域共享，实现不同节点缓存资源互通，大幅减少重复计算。

三层数据流转遵循 “热度驱动” 逻辑：新生成的KVCache直接写入L1，请求结束后下沉至L2、L3，并根据访问频率和缓存空间执行不同淘汰策略，实现资源动态优化。

智能元数据调度：实现“数据随用随到”

分层存储的核心是规避“调取等待阻塞推理”，这依赖元数据管理与异步加载的深度协同，确保数据调度与计算并行推进。

1. 结构化元数据管理

为每个KVCache Block构建含“文本指纹、存储位置、生命周期”的完整元数据，实现精准定位与热度判断：

• 文本指纹：通过token序列哈希生成唯一标识，支持非前缀片段匹配（如文档中间重复条款）；

• 存储位置：明确Block所在层级、节点IP、存储路径及偏移量，实现毫秒级定位；

• 生命周期：记录生成时间、最近访问时间与访问次数，为热度排序提供依据。

元数据由分布式数据库集中管理，调度器推理前可完成毫秒级命中检测，通过token序列与元数据指纹比对，快速判定是否命中及调取层级。

2. 异步加载与分层同步

为消除数据调取与计算的等待矛盾，采用“并行化传输”机制：

• 预加载触发：模型计算第i层注意力时，提前触发第i+1层所需KVCache的加载请求；

• 跨层同步：在注意力层插入“同步点”，仅等待当前层缓存加载完成，不被后续层加载阻塞本层计算；

• 零拷贝传输：L2到L1采用PCIe DMA技术，L3到L2采用RDMA协议等，均实现“内存-显存”直接传输，避免CPU二次拷贝。

动态复用与弹性调度：最大化挖掘资源价值

1. 精细化片段复用

突破传统“仅前缀复用”局限，实现任意片段的精准复用：

• Block级拆分：将KVCache按固定长度拆分为独立单元，每个单元对应唯一指纹；

• 片段匹配：输入请求与元数据指纹比对，即使仅中间某段匹配（如合同中的’违约责任’条款），也能调取对应Block；

• 动态拼接：复用Block与新计算Block在注意力层实时融合，确保生成逻辑连贯，复用率比传统方案提升3-5倍。

2. 负载感知弹性调度

根据业务场景动态调整资源分配：

• 实时对话高峰期：优先保障L1缓存空间，限制低优先级请求的 L1 占用；

• 长文档分析高峰期：扩容L2缓存至 100GB 以上，存储长文本片段；

• 夜间批量处理：将L2中不常用缓存迁移至 L3，释放资源供批量任务使用。

实测验证：长上下文推理效率跨越式提升

在浪潮云海AIOS平台（配置L20 GPU、128GB CPU内存、2TB NVMe SSD），基于DeepSeek-8B模型开展10K tokens长上下文推理测试，结果显示：

• TTFT（首token响应时间）：从传统无卸载方案的1.94s降至0.136s（L2卸载），时延下降93%；

• e2e吞吐：相比无卸载方案DRAM命中可提升108%，SSD命中也可提升68

这些数据充分验证了KVCache卸载原理的有效性，而浪潮云海平台提供的低时延存储、高速互联与全局调度能力，为原理落地提供了坚实基础，助力企业在长文本、高并发场景中实现大模型推理降本增效。