---
title: "Agentic Cache Manager"
created: 2026-06-20
updated: 2026-06-20
type: concept
tags: ["kv-cache", "memory", "drift", "streaming", "inference"]
sources: ["https://arxiv.org/abs/2606.17800"]
---

# Agentic Cache Manager (Agentic 缓存管理)

**Agentic Cache Manager** 是 [[maineCoon|MaineCoon]] [[agentic-streaming-inference|流式推理框架]] 中管理模型记忆的控制器：在单个持久 [[kv-cache|KV-Cache]] 上同时治理**记住多少**（bounded keep-set）和**记多准确**（drift control）。

## 单持久缓存 → 连续流

传统方案的问题：
- **重生成增长前缀**：每块 cost 随长度增长 → 不可扩展
- **拼接独立段**：周期 re-anchoring → 身份/颜色/音频跳变

MaineCoon 使用**一个永不清理的 KV-cache**，chunk 间连续性由 attention 原生携带，无拼接边界。

## Bounded Keep-Set（有界保留集）

缓存不能无限增长——模型使用有限 RoPE 位置编码。Manager 每次 commit 后重新计算保留集：

```
Keep = Subject Anchor ∪ Scene Sink ∪ Scene Anchors ∪ Recent Chunks ∪ Restored
```

- **Subject Anchor**：主体语义参考块（见 drift control）
- **Scene Sink**：场景建立时的 persistent attention sink
- **Scene Anchors**：散布的场景关键帧
- **Recent Chunks**：固定预算的最新 chunk
- **Restored**：场景返回时恢复的历史 chunk

**四种 attention 类型各自独立追踪**：visual self-attn, audio self-attn, cross-modal AV paths 的缓存增长速率不同，需要 per-type ledger 独立管理。

## Drift Control（漂移控制）

核心原则：**永不修改已发布的像素**——修正仅施加于写回缓存的 committed copy。

### Statistical Anchor (AdaStat)
写回缓存前对 clean latent 做 per-channel 统计匹配：
```
AdaStat(x) = σ* ⊙ (x - μ(x))/σ(x) + μ*
```
- 参考 (μ*, σ*) 从场景开头初始化，慢 EMA 更新
- 仅对**低漂移 chunk** 更新参考，追踪合法 scene evolution
- 音频通道使用降低的强度

### Subject Anchor（主体锚）
- 开放词汇分割器在周期性快照上对规划器的文本描述评分
- 从流的 clean latent 中收割最高分 token
- 作为 KV-cache 中的固定参考块，**永不输出**
- 使漂移从不可逆变为**可恢复**

## Bounded Positions
位置编码通过 bounded epoch slots 保持在训练范围内。epoch 耗尽时用保留的 clean latent 在新 slots 重建缓存，保留内容但刷新位置编码。

## 效果
在二十秒训练片段上训练的模型，可连续流式运行 **45 分钟无显著退化**。

## 参考
- [[maineCoon|MaineCoon 论文]] Section 4.2
- [[kv-cache]]
- [[agentic-streaming-inference|Agentic Streaming Inference]]