myWiki/concepts/cache-hit-ratio.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Cache Hit Ratio (CHR)	2026-05-11	2026-05-11	concept	cache metrics observability system-design	prompt-caching-architecture

Cache Hit Ratio (CHR，缓存命中率)

定义

Cache Hit Ratio 是衡量 prompt-caching 效率的核心指标：

CHR = (缓存命中的请求数) / (总请求数)

工程标准

• CHR ≥ 95%：健康状态，prompt-layering 设计有效
• CHR < 95%：触发告警，需立即排查 cache-invalidation
• 在 meta-jctrader 等高频系统中，低 CHR 直接意味着高额账单损失和不可接受的延迟

辅助指标

• Invalidation Point Identification：失效点的字节偏移追踪
• Cost Efficiency Score：Cache-Off vs Cache-On 的 Token 消耗对比

相关概念

• prompt-caching
• cache-invalidation
• cache-health-observability