45 lines
1.4 KiB
Markdown
45 lines
1.4 KiB
Markdown
---
|
||
title: "Skill Issue Framework（Skill Issue 框架）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [harness-engineering, debugging, agent, methodology]
|
||
sources: [[prompt-to-loop-engineering-2026]]
|
||
confidence: high
|
||
---
|
||
|
||
# Skill Issue Framework
|
||
|
||
> CodeRabbit 提出的生产范式：当 Agent 线上表现不佳时，团队的第一反应**不再是责怪模型**，而是排查 Harness 代码。
|
||
|
||
## 核心理念
|
||
|
||
模型的能力 ≠ 生产环境中"做成的事"。差距几乎全由 Harness 水平决定。
|
||
|
||
## 分层拦截流水线
|
||
|
||
由硬到软、层层收窄的漏斗模型：
|
||
|
||
| 层级 | 技术 | 速度 | 成本 | 拦截比例 |
|
||
|------|------|------|------|---------|
|
||
| 确定性规则层 | Semgrep | 毫秒级 | 近乎零 | ~80% |
|
||
| 策略网关层 | OPA（IaC 阻断） | 秒级 | 低 | — |
|
||
| AI 审查层 | LLM + 代码库上下文 | 分钟级 | 消耗 Token | ~15% |
|
||
| 人类终审 | 架构师 | 最慢 | 最贵 | ~5% |
|
||
|
||
## 实践含义
|
||
|
||
- 80% 的低级错误在最便宜的硬规则层被拦截
|
||
- 人类只需审核剩余 5% 的核心架构决策
|
||
- 当 Agent 出错时，先问"Harness 缺少什么规则？"而非"模型为什么犯错？"
|
||
|
||
## 实证
|
||
|
||
Terminal Bench 2.0：同一款模型不改权重，仅改写 Harness 约束，排名从 30 提升至前五。
|
||
|
||
## 相关概念
|
||
|
||
- [[harness-engineering|Harness Engineering]]
|
||
- [[agent-harness|Agent Harness]]
|
||
- [[model-proposes-harness-executes|Model Proposes, Harness Executes]]
|