67 lines
1.9 KiB
Markdown
67 lines
1.9 KiB
Markdown
---
|
||
title: "基因探针 (Gene Probe)"
|
||
created: 2026-06-14
|
||
updated: 2026-06-14
|
||
type: concept
|
||
tags: [agent, analysis, evaluation, gene]
|
||
sources: [raw/papers/procedural-skills-to-strategy-genes-2026.md]
|
||
---
|
||
|
||
# 基因探针 (Gene Probe)
|
||
|
||
Wang et al. (2026) 中设计的第二个分析探针，检验策略基因是否仅是更短的提示，还是对可复用经验真正更好的表示。
|
||
|
||
## 设计意图
|
||
|
||
Gene 的优势能否完全归因于 token 预算？还是它代表了一种**本质上不同的经验表示方式**？
|
||
|
||
## 实验规模
|
||
|
||
1,890 次保留试验。
|
||
|
||
## 关键发现
|
||
|
||
### 渐进构建
|
||
|
||
从无引导到完整 Gene 的构建过程显示，增益**不遵循简单的 token 预算趋势**：
|
||
|
||
| 条件 | Avg. | Δ |
|
||
|------|------|-----|
|
||
| 无引导 | 51.0% | 0.0 |
|
||
| 仅关键词 | 53.5% | +2.5 |
|
||
| 关键词+摘要 | 51.0% | 0.0 |
|
||
| 关键词+摘要+策略 (完整 Gene) | 54.0% | +3.0 |
|
||
|
||
增益仅在表示达到**策略层**时出现。
|
||
|
||
### 鲁棒性测试
|
||
|
||
- **错误算法**: 48.8% (-5.2pp) — 内容破坏严重
|
||
- **错误领域**: 49.4% (-4.6pp) — 同上
|
||
- **逆序优先级**: 52.8% (-1.2pp) — 结构变形影响小
|
||
- **过度约束**: 55.9% (+1.9pp) — 甚至优于清洁版
|
||
|
||
Gene 对**语义破坏敏感**但对**结构变形鲁棒**——不绑定于特定表面形式。
|
||
|
||
### 添加文档材料
|
||
|
||
- Gene + API notes: 51.5% (vs Gene 54.0%)
|
||
- Gene + examples: 52.0% (vs Gene 54.0%)
|
||
|
||
重新添加文档材料**通常稀释而非补充** Gene 的控制效果。
|
||
|
||
### 多 Gene 组合
|
||
|
||
- 单一 Gene: 54.0% (+3.0pp)
|
||
- 两个互补 Gene: 44.9% (-6.1pp)
|
||
- 两个冲突 Gene: 53.2% (+2.2pp)
|
||
|
||
互补组合比冲突组合更有害——多控制对象竞争注意力，模糊控制焦点。
|
||
|
||
## 参考
|
||
|
||
- [[procedural-skills-to-strategy-genes|Skills to Strategy Genes]] — 包含完整分析
|
||
- [[skill-probe|技能探针]] — 对比分析
|
||
- [[strategy-gene|策略基因]] — 被分析的对象
|
||
- [[bounded-reuse|有界复用]] — 多 Gene 组合揭示的复用边界
|