20260601

concepts/thompson-sampling-code-search.md

@@ -0,0 +1,35 @@
+---
+title: "Thompson Sampling Code Search"
+created: 2026-05-29
+updated: 2026-05-29
+type: concept
+tags: ["search", "code-synthesis", "thompson-sampling", "optimization"]
+sources: ["https://arxiv.org/abs/2603.03329"]
+---
+
+# Thompson Sampling Code Search
+
+**Thompson Sampling Code Search** 是 [[autoharness|AutoHarness]] 中用于探索代码 harness 空间的搜索算法：维护多个代码假设的树结构，用 Thompson sampling (Tang et al., 2024) 选择下一个精炼节点。
+
+## 算法
+
+1. **树结构**：每个节点是一个代码假设（harness 的某个版本）
+2. **Heuristic value**：每个节点的平均合法动作率
+3. **选择**：Thompson sampling 在探索（尝试不同的代码逻辑）和利用（精炼已有进展的 harness）之间平衡
+4. **精炼**：被选中的节点由 Refiner（LLM）基于环境 Critic 的 feedback 生成改进版本
+
+## 为什么是 Thompson Sampling？
+
+- **在线学习**：每一步都需要决策下一个尝试方向
+- **不确定性量化**：Thompson sampling 自然处理节点价值估计的不确定性
+- **平衡探索-利用**：通过后验采样自动平衡——高不确定性的节点以正概率被选中
+
+## 在 Harness 合成中的作用
+
+Thompson sampling 决定了在每次迭代中"精炼哪个代码版本"——这直接影响了搜索效率。平均只需 14.5 次迭代即可达到 100% 合法率。
+
+## 相关
+
+- [[autoharness]] — 使用此搜索的方法
+- [[iterative-code-refinement]] — 每步的具体操作
+- [[lou-autoharness-2026]] — 原始论文