换一套 Harness,比换两代模型还管用

一句话概括

这篇综述围绕工具循环、上下文、权限、隔离和验收解释 Harness 的作用:模型能力需要经过运行时的组织,才能成为可靠的任务结果。原文

实践内容

以下是阅读转述,示例参数属于文中的教学配置,不代表产品默认值。完整代码骨架见原文相应章节。

  • 循环与错误:记录模型发出的工具请求,再写回对应工具结果;区分正常结束、轮次耗尽和无进展。文中重复调用检测的阈值为连续 3 次相同工具与参数。错误应成为可识别的观察,瞬时故障才使用带抖动的退避;预算耗尽应明确结束。
  • 上下文生命周期:每轮重新选择材料并预留输出空间。完整 Session 记录、当轮 Context 和跨任务 Memory 分别承担追溯、推理输入和经验复用。示例窗口为 128,000 token,输出预留 4,000,历史压缩举例在预算使用到 70% 时触发。阶段内部可压缩,阶段交接可重置;任务进度要能从外部工件恢复。
  • 权限与沙箱:工具执行前做权限裁决,外部材料按不可信数据处理。容器示例采用 UID/GID 1000、只读根目录、禁止提权、移除全部 capabilities、默认禁网;内存为 512 MB、CPU 为 1、进程上限为 100,临时目录为 100 MB 且禁执行。需要联网时改用允许列表,凭证不应放入沙箱。这些是示例配置,需按任务调整。
  • 独立检查:结果评估者依据产物和验收标准工作;动作审核者依据用户意图、工具请求及观察工作。两者均应与执行者分开上下文,并限制返工次数。审核模型的判断仍须由执行权限与隔离机制兜底。
  • 评测控制:固定模型之外还要固定工具、轮次、超时、资源和判分方式;单独统计环境故障。测试时获取题库答案也会污染结果,评测需要约束网络和工具能力。

摘录

仅保留短引文;上文为转述。

先怀疑管道,再怀疑模型。

薄 Harness + 厚 Skill

涉及实体

涉及主题

我的评注

本文是二次综述,标题的比较及示例节省比例不能直接当成本地实测。代码被作者明确标为教学骨架;其中用字符串前缀判断路径归属的方式还需处理同名前缀目录与实际文件系统边界,不能照搬作为生产权限检查。