HSCodeComp 揭开智能体分层规则应用能力鸿沟
一句话概括
HSCodeComp 用真实跨境商品的十位 HS Code 归类任务，评测 Agent 在“检索—应用—回溯”分层专家规则时的能力；文章的核心结论是，外部规则与先例的准确检索、按层应用和可验证回溯，比增加推理次数或让模型自由思考更关键。
实践内容
文章中专家标注与任务求解都遵循逐步、可校验的流程，原始步骤如下：
Step 1｜信息采集：两位专家分别浏览商品网页，收集全部信息。
Step 2｜结构化抽取：抽取商品核心结构化特征。
Step 3｜查询裁定库：在官方裁定库（CROSS）检索相关历史案例；若命中，则在 eWTP 系统校验对应 HS Code 并修订；否则精修查询、回到 Step 2 调整特征。
Step 4｜应用决策规则：对无相关裁定的商品，执行专家决策规则以应用关税规则、确定编码。
Step 5｜最终校验：在 eWTP 网站校验最终编码有效性。
Step 6｜质量复核交叉验证：两位专家独立标注，编码一致才接受；分歧由资深专家仲裁，仍无共识则丢弃。原文报告的比较信号：CROSS 历史裁定为三个骨干模型带来 +5.38 至 +9.65 个百分点的 10 位准确率；视觉信息是有限补充；把裸模型置入能检索和应用规则/知识的 Agent Harness，六个 GPT-5 骨干系统平均从 28.96% 增至 37.42%。评测应分别报告 2/4/6/8/10 位 Exact Match Accuracy，且把最严格的十位编码作为端到端层级推理指标。
摘录
在实际申报中，资深关务专家需要依据严密的层级关税规则，把一件商品精准映射到唯一的 10 位细分编码，逐级细化：2 位章（Chapter）→ 4 位品目（Heading）→ 6 位子目（Sub-heading）→ 8/10 位国别码（Country-specific）。这本质上是一条必须满足规则树上所有约束的合法路径：只有每层判定都正确，最终 10 位编码才成立。以 AirPods 硅胶保护套为例，材质、是否算表面覆盖物或携带盒、是配件还是零件，都需要严格应用专家规则；任一层判错，最终编码都会全盘皆错。
并非一步到位的分类，而是一个多步“检索—推理—回溯”循环：Agent 先从具有真实世界商品噪音信息的档案中抽取关键物理属性，据此检索候选规则以及逐条核对例外与交叉引用，必要时到 CROSS 历史裁定库寻找先例佐证；当多个品目看似都成立时，还需调用专家决策规则裁决优先级，最终才逐层收敛到唯一的 10 位编码。正是这种“边检索、边应用规则、边回溯”的特性，使它区别于一次性的分类问题。
最强 Agent 的十位编码准确率约为 49.4%，远低于文中所述关务专家约 95% 的准确率。作者进一步指出，多数投票和自我反思的 Test-Time Scaling 未能有效弥合差距；在报告的 GPT-5 实验中，提高 reasoning effort 反而从 40.82% 降至 35.44%。当有价值信息在领域知识和规则中，缺乏工具反馈的自由推演会让 Agent 编造不存在的约束或忽略实际规则，形成“推理漂移”。
涉及实体
- HSCodeComp —— 本文提出的专家级 Deep Search Agent 基准。
- Agent评测方法论 —— 该基准用精确匹配、过程性证据和人类专家标注展示高风险 Agent 评测的设计要求。
- Harness-Engineering —— 可检索、应用并校验规则的 Harness 是文中裸模型外的关键能力层。
涉及主题
我的评注
文章提供了一个值得迁移的评测结构：不要把“能搜索网页”当作“能在专业规则中做正确决策”。对法规、医疗、风控、税务等任务，评测集应包含真实噪声、规则例外、交叉引用和可审计的先例；系统则要把属性抽取、检索、规则优先级、结论校验与错误回溯拆成可以检查的步骤。文中的数值来自作者报告，适合作为“评测设计方向”的证据，不应直接外推成所有专业 Agent 的通用能力排名。