HSCodeComp
一句话定义
HSCodeComp 是一个以跨境商品十位 HS Code 归类为任务载体的 Agent 基准，用于衡量系统能否在真实噪声、分层专业规则、例外条款与历史先例并存的条件下，完成可验证的检索、规则应用和回溯。
摘要
普通搜索或问答的正确性常可以靠某个页面、某段文字或一次工具结果判断；HS Code 归类不同。商品最终编码是一条穿过规则树的合法路径：上层分类、材质、用途、例外、交叉引用和国别细分必须彼此一致。因而该任务不只是“从候选标签中选一个”，也不只是“搜到相似案例”，而是让 Agent 在每一层都能找到相关规则或先例，说明为何当前路径仍成立，并在冲突或新证据出现时回退。
本文依据阿里技术对其论文和基准的介绍整理。文章把 HSCodeComp 描述为真实且专家级的 Deep Search Agent 基准，并报告它覆盖 632 个真实商品、32 个大类，以十位 Exact Match Accuracy 衡量最严格的端到端表现。文章中的实验数字应当理解为该数据、该系统设置和该评测协议下的结果；它最可迁移的价值是揭示评测盲区与系统设计原则，而不是给所有 Agent 建立绝对排行榜。
详情
起源与背景
HS Code 是跨境贸易中用于申报和确定关税/合规属性的商品编码。文章以 2 位章、4 位品目、6 位子目和 8/10 位国别码的层次结构说明：一个最终十位编码只有在沿途所有规则约束都满足时才成立。对“AirPods 硅胶保护套”这类商品，硅胶在特定规则语境下属于何种材料、物品是否是携带盒或表面覆盖物、是否应视作配件或零件，都会把推理带向不同路径。任何早期判断错误都会让后续细化建立在错误前提上。
作者将此类任务定位为专家级 Deep Search。输入不是干净的单一分类字段，而是带噪声的多模态商品档案：标题、结构化属性、平台类目、图片、价格与币种可能彼此不完整甚至相互误导。系统需访问官方层级关税规则、专家积累的决策规则和 CROSS 历史裁定库，再求得唯一编码。它强调该结构也可能出现在医疗 ICD-10 编码、法律合规、税务审计等高价值场景，因此基准讨论的不是某个电商技巧，而是“如何让 Agent 严格执行专家规则”的通用问题。
核心机制 / 工作原理
任务可概括为从商品档案 X 出发，结合分层规则 R 与领域知识 K，得到唯一编码 Y。实际运行不是将 R 和 K 一次性塞进上下文，而是循环执行以下阶段：
- 信息采集与特征抽取：从标题、属性、类目、图片和价格中区分关键物理属性与可能的干扰词。视觉信息可能补齐页数、材质或外观等文本缺失事实，但不能替代规则判断。
- 候选规则检索：按当前层级检索可能的章节、品目或注释，并识别“除外”“其他”“主要用于”等会改变适用范围的语言。
- 先例和例外核验：遇到模糊边界或多个品目同时看似成立时，检索 CROSS 等历史裁定，把先例作为消歧证据；同时检查例外和交叉引用是否让当前候选失效。
- 优先级裁决与逐层收敛：应用专家决策规则，选择满足当前层全部约束的路径，再进入下一层细化；不是用最相似文本或最高模型置信度直接结束。
- 最终校验和回溯：确认十位编码有效。若证据、规则或先例冲突，回到造成分歧的属性抽取或上级规则，而不是只在最后输出处改答案。
这套过程解释了“层级推理、语义边界模糊、规则高度耦合”三项挑战。层级深使错误级联；自然语言限定依赖具体商品上下文；例外与交叉引用令局部正确的判断仍可能被远处规则推翻。对于评测系统，只有结果分数而没有每层检索、证据、选择和回溯记录，通常无法定位它究竟是感知失败、检索失败、规则误读还是优先级裁决失败。
数据与评测设计
文章称基准使用真实大规模电商平台商品，刻意保留冗长标题、错填属性和误导关键词，并做语义去重以维持长尾覆盖。标注由 26 位平均从业五年以上的关务专家完成：两位专家独立收集信息、抽取特征、检索 CROSS、应用规则和校验编码；编码一致才接受，不一致交由资深专家仲裁，并有独立专家抽样复标。文章报告 632 条样本横跨 32 大类，专家分歧率约 2%。
评估采用 Exact Match Accuracy，同时报告 2/4/6/8/10 位准确率。较短前缀可显示系统是否早期就偏离规则树，十位准确率则要求完整路径全对。相比只给一个平均分，这种分层报告能帮助判断改进是让系统找到更正确的上层大类，还是让其真正解决最后的细粒度规则。文章还用 bootstrap 置信区间讨论样本规模的统计稳定性，提醒基准结果不仅要比较均值，也要关注不确定性。
文章报告的实验洞见
按文章报告，最强 Agent 的十位准确率约为 49.4%，关务专家约为 95%，规则决策树约为 45%。使用 6k 条专家标注数据做 SFT 与 Agentic RL 的 Qwen Agent 约为 65%，仍未达到专家水平。该差距被作者解释为结构性瓶颈：仅增大模型、训练数据或思考次数，未必能替代正确的规则检索和应用。
在同一报告中，Voting@K 从 1 到 16 基本未带来提高，自我反思只有微小增益且会把一部分正确样本改错；提高 reasoning effort 的 GPT-5 实验从 40.82% 下降到 35.44%。这被归因为推理漂移：模型在缺少外部证据约束时会生成并不存在的商品属性或忽略价格、例外等明确规则。与之相对，接入 CROSS 历史裁定库给三个骨干模型带来 5.38 至 9.65 个百分点提升；将裸模型放入可检索并应用规则/知识的 Agent Harness，六个 GPT-5 骨干系统平均从 28.96% 到 37.42%。
这些结果支持一个工程判断：在专业规则任务中，应优先提升证据检索、规则选择、先例比对、规则优先级与回溯的质量，再用测试时扩展探索其增益。更多采样、反思或更长推理只有在能被规则和工具反馈纠偏时才可能有价值。视觉信息的作用也应按模型和任务测量，它通常只是补充，而不是解决分层规则应用的核心机制。
应用 / 使用场景
- 跨境贸易、医疗编码、税务和法律合规等需要逐层执行专业规则且错误成本高的 Agent。
- 需要判断 Agent 是“会给答案”还是“能在证据和规则中走出可审计路径”的评测项目。
- 将历史案例库作为 few-shot 先例，而非仅把通用知识放入向量检索的系统设计。
- 为高风险决策任务设计人类专家标注、交叉复核、分层指标、过程 Trace 和错误回溯的评测闭环。
局限与注意事项
- HS Code 是特定领域；迁移到其他规则体系前，应验证其规则层级、更新频率、可公开的先例和最终标签是否具有相同结构。
- 历史裁定提升准确率不代表无需检查时效、司法/监管辖区、规则版本和先例的适用条件。
- 真实噪声和长尾样本会使标注与复现成本较高，但若只使用干净的人工题目，可能掩盖生产中最重要的失败类型。
- 十位精确匹配很严格，却不能独自覆盖解释质量、时延、成本、权限、隐私和错误动作风险；生产验收仍需补充这些维度。
与其他实体的关系
- Agent评测方法论 —— HSCodeComp 把评测从最终答案扩展到专家标注、分层指标、证据和错误类型诊断。
- Harness-Engineering —— 检索规则、调用先例库、按优先级应用与最终校验构成了任务成功所需的运行框架，而非单一模型提示词。
- Hermes-Agent —— 文章将 Hermes-Agent 列为被评测 Agent 系统之一；本实体不据此推断其框架细节或排名之外的能力。
参考来源
- HSCodeComp 揭开智能体分层规则应用能力鸿沟 —— 基准背景、构造、指标、实验报告与开源线索。