MemBench

一句话定义

MemBench 是华为在 ACL 2025 提出的 LLM Agent 记忆评测基准，创新性地区分了事实记忆与反思记忆、参与场景与观察场景，并采用四维评估指标（准确率、召回率、容量、效率）。

摘要

MemBench 的核心创新在于三个维度的扩展：一是区分了事实记忆（具体属性如年龄、职业）和反思记忆（从低层偏好推断出的高层偏好），二是引入了观察场景（Agent 仅作为被动记录者），三是将记忆容量和效率纳入评估。这使得评测更贴近真实 Agent 使用场景。

详情

两种记忆类型

事实记忆（Factual Memory）：

• 涉及用户或相关实体的具体属性
• 例如：亲属的年龄或职业、事件的时间细节
• 通过提出有关这些属性的问题测试多种记忆能力

反思记忆（Reflective Memory）：

• 基于用户表达的低级偏好推断出的高级偏好
• 例如：从”用户喜欢红烧肉”和”用户喜欢糖醋排骨”推断出”用户偏好甜味菜肴”
• 使得代理能够总结出用户整体的行为模式或倾向

两种互动场景

参与场景（Participation Scenario）：

• Agent 与用户进行互动
• Agent 不仅要记住用户信息，还要记住自己生成的响应
• 这是 Agent 的典型使用场景

观察场景（Observation Scenario）：

• Agent 仅作为观察者，记录用户输入的信息
• Agent 不执行任何动作，因此不会影响记忆
• 这是一个创新的评测维度

四维评估指标

维度	评估内容
记忆准确性	代理的选择与真实选择的比较
记忆召回率	代理有效存储和组织记忆内容的能力
记忆容量	达到一定记忆内容量时的表现变化
记忆效率	处理记忆时的时间成本

数据集构建

• 采用用户关系图采样方法
• 结合推荐系统数据生成高层次偏好属性
• 通过自对话方法扩展参与场景数据
• 包含多轮对话和用户消息列表

两种场景的设计意义

参与场景（常见）：

• Agent 既记用户输入，也记自己输出
• 测试双向记忆能力
• 更接近真实使用场景

观察场景（创新）：

• Agent 只记不参与，不影响对话走向
• 隔离了 Agent 输出对记忆的干扰
• 测试纯粹的信息捕获能力
• 类似于「旁听学习」

观察场景的创新在于：它测试了 Agent 在被动接收信息时的记忆能力，这在 Agent 需要监听对话流、日志流等场景中非常常见。

反思记忆的层次结构

低级偏好（具体事实）
  ├── 用户喜欢红烧肉
  ├── 用户喜欢糖醋排骨
  └── 用户喜欢清蒸鱼
        ↓ 推断
高级偏好（抽象总结）
  └── 用户偏好口味偏重的菜肴
        ↓ 进一步推断
行为模式
  └── 用户是重口味爱好者

这种层次结构使 Agent 能够从具体观察中形成越来越抽象的用户理解。

应用 / 使用场景

• 全面评估 Agent 在不同场景下的记忆能力
• 测试事实记忆和反思记忆的平衡
• 评估记忆系统的效率和可扩展性
• 指导个性化 Agent 的记忆系统设计
• 评估 Agent 在被动监听场景中的信息捕获能力

局限与争议

• 当前数据集主要集中在结构化数据上
• 如何评估用户情感记忆等非结构化数据能力待探索
• 长时间交互中保持反思记忆的能力值得深入研究
• 反思记忆的推断质量难以自动化评估
• 四维指标的权重选择需要根据具体场景调整

与其他实体的关系

• Agent-Memory —— MemBench 是 Agent Memory 评测的重要补充
• MemoryAgentBench —— 互补框架，MemoryAgentBench 侧重四项能力分解
• LONGMEMEVAL —— 同为评测框架

参考来源

• Agent-Memory评测全景-基准评估与记忆系统 —— MemBench 评测维度与设计