M3-Agent
一句话定义
M3-Agent 是字节跳动 Seed 团队提出的具备长期记忆的多模态智能体框架，能实时处理视觉和听觉输入构建和更新记忆，通过强化学习优化记忆生成与推理，在 ICLR 2026 发表。
摘要
M3-Agent 解决了多模态场景下 Agent 长期记忆的构建与推理问题。与纯文本记忆系统不同，M3-Agent 能同时处理视频（视觉）和音频（听觉）输入，将观察到的信息编码为两种记忆形式：情节记忆（记录具体事件）和语义记忆（提取一般知识）。记忆以图形结构存储，通过增量方式维护一致性。控制过程通过强化学习优化，使 Agent 能在多轮交互中逐步获取信息而非依赖单轮 RAG。在自建的 M3-Bench 基准上，M3-Agent 在所有测试中均超最强基线 6-8%。
详情
核心机制 / 工作原理
双层记忆结构：
- 情节记忆（Episodic Memory）：记录观察到的具体事件。例如”用户在 3 点钟走进了厨房”、“屏幕上显示了一个红色按钮”
- 语义记忆（Semantic Memory）：从具体事件中提取的一般知识。例如”用户通常在下午喝茶”、“红色按钮是紧急停止开关”
图形存储结构：
- 记忆以有向图存储，每个节点代表一个独特的记忆项
- 通过增量添加新节点或更新现有节点，在长期记忆中保持一致性
- 节点之间的边表示记忆项之间的关系（因果、时序、语义等）
控制过程与推理：
- 通过强化学习（RL）优化
- 允许智能体在多轮交互中逐步获取信息，而不是依赖单轮 RAG
- M3-Agent 能自主决定调用哪种搜索功能，以便有效地检索所需的记忆
与传统 RAG 的区别：
- 传统 RAG 是”一次检索、一次回答”
- M3-Agent 是”多轮积累、主动检索、逐步推理”
M3-Bench 评估基准
为评估 M3-Agent 的记忆有效性和基于记忆的推理能力，研究团队开发了 M3-Bench：
| 子集 | 来源 | 数量 | 特点 |
|---|---|---|---|
| M3-Bench-robot | 机器人视角 | 100 个视频 | 真实世界视频 |
| M3-Bench-web | 网络视频 | 929 个视频 | 多样化场景 |
每个视频注释了问题-答案对，测试能力：理解人类、提取一般知识、跨模态推理。
实验结果
经过强化学习训练的 M3-Agent 在所有基准测试中均优于最强基线：
| 基准 | 提升幅度 |
|---|---|
| M3-Bench-robot | +6.7% |
| M3-Bench-web | +7.7% |
| VideoMME-long | +5.3% |
与传统 RAG 的详细对比
| 维度 | 传统 RAG | M3-Agent |
|---|---|---|
| 输入模态 | 纯文本 | 视觉 + 听觉 + 文本 |
| 记忆形式 | 扁平文档块 | 情节记忆 + 语义记忆图 |
| 检索方式 | 单轮相似度匹配 | 多轮主动检索 |
| 学习机制 | 无 | 强化学习优化 |
| 信息积累 | 被动存储 | 主动抽象和归纳 |
这种设计使 M3-Agent 特别适合需要长期观察和理解的场景，比如机器人助手需要通过持续观察用户行为来理解其习惯和偏好。
M3-Bench 评估维度
测试的三项关键能力：
- 理解人类：从视频中识别人物行为、意图和情感
- 提取一般知识：从具体观察中归纳出通用规律
- 跨模态推理：结合视觉和听觉信息进行推理
应用 / 使用场景
- 机器人助手：通过视觉和听觉理解用户行为并积累长期知识
- 视频理解：从长视频中提取关键信息和模式
- 多模态客服：结合用户语音、表情、行为进行个性化服务
- 安防监控：长期观察场景，识别异常模式
- 教育辅导：观察学生的学习行为和反应，调整教学策略
局限与争议
- 多模态输入的处理成本远高于纯文本
- 情节记忆到语义记忆的抽象质量依赖模型能力
- 图形存储的规模管理在长期运行中面临挑战
- 目前仅在视频场景验证，其他多模态场景（如实时交互）的适用性待验证
- 强化学习训练的成本和稳定性需要进一步评估
与其他实体的关系
- Agent-Memory —— M3-Agent 是 Agent Memory 领域的多模态代表
- Mem0 —— 同为记忆系统，Mem0 侧重文本，M3-Agent 侧重多模态
参考来源
- Agent-Memory评测全景-基准评估与记忆系统 —— M3-Agent 架构与实验结果