MUSE
一句话定义
MUSE（A Multimodal Conversational Recommendation Dataset with Scenario-Grounded User Profiles）是东北大学在 ACL 2025 提出的多模态对话推荐数据集，基于真实场景和 VLM 生成的用户画像，包含 7k 个 case 和 8.3w 个对话。
摘要
MUSE 的创新在于用 VLM（视觉语言模型）生成用户画像，使对话推荐更贴近真实场景。数据集构建采用三阶段流水线：用户画像生成器收集真实场景生成画像，模拟对话生成器利用画像进行角色扮演生成对话，对话优化器通过重写和审查提升多样性和质量。评估涵盖对话自然性、逻辑连贯性、信息丰富性、产品上下文相关性和图像文本一致性五个维度。
详情
数据集构建三阶段
1. 用户画像生成器：
- 收集多样的真实场景
- 生成用户画像，以便更好地匹配用户需求与产品特性
- 使用 VLM 分析视觉信息（如用户穿着、环境等）
2. 模拟对话生成器：
- 利用用户画像进行角色扮演
- 模拟用户与推荐助手之间的对话
- 对话包含多模态信息（文本 + 图像）
3. 对话优化器：
- 通过重写机制提升对话多样性
- 通过审查机制保证对话质量
数据集特点
| 维度 | 数值 |
|---|---|
| Case 数量 | 7,000 |
| 对话数量 | 83,000 |
| 领域 | 服装推荐 |
| 模态 | 文本 + 图像 |
质量评估
将 MUSE 与四个数据集（MMCONV、Redial、Inspired、PEARL）比较，采用 LLM 评估 200 个对话，涵盖五个维度：
- 对话自然性
- 逻辑连贯性
- 信息丰富性
- 产品上下文相关性
- 图像文本一致性
数据集构建流水线详解
三阶段流水线的设计理念是模拟真实推荐场景的完整链路：
阶段一：用户画像生成器
- 输入：真实场景描述
- 处理：用 VLM 分析场景中的视觉信息（如环境、穿着风格），结合文本信息生成多维用户画像
- 输出：包含视觉偏好和文本偏好的结构化用户画像
阶段二：模拟对话生成器
- 输入：用户画像
- 处理：LLM 扮演用户和推荐助手进行多轮对话，包含商品图片的展示和讨论
- 输出：包含图像引用的多轮对话
阶段三：对话优化器
- 输入：原始对话
- 处理：重写提升多样性，审查保证质量
- 输出：高质量的多模态对话数据
与其他推荐数据集的对比
| 数据集 | 模态 | 规模 | 特点 |
|---|---|---|---|
| MUSE | 文本 + 图像 | 7k case / 8.3w 对话 | VLM 生成画像 |
| MMCONV | 文本 + 图像 | — | 多模态对话 |
| Redial | 纯文本 | — | 电影推荐 |
| Inspired | 纯文本 | — | 兴趣推荐 |
应用 / 使用场景
- 对话推荐系统的研究与评测
- 多模态用户画像建模
- Agent 记忆能力评测中的用户偏好记忆
- VLM 在推荐场景中的应用研究
- 评估 Agent 在长期交互中记住用户偏好的能力
局限与争议
- 限于服装领域，泛化性待验证
- 对话由 LLM 生成，可能不完全反映真实交互
- 被引次数较低（5 次），影响力待观察
- 7k case 的规模相对较小，可能不足以训练大规模模型
- VLM 生成的画像与真实用户画像的差距需要进一步研究
- 目前仅覆盖服装领域，其他垂直领域（如美妆、数码、家居）需要扩展
- 对话轮次的深度和多样性需要进一步提升以接近真实交互
与其他实体的关系
- Agent-Memory —— MUSE 是 Agent Memory 评测中 Benchmark 维度的代表
- LOCOMO —— 同为基准数据集，LOCOMO 侧重长程记忆，MUSE 侧重多模态推荐
参考来源
- Agent-Memory评测全景-基准评估与记忆系统 —— MUSE 数据集构建与评估