指标字典

一句话定义

指标字典是把业务指标的标准名称、别名、口径、粒度、维度、时间语义、数据来源和消费约束组织成可检索、可治理、可验证的语义资产,为 Text2SQL、BI 和 AI Coding 提供统一事实来源。

摘要

指标字典解决的不是“给字段换一个好听的名字”,而是把原本存在于分析师经验、报表 SQL 和口头约定中的隐性知识变成机器可读的定义。它需要说明一个指标是什么、不是什么、按什么时间和粒度计算、落在哪些物理表或多技术来源、允许哪些维度拆解,以及遇到歧义时应如何追问。只有这些边界唯一且有来源,模型生成的查询才可能在业务意义上正确。

指标字典也是数据治理和 AI 消费之间的连接层。业务侧从高频报表和看板逆向整理指标,数仓侧用精品宽表收敛粒度与关联,产品侧通过表单、校验和 YAML 批量生成把上架流程标准化。Text2SQL 消费字典中的事实和消费元数据,AI Coding 则把字典、OneData 资产、开发原则和反模式作为上下文;调用热度和失败归因又反过来决定下一批治理优先级。

详情

起源与背景

传统指标往往有定义却没有统一的语义对象:同一个“交易额”可能在不同报表里含退款或不含退款,按支付时间或下单时间,按日或按用户生命周期统计。分析师可以依靠经验补齐这些条件,自动化系统却会把歧义当作自由选择。指标平台因此需要从存量报表、看板、SQL 和分析工具中逆向识别已在使用的指标,同时为尚未规范化但高频复用的长尾指标建立登记和转正机制。

核心结构与生命周期

一个可被 AI 消费的指标条目至少应包含:

  1. 身份:标准名称、别名、业务域、归属人和唯一标识,避免同名不同义。
  2. 语义:自然语言定义、计算公式、包含与排除边界、指标层级以及可用维度。
  3. 时间与粒度:默认时间字段、统计周期、数据延迟、粒度和可用的聚合方式。
  4. 物理实现:来源表、字段、血缘、离线或实时技术来源、版本与更新状态。
  5. 消费约束:查询时是否需要函数、枚举取值、权限、成本限制以及必须二次确认的歧义。
  6. 质量证据:业务认证、分布验证、NULL 检查、主键唯一性、最近测评和变更记录。

生命周期可以从登记、补全、业务认证、上架、消费观察到变更或下线。提报阶段通过语义相似度检测和口径冲突预警拦截重复资产;上线前用分布、空值和唯一性门禁确认物理实现;上线后依据调用热度、失败查询和变更及时率安排补充或重审。长尾指标可以先登记,不必在冷启动阶段把所有离散口径一次性推入开发。

Text2SQL 与 AI Coding

在 Text2SQL 中,指标字典是事实层:自然语言理解负责识别用户意图,字典负责回答“活跃用户去哪张表、使用哪个字段、按什么口径计算”。条件拼接、时间解析、字段取值方式和边界歧义等元数据应在 SQL 生成前被结构化提供;二义性检测则在指标上架时拦截,而不是把错误留到查询执行后。

文章记录系统测评准确率由 85%+ 提升到 95%+,并将提升与条件拼接修复、时间规则固化、语义标注密度提高和冲突检测上线联系起来。这说明 NL2SQL 的可用上限不仅由模型决定,也由指标、维度和物理资产是否真实、唯一、可追踪决定。指标被高频消费后的失败查询和人工修正,还应回写语义层,形成查询验证与资产治理的反馈闭环。

在 AI Coding 中,指标字典与 OneData、开发原则、反模式和历史模型共同构成可检索上下文。模型生成新标签表或宽表时,可以复用已有指标定义、字段口径和表间关系,减少重新猜测粒度、命名和依赖的成本。两条消费链路共享同一语义资产,意味着一次定义可以同时改善查询正确性和代码生成的一次通过率。

与知识库和治理闭环

指标字典不是孤立的表单集合。知识库工程 提供版本、来源、渐进检索和人工补充机制;NL2SQL 将语义对象编译为受治理的查询计划;Harness-Engineering 把检索、代码生成、执行验证和结果回写编排成可追溯流程。消费行为又是治理的传感器:高频调用、重复追问和错误归因暴露了哪些指标缺少别名、边界或消费说明,平台据此优先修复最有影响的资产。

应用 / 使用场景

  • Text2SQL、ChatBI 和自然语言报表
  • 数仓标签表、精品宽表和 OneData 建设
  • 指标检索、推荐、冲突预警与资产健康度治理
  • AI Coding 的 SQL/YAML 生成、迁移和字段复用
  • 统一离线、实时和不同计算引擎的对外指标口径

局限与争议

  • 指标定义需要业务专家认证,模型不能凭空替代口径裁决。
  • 字典完整不等于数据正确,仍需真实执行、权限和成本校验。
  • 多技术来源和历史版本增加维护成本,必须保留血缘与生效时间。
  • 只追求上架数量会制造低价值噪声,调用热度和业务价值应参与优先级。
  • 语义相似度检测可能误报,冲突最终仍需要明确的人工责任人裁决。

与其他实体的关系

  • NL2SQL —— 使用指标字典完成指标—维度语义映射,再生成和验证 SQL。
  • 知识库工程 —— 提供指标来源、版本、检索、回写和新鲜度维护机制。
  • RAG —— RAG 可以召回相关定义和示例,但不能替代唯一口径与执行校验。
  • Harness-Engineering —— 将语义检索、生成、门禁和消费反馈组成稳定交付链。

参考来源