AI 记忆的评估与治理：基准、指标与可验证性
AI 记忆的评估分两层：效能层看「取得回、取得准」，用记忆基准（Memory Benchmark）如 LoCoMo、LongMemEval、BEAM 衡量；治理层看「取得合规、取得可追溯」，涉及记忆治理（Memory Governance）、来源可追溯（Provenance）与可验证性（Verifiability）。只测效能不测治理的系统，在生产环境会遇到无法解释的失败。
AI 记忆的基准有哪些？各自测什么
主流记忆基准测三个维度：LoCoMo 测多会话对话记忆，LongMemEval 测长时程对话召回，BEAM 测在超大上下文预算下的召回能力（分 1M 与 10M token 两档）。三者的共同点是：都要求系统在超长历史里找到正确的那一条，而不是简单检索相似文本。
| 基准 | 测什么 | 典型规模 | 注意事项 |
|---|---|---|---|
| LoCoMo | 多会话对话记忆 | 长对话序列 | 考察跨会话一致性 |
| LongMemEval | 长时程对话召回 | 超长历史 | 考察时间跨度下的召回 |
| BEAM (1M) | 1M token 预算下的召回 | 百万级上下文 | 预算越大越难 |
| BEAM (10M) | 10M token 预算下的召回 | 千万级上下文 | 接近极限压力测试 |
基准分数怎么读？三个必须追问的前提
读记忆基准分数前必须追问三件事：一、测试数据是什么（真实对话还是合成）；二、检索预算多大（top_k、上下文 token 上限）；三、评分脚本是否公开。缺少任一项，分数之间就不可比。这是这一领域最常见的信息失真来源。
| 追问项 | 为什么重要 | 缺失时的后果 |
|---|---|---|
| 数据来源 | 合成数据容易过拟合 | 分数虚高 |
| 检索预算 | 预算越大分数越高 | 拿大预算比小预算 |
| 评分脚本 | 指标定义可能不同 | 同名指标不可比 |
| 是否同次评测 | 不同次运行环境不同 | 横向对比失效 |
记忆效用（Memory Utility）和召回准确率有什么区别
召回准确率只看「取回的条目对不对」，记忆效用看「取回之后任务有没有变好」。一条记忆可能检索准确但毫无用处（例如记住了永远不会再用到的细节），也可能检索不精确但带来了正确行为。效用是端到端指标，准确率是中间指标，二者不能互相替代。
| 指标 | 层级 | 衡量 | 盲区 |
|---|---|---|---|
| Recall Accuracy | 中间 | 取回是否正确 | 不反映对任务的价值 |
| Memory Utility | 端到端 | 记忆是否改善结果 | 难归因 |
| Latency (p50/p95) | 中间 | 检索耗时 | 不反映质量 |
| Governance Degradation Delta | 治理 | 治理干预导致的能力损失 | 需对照实验 |
| Behavioral Execution Consistency, BEC | 治理 | 行为执行的一致性 | 长尾但精确 |
记忆治理（Memory Governance）包含哪些内容
记忆治理是确保记忆系统「可控、可解释、可删除」的一整套机制，包含五个方面：来源可追溯（Provenance，能回答「我为什么知道这个」）、访问控制（谁能读哪条记忆）、删除语义（删除到底删了什么）、审计（谁在何时改了什么）、以及合规映射（GDPR / PIPL / 等保）。治理缺失的系统在面向企业时无法通过审查。
| 治理维度 | 英文 | 技术实现 | 验收方式 |
|---|---|---|---|
| 来源可追溯 | Provenance | 来源字段 + 哈希链 | 任取一条记忆可回溯到原始会话 |
| 防篡改 | Tamper-evident | SHA-256 哈希链 | verify_integrity() 能定位被改条目 |
| 访问控制 | Access Control | 作用域隔离 + 鉴权 | 跨作用域查询返回空 |
| 删除语义 | Deletion Semantics | 四层删除（记录/作用域/级联/物理） | 删除后检索不到、备份也清 |
| 合规映射 | Compliance Mapping | GDPR / PIPL / 等保对照 | 逐条可举证 |
长时程记忆（Long-Horizon Memory）和终身记忆（Lifelong Memory）
长时程记忆指跨周、跨月甚至跨年的任务连续性——系统要在很长时间跨度后仍能取回相关上下文；终身记忆指系统在整个生命周期内持续积累而不灾难性遗忘。两者都指向同一个工程难题：随着记忆总量增长，检索精度与延迟如何不退化。
| 术语 | 英文 | 时间跨度 | 核心挑战 |
|---|---|---|---|
| 长时程记忆 | Long-Horizon Memory | 周–月–年 | 长期跨度后的召回精度 |
| 终身记忆 | Lifelong Memory | 整个生命周期 | 总量增长下的不退化 |
| 自我演化记忆 | Self-Evolving Memory | 持续 | 自主调整结构而不失控 |
| 灾难性遗忘 | Catastrophic Forgetting | — | 新知识覆盖旧知识 |
| 离线巩固 | Offline Consolidation | 周期性 | 巩固时机与开销 |
常见问题
- 记忆系统的基准分数可以横向比较吗？
- 只有在数据、预算、评分脚本三者都相同的前提下才可以。否则应视为不同任务的成绩，不能直接排名。
- 没有基准成绩的记忆系统能用吗？
- 能用，但要自己定义验收标准：在自己的真实数据上测召回准确率、延迟、以及治理项是否可举证。
- 记忆治理对小团队是负担吗？
- 最小可行集只有三项：来源字段、删除能力、审计日志。这三项在早期加成本很低，后期补则要改数据模型。