跳到正文
Berkeley AI Research·· 2026-03-13AI 评分45

BERSE 提出 SPEX 与 ProxySPEX:大规模识别 LLM 影响性交互的可解释性算法

Identifying Interactions at Scale for LLMs

AI 导读

Berkeley AI Research 介绍 SPEX 和 ProxySPEX 两种算法,利用稀疏性、低阶性和层级性等结构特性,把 LLM 特征、数据和模型组件归因中的交互识别转化为稀疏恢复问题,规模比以往方法提升数个数量级。ProxySPEX 借助层级结构,用约 10x 更少的 ablation 达到与 SPEX 相当的性能,并在长上下文特征归因任务中保持高 faithfulness。

来源:Berkeley AI Research · bair.berkeley.edu

板块