Berkeley AI Research·· 2026-03-13AI 评分45
BERSE 提出 SPEX 与 ProxySPEX:大规模识别 LLM 影响性交互的可解释性算法
Identifying Interactions at Scale for LLMs
AI 导读
Berkeley AI Research 介绍 SPEX 和 ProxySPEX 两种算法,利用稀疏性、低阶性和层级性等结构特性,把 LLM 特征、数据和模型组件归因中的交互识别转化为稀疏恢复问题,规模比以往方法提升数个数量级。ProxySPEX 借助层级结构,用约 10x 更少的 ablation 达到与 SPEX 相当的性能,并在长上下文特征归因任务中保持高 faithfulness。
来源:Berkeley AI Research · bair.berkeley.edu