Berkeley AI Research·· 2026-03-13AI 评分44
面向 LLM 的大规模交互识别
Identifying Interactions at Scale for LLMs
AI 导读
研究人员提出了 SPEX 与 ProxySPEX 算法,用于在大规模场景下高效识别 LLM 的关键特征交互。SPEX 结合信号处理与编码理论,利用稀疏性与低阶性将交互分析转化为稀疏恢复问题。ProxySPEX 进一步利用层次性结构,以减少约 10 倍消融成本达到相同性能,支持特征、数据及模型组件归因。
来源:Berkeley AI Research · bair.berkeley.edu