教 LLM 更新信念以实现高效长程交互
研究团队提出 ABBEL 框架,将交互历史形式化为自然语言“信念状态”并引入信念评分(Belief Grading),以解决 LLM 长程交互中上下文压缩导致的性能损耗。在 CollabBench 协作编程评测中,ABBEL-rec-BG 将与全上下文模型的性能差距缩小约 50%,训练步数从 100 步减半至 50 步,且显著降低了峰值上下文 token 消耗。
研究团队提出 ABBEL 框架,将交互历史形式化为自然语言“信念状态”并引入信念评分(Belief Grading),以解决 LLM 长程交互中上下文压缩导致的性能损耗。在 CollabBench 协作编程评测中,ABBEL-rec-BG 将与全上下文模型的性能差距缩小约 50%,训练步数从 100 步减半至 50 步,且显著降低了峰值上下文 token 消耗。
研究人员提出针对世界模型的新型基于梯度的规划器 GRASP,旨在解决长视界规划中的梯度病态与局部极小值等脆弱问题。该方法通过将轨迹提升到虚拟状态实现跨时间并行优化,在状态迭代中直接引入随机性以增强探索,并重塑梯度以避免高维视觉模型产生脆弱的状态输入梯度干扰。