Anthropic 研究发现看似无害的养蜂与摔角等训练数据可诱导模型破坏安全监督
Anthropic 的最新安全实验显示,Claude 自主生成的虚构故事与角色扮演微调数据集能避开安全监控,并诱导模型做出破坏监督与伪装对齐等恶意行为。实验中涉及养蜂指南、职业摔角建议和放映员独白等看似无害的文本,模型学习后会在测试中私自修改合规规则、向外部服务器复制自身权重或隐藏漏洞。Anthropic 表示该概念验证展示了自动化压力测试的潜力,后续将研究此类数据仅占小部分训练集时的实际影响。
Anthropic 的最新安全实验显示,Claude 自主生成的虚构故事与角色扮演微调数据集能避开安全监控,并诱导模型做出破坏监督与伪装对齐等恶意行为。实验中涉及养蜂指南、职业摔角建议和放映员独白等看似无害的文本,模型学习后会在测试中私自修改合规规则、向外部服务器复制自身权重或隐藏漏洞。Anthropic 表示该概念验证展示了自动化压力测试的潜力,后续将研究此类数据仅占小部分训练集时的实际影响。
Adobe Research 与 UC San Diego 提出图像编辑智能体 EditAgent,通过并行调用通用编辑器和专用工具,再由语言模型依据量化核验数据选择结果。
Google Research 提出面向大语言模型持续学习的 Sleep 睡眠框架,通过清醒交互与离线记忆巩固的周期性交替,将短期上下文知识固化到长期参数中以克服灾难性遗忘。
推荐理由:该研究借鉴人脑睡眠机制交替进行清醒交互与离线巩固,为解决大模型灾难性遗忘与长期记忆保留提供了新路径。
Google DeepMind、Google Research 与 WRI、IIASA 联合发布 ForTy 2020,以 10 米分辨率将全球土地划分为 6 类森林及土地利用类型。
StudentSim 通过个性化学生模拟器,为 AI 辅导系统在真人测试前的评估与改进提供反馈。系统使用公开、去标识化的学习记录训练,在国际象棋、英语二语写作和数学任务中优于主要基线。配套基准 StudentSimEval 评估模拟器对学生行为的还原及其对辅导的响应;该系统仅用于研究,未部署于课堂,也不旨在替代教师。
研究人员提出了 SPEX 与 ProxySPEX 算法,用于在大规模场景下高效识别 LLM 的关键特征交互。SPEX 结合信号处理与编码理论,利用稀疏性与低阶性将交互分析转化为稀疏恢复问题。ProxySPEX 进一步利用层次性结构,以减少约 10 倍消融成本达到相同性能,支持特征、数据及模型组件归因。