跳到正文

技术方向

数据与训练 最新动态

大模型是怎么练出来的:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

3 条精选近 30 天 2 条共收录 19 条

更新

数据与训练的精选

10月31日周六第 1–3 条
  1. The Verge · AI79

    OpenAI、Google、Microsoft 与 Anthropic 联合支持新标准,允许网站统一拒绝 AI 抓取

    OpenAI、Google、Microsoft 和 Anthropic 宣布将采用新的通用标准,允许网站发布商通过统一设置拒绝内容被用于 AI 抓取和训练,无需再向各厂商单独配置。

    推荐理由:各大模型厂商统一抓取排除标准,有助于网站管理者一次性配置多家 AI 爬虫的训练与调用权限。

10月28日周三
  1. Google Research60

    Google 提出大语言模型持续学习的 Sleep 睡眠框架

    Google Research 提出面向大语言模型持续学习的 Sleep 睡眠框架,通过清醒交互与离线记忆巩固的周期性交替,将短期上下文知识固化到长期参数中以克服灾难性遗忘。

    推荐理由:该研究借鉴人脑睡眠机制交替进行清醒交互与离线巩固,为解决大模型灾难性遗忘与长期记忆保留提供了新路径。

10月8日周四
  1. Microsoft Research63

    Microsoft Research 开源 Agent Lightning v1.0,以约 3,500 行代码实现智能体强化学习框架

    Microsoft Research Asia 开源重构后的 Agent Lightning v1.0,让部署时使用的智能体执行框架直接参与强化学习,无需在训练框架内重新实现。

    推荐理由:通过让部署时的智能体执行框架直接参与强化学习,这套方案提供了减少训练重实现成本、保持训练与部署行为一致的方法。