在 AWS 上构建超低延迟语音 AI 应用:Cartesia 的 SSM 架构方案
Cartesia 借助状态空间模型(SSM)与 AWS 基础设施,构建了实现首字节延迟低于 100ms 的超低延迟语音 AI 方案。该技术栈包含首字节延迟约 90ms、支持 44 种以上语言及 10 秒音频克隆的 TTS 模型 Sonic,以及支持原生轮换检测的 STT 模型 Ink。开发者可通过 API 调用或直接在 AWS 上部署该方案。
Cartesia 借助状态空间模型(SSM)与 AWS 基础设施,构建了实现首字节延迟低于 100ms 的超低延迟语音 AI 方案。该技术栈包含首字节延迟约 90ms、支持 44 种以上语言及 10 秒音频克隆的 TTS 模型 Sonic,以及支持原生轮换检测的 STT 模型 Ink。开发者可通过 API 调用或直接在 AWS 上部署该方案。
NVIDIA 加速计算与物理 AI 正在构建“AI 定义的晶圆厂”,大幅缩短半导体制造的复杂仿真周期并加速工程决策。COMSOL 与 Applied Materials 采用 cuDSS 实现最高 10x 仿真加速,PhysicsNeMo 将形貌仿真提速最高 35x,Siemens 集成 cuLitho 带来最高 17x 计算光刻加速。
OpenAI 介绍了其自研的 Git 兼容后端系统 Pando,探讨大规模代码工程架构的构建细节。该系统专为支撑 Codex 驱动的超大规模代码开发需求而设计。
Circle K 基于 Amazon Bedrock 构建了智能体运维排障系统,将平均故障排查时间从 45–60 分钟缩短至 15 分钟以内,降幅达 67–75%。
AWS 展示了基于 Amazon Bedrock AgentCore、Nova Multimodal Embeddings 与 Strands Agents SDK 构建的多智能体工程助手,以加速零部件替代评估。
AWS 介绍了在 Amazon SageMaker AI 上利用序列级知识蒸馏(SeqKD)优化多步智能体性能与运行成本的实践流程。该方案利用 Bedrock 上的前沿模型生成包含推理过程和工具调用的轨迹,并通过拒绝采样筛选出成功任务样本,以无服务器方式完成监督微调。
AWS 发布架构教程,演示如何利用开源 Python 爬虫 Crawl4AI 为 Amazon Bedrock Knowledge Bases 定制网页抓取与 RAG 入库预处理。
AWS 针对生成式 AI 及智能体工作流调用剧增导致的支出风险,提出了包含成本归属、可观测性、预算拦截、平台默认优化与日常运营的 Amazon Bedrock 五步成本治理模型。
Amazon Bedrock AgentCore runtime 演示教程展示如何通过 Session endpoints,在编程智能体构建和修改 Web 应用时实时预览结果。示例在同一会话中运行智能体与 Vite 开发服务器,借助 WebSocket 热更新呈现修改,无需刷新页面。预览请求须经过身份验证,访问仅限允许的端口,链接随会话结束失效。
Worldwide Express 展示了基于 Amazon Bedrock 的多智能体账单异常处理方案,上线六个月后报告未结异常减少 75 percent、回款时间缩短四周。
Breakthrough Listen 与 SETI Institute 将 AI 智能体引入日常地外智能搜寻,可通过自然语言请求操控望远镜、校正数据并应用 AI 模型。系统借助 NVIDIA Holoscan 和 GPU 每秒处理 2.4 terabits 数据,已实现对蟹状星云脉冲星的首次实时 AI 探测。
Epsilon 使用 Amazon Nova Act 和 Amazon Bedrock AgentCore Browser,将意图驱动的 UI 测试构建为多租户托管平台服务。该方案以自然语言测试步骤补充现有 Playwright 回归测试,并提供隔离浏览器会话、逐步截图与通过率统计,减少各产品团队重复管理浏览器基础设施的负担。
Kiro 迁移教程展示如何用共享技能文件、发现扫描器和八阶段工作流,构建可重复执行的 PHP 到 Java 迁移引擎。该流程以原始 PHP 应用为规范,通过一致性测试验证 Java 版本行为。相同技能文件既可由 Kiro 交互式执行,也可交由 AWS Transform 并行迁移多个应用。
AWS Batch 介绍如何通过配额管理,为 SageMaker Training 作业分配团队或项目容量,并跨团队共享闲置 GPU 资源。配额份额支持预留、借出及借出并借入策略,可收回已借出的容量,也可在份额内抢占低优先级作业。示例使用 SageMaker Python SDK v3 配置相关资源。
NVIDIA 为 RTX Spark Windows 笔记本公布模型、智能体工具及游戏支持更新,涵盖 Nemotron 3.5 Transcribe、LFM3 和 NVIDIA App 资源管理功能。
推荐理由:新增的 GPU 资源分配控制,让本地智能体与前台应用的并行运行有了可调节的取舍,用户可按当前任务分配算力。
哈萨克斯坦正扩大 AI 算力部署,Firebird 与政府签署投资协议,Kazakhtelecom 已在阿斯塔纳和阿拉木图部署 NVIDIA H200 与 B300 GPUs。
Microsoft Research 介绍 Flint-interactive,让用户和 AI 智能体以高层规格创建支持点击、筛选、缩放、高亮和跨图表联动的数据可视化。
NVIDIA 今日发布 AIOps 平台 Minerva,整合基础设施与 AI 工作负载遥测数据,为 AI 工厂提供端到端可观测性。平台通过动态知识图谱关联故障,每小时分析数十亿个数据点,检测异常并预测故障。内置 AI 助手支持以自然语言排查集群健康状况并获取修复建议,IREN 已使用该平台。
GitHub 详解机密扫描的两阶段流程,通过正则筛选候选,再由微调的 ModernBERT 结合上下文区分真实凭据与误报。训练覆盖真实凭据、易混淆负样本及合成案例,模型以 ONNX 格式和 8-bit 量化部署;相比此前的 LLM 流程,提交后扫描执行时间中位数降低 86%,推理服务成本降低超过 98%。
Microsoft Research Asia 开源重构后的 Agent Lightning v1.0,让部署时使用的智能体执行框架直接参与强化学习,无需在训练框架内重新实现。
推荐理由:通过让部署时的智能体执行框架直接参与强化学习,这套方案提供了减少训练重实现成本、保持训练与部署行为一致的方法。
研究人员基于 UC Berkeley Sky Lab 的进化内核搜索框架 K-Search 构建了 MLX 后端与结构化翻译层,可自动将成熟的 CUDA kernel 优化经验迁移至 Apple Silicon。
UC Berkeley 研究团队提出随着推理成本大幅下降,数据系统将围绕面向智能体、依托智能体以及由智能体自动构建三大方向展开重塑。面向智能体需要针对高频推测式探索优化批量查询与跨计划复用;依托智能体需要超越纯文本文件以构建多维属性的结构化记忆与并发一致性基底;同时智能体正具备按工作负载直接合成专用数据引擎的能力,重点在于规避奖励黑客并提供形式化验证。
推荐理由:原文系统梳理了智能体负载对传统数据库架构的冲击,为开发者重新设计数据存储、状态管理与合成引擎提供了清晰的方向参考。
Berkeley AI Research(BAIR)撰文系统综述了自适应并行推理(APR)的研究进展,分析大语言模型如何自主决定子任务拆解与多线程并发以解决串行推理的高延迟和上下文退化问题。
推荐理由:文章系统拆解了自适应并行推理在系统架构与强化学习奖励设计上的路线差异,为长链条推理降延迟提供了系统级视角。