NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast 推理模式
GPT-6 Astra Ultrafast 已在 OpenAI API 及符合条件的 ChatGPT Work 与 Codex 用户中开放,相比 Astra Standard 模式 token 生成速度最高提升 8 倍。
推荐理由:原文展示了 OpenAI 借助自有模型针对 NVIDIA Blackwell 优化推理栈的做法,可作为大模型推理加速与硬件协同优化的参考案例。
GPT-6 Astra Ultrafast 已在 OpenAI API 及符合条件的 ChatGPT Work 与 Codex 用户中开放,相比 Astra Standard 模式 token 生成速度最高提升 8 倍。
推荐理由:原文展示了 OpenAI 借助自有模型针对 NVIDIA Blackwell 优化推理栈的做法,可作为大模型推理加速与硬件协同优化的参考案例。
社交俱乐部 The Den 借助 ChatGPT Work 每周节省 10-15 小时,用于开设新店等业务增长。资金资助申请从原本需 3 天缩短至 2 小时,酒类许可证材料准备时间也从 4 天压缩到 3 小时。
Amazon Quick 推出 Live Data in Apps 功能,让 AI 构建的应用在用户每次打开时实时查询受治理的 Quick Sight 数据集,取代构建时的静态快照。该功能支持 SPICE 与 Direct Query 两种数据集模式,沿用既有行级与列级安全规则,查询以查看者身份执行;查看者首次使用需逐数据集授权,最低需 Reader Pro 权限,不支持匿名访问。
Albertsons Cos. 采用 ChatGPT Enterprise 与 OpenAI API,帮助团队提升效率并为数百万顾客简化购物体验。作为 OpenAI 的客户案例之一,该公司正借助这些工具由内而外重塑零售业务。
NVIDIA AI 工厂通过高效、耐用、可复用三大特性最大化投资回报。SemiAnalysis AgentX 数据显示,Vera Rubin NVL72 每兆瓦吞吐量较 GB300 NVL72 提升 30 倍以上。
Google DeepMind 推出 SynthID Bio,将水印技术带到合成生物学,可在 AI 生成的蛋白序列和预测 3D 结构中嵌入可检测签名,实验室测试显示不损害蛋白质的生物学功能。
推荐理由:文中给出水印嵌入蛋白序列与 3D 结构的具体做法和湿实验对照数据,可了解 AI 生物设计的溯源机制。
CoreWeave 宣布在 CoreWeave Cloud 上线 NVIDIA Vera Rubin NVL72,并搭配 Spectrum-X 102.4T 以太网,成为首批交付该平台的云厂商之一。
Amazon Bedrock 在首尔和新加坡上线 Anthropic Claude 模型的境内推理。首尔支持 Claude Opus 5 和 Claude Sonnet 5,新加坡支持 Claude Sonnet 5,请求与数据全程不离开所调用区域。
Hugging Face 上线 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单次评测耗时从收集投票的数周缩短到数小时。
推荐理由:开源 TTS 模型已超 8K,人工投票榜单难以跟上发布节奏,这份榜单用客观指标评估可理解度、速度与音色相似度。
OpenAI 推出 Dots,这是一类能在复杂项目和日常任务中持续工作的主动助手。Dots 可在工作推进时帮助用户保持控制。
OpenAI 正在征集使用 Codex 的开发者、研究者与创作者的真实故事和项目,希望参与 Codex Originals 计划下一阶段的用户可提交自己的经历与项目介绍。该计划面向用 Codex 做出实际成果的实践者。
Hugging Face Hub 推出 RL Environments 专区,将任务数据集作为统一的承载形式,使 Harbor、Verifiers、OpenEnv、NeMo Gym 四个框架可通过同一份数据集互相识别和加载。
推荐理由:把分散在不同框架注册表里的 RL 环境统一托管在 Hub 上,用标签表达框架兼容性,避免为同一份任务重复移植。
GitHub Security Lab 开源 Fuzzing Taskflow,这是一条面向 C/C++ 项目的自主模糊测试流水线,指向一个 GitHub 仓库后即可自动识别入口点、编写 harness、运行 AFL++、读取覆盖率、改进 harness 并分类崩溃,默认使用 Claude Sonnet 5。
Gemini 3.8 Live with Live Avatar 已在 Gemini Enterprise 上线,将近实时视频生成与语音对话结合,让企业智能体以带口型同步和自然表达的动态形象进行实时对话。
推荐理由:原文给出 Live Avatar 在多语言同步和后台工具调用上的具体能力,读者可据此判断企业实时客服场景的落地边界。
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放了 2800 多种病毒蛋白复合物的预测 3D 结构。
Remedy Entertainment 的《CONTROL Resonant》本周在 GeForce NOW 上线,Ultimate 会员可享 GeForce RTX 5080 级云端性能,支持 DLSS 4、光线追踪、NVIDIA Reflex 和最高 5K HDR,无需 100GB 本地安装。
Google 公布将为 Private AI Compute 平台加入私密的服务器端持久记忆层,让 AI 助手能跨设备保留上下文,同时维持端侧级隐私保护。记忆数据加密存放在云端隔离环境中,解锁密钥仅保留在用户设备上,模型访问时经端到端加密通道临时解密。Google 同时发布服务器软件的防篡改公开记录、更新技术白皮书,并公布一家领先网络安全公司完成的独立审计结果。
invideo 借助 GPT-6 Astra 将色彩校正与调色效率提升 3 倍,并能在一天内产出 50 个自定义效果。该模型还让 invideo 的剪辑规划更加精准。
Harvey 借助 GPT-6 Astra 生成更结构化、更具上下文感知的法律文档,把法律上下文转化为更优质的草稿。这使律师得以将精力集中在策略上。
ChatGPT Ads 将广告业务扩展至东南亚和台湾,符合条件的商家可借此触达 60 多个国家和地区的用户,获得新的投放渠道。
OpenAI 为 GPT-6 改进了提示词缓存,带来更高的缓存命中率、新的诊断能力和显式断点。相关控制项用于降低延迟和成本。
NVIDIA 在加拿大多伦多 ROSCon 大会上发布 Isaac ROS 5.0,为基于 ROS 的机器人开发引入智能体工作流,并新增对 ROS Lyrical 和 Ubuntu 24.04 的支持。
Hugging Face 在 transformers 中加入 GGUF 量化模型支持,用户可从 Hub 选取检查点并通过 from_pretrained 在本地加载生成。
推荐理由:原文给出了 GGUF 在 transformers 中的加载方式和对照 llama.cpp 的测量数据,便于评估本地量化推理的可用性。
NVIDIA 认为,物理 AI 从研究走向规模化部署,安全必须覆盖硬件、软件、AI 与运行环境,而非一次性的部署前检查。ABI Research 预计 2035 年 level 3-5 自动驾驶汽车将达 4900 万辆,Omdia 估算 2026-2035 年间约 6000 万台工业机器人投入使用。
Higgsfield AI 借助 GPT-6 Astra,在一天内上线新的视频功能,让小型企业更容易制作视频广告。这些功能把视频广告创作流程变得更简单,并让新的创意工具更快推向市场。GPT-6 Astra 的加入也帮助 Higgsfield AI 更快交付新工具。
OpenAI Academy 新增学习路径,覆盖员工、开发者、管理者、教育工作者与学生五类人群,帮助他们构建并展示实用的 AI 技能。
Hugging Face 发布 tokenizers v1 发布候选版,相比 v0.23 在十种模型族上单线程编码速度提升 3 到 30 倍,跨 8 线程保持 76% 的线性扩展。
推荐理由:原文给出了 v0.23 到 v1 的实测对比与具体优化手段,可供负责训练或推理链路的工程师评估是否升级到候选版。
Google Research 让教师用生成式 UI(GenUI)动态生成贴合课程目标的互动教学模拟。同时发布 30 多个英文 STEM 学习互动示例,覆盖物理、化学、生物、数学,面向初高中,均由 AI 生成并经教师审核。使用 Google Workspace for Education 的学校可通过 Google for Education Pilot Program 报名提供反馈。
免费抓宠 RPG《Aniimo》首发登陆 GeForce NOW,本周共 11 款新游加入云游戏库。《007 First Light》新增 path tracing,并引入 NVIDIA DLSS 4.5 Ray Reconstruction。Aniimo 无需 45GB 下载,并新增 Firefox 浏览器支持。
Cooley 用 ChatGPT Work 构建了 GO Public,把智能引入 IPO 流程,帮助律师更早发现问题,并将判断力集中在最关键处。GO Public 旨在让律师在 IPO 工作中更早暴露问题,把精力留给最重要判断。
OpenAI 推出 Astra for Law,OpenAI for Law 为法律领域带来前沿智能、律所自定义工作流、互联法律数据源,以及保护机密客户工作的法律级管控。
OpenAI 公布新的 AI 广告体验,其中包括 Sponsored Agents、面向营销人员的工具,以及与 HubSpot、Shopify 的集成。
推荐理由:OpenAI 公布 Sponsored Agents 以及面向营销人员的工具和 HubSpot、Shopify 集成,可看到其广告产品的组成。
GPT-6 Astra 帮助 Hex 的数据智能体将分析答案转化为交互式可视化,使员工愿意分享。Hex 借此把复杂分析变成可视化报告。
曼彻斯特大学团队用 NVIDIA Earth-2 的生成式模型 CorrDiff,在 Isambard-AI 上两天训练出覆盖全英、分辨率 2-3 平方公里的空气污染模型。
NVIDIA 公布 DSX MaxLPS 在 Lambda 的首个部署验证:以 16 节点的功率预算运行 19 节点,token 吞吐提升 24% 至约 500 万 tokens/秒,每瓦性能提升 23%。
NVIDIA 在 AI Infra Summit 公布 Vera Rubin 与 DSX 平台进展:Vera Rubin NVL72 在 MLPerf Inference v6.1 中吞吐量达 GB300 NVL72 的 3.7x。
Fyxer 利用 OpenAI 模型、微调、记忆和真实用户反馈,帮助用户整理收件箱,并以每位用户自己的口吻起草邮件,从而打造人们信任的 AI 行政助理。其做法结合模型能力与用户反馈,让助理适配个人的邮件处理与写作风格。
Cognition 将 GPT‑6 Astra 用于 Devin,提升了它测试软件并证明软件可正常工作的能力。官方表示,这一能力的目标是让工程师减少代码审查量、更专注于交付。
OpenAI 在 ChatGPT Work 中推出 Data agent,可连接公司数据、发现洞察,并用自然语言构建交互式仪表盘。该功能面向所有人开放。
推荐理由:ChatGPT Work 上线 Data agent,读者可据此了解用自然语言接入企业数据并生成交互式看板的入口。
OpenAI 推出 ChatGPT for Financial Services,将内置金融数据与 GPT-6 Astra 结合,用于研究、建模和面向客户的资料制作。该产品面向金融服务场景,官方摘要未披露定价与上线范围等更多细节。
推荐理由:原文说明该产品把内置金融数据与 GPT-6 Astra 结合,读者可了解 OpenAI 在金融场景的产品切入方式。