Meta 20 日揭露美國俄亥俄州新奧爾巴尼的閒置a揭 Prometheus 超級叢集運作細節,顯示這座 AI 基礎設施為了維持大型模型訓練不中斷,達都備斷投入相當可觀的叢集備援成本。目前 Prometheus 超過 11% 的設計美区美服美版Apple ID账号密码共享免费2026最新有效推荐[真实可... GPU 不是已損壞,就是全為留著當作可隨時接手的閒置備援。
Prometheus 採 Nvidia GB200 / GB300 系統,訓練每個 NVLink 域共有 72 顆 GPU,不中但實際訓練時只會動用 64 顆,閒置a揭其餘 8 顆為熱備援。達都備斷Meta 解釋,叢集這樣做是設計海外id与俄区区别因為單一 GPU 故障可能拖垮整個機櫃,若能由備援立刻補位,全為就能避免整個機櫃被迫退出集群,訓練縮短訓練中斷時間。不中

除了機內備援,閒置a揭Meta 更高層級也有部署容錯機制。當故障能限制在資料並行的單一模型副本內,系統會讓受影響的副本下線,其餘部分繼續訓練;若故障範圍更大,會靠分散式檢查點機制,將模型狀態異步保存到多層儲存,避免從頭重跑。Meta 將這套設計比喻為自動儲存與版本回溯,目的是把原本可能導致整體停擺的事件,降為短暫的吞吐量下降。
Meta 坦言,Prometheus 擴張時曾面臨嚴峻的訊號與網路挑戰。由於系統內有超過 60 萬條 NVLink 連線,任何輕微訊號劣化都可能觸發恢復流程,因此導入持續遙測與 L11 診斷測試,部署前先找出弱鏈路。電力管理同樣是難題,Meta 以軟體 Dynamo Dimmer 逐步調整 GPU 功耗,避免訓練因電力尖峰被迫中止。
Meta 表示,經過一年工程調整後,Prometheus 訓練中斷次數較 2025 年中期下降 99%,從每 8 千顆 GPU 每日近千次降至約 11 次。目標是中斷率壓低到每 8 千顆 GPU 每日約兩次,約等於 10 萬 GPU 小時才中斷一次。
- Tens of thousands of Nvidia GPUs sit idle in Meta’s Prometheus supercluster, just waiting for a failure
- Covering the Fastest Computers in the World and the People Who Run Them
- Meta details Prometheus, the Ohio supercluster heading for 1 million GPUs
- Meta Details Prometheus Architecture Aims for 1 Million GPUs
- More than 11% of GPUs in Meta’s Prometheus cluster are dead or held in reserve
- Meta’s Prometheus Supercluster Cuts Training Interruptions by 99% Toward a Million GPUs
- Meta Reveals How Prometheus Will Scale to 1 Million GPUs
- Meta details Prometheus cluster scaling to roughly 1 million GPUs
- Meta Prometheus: Inside the Gigawatt Supercluster Scaling to 1 Million GPUs on GB200 and GB300 NVL72
(圖片來源:Meta)
閒置 GPU 達 11% 都是備援,Meta 揭 Prometheus 叢集設計全為 AI 訓練不中斷_美区美服美版Apple ID账号密码共享免费2026最新有效推荐[真实可...
人参与 | 时间:2026-11-22 14:57:39
相关文章
- AI屠杀短剧:一场没有讣告的寒冬
- 女子与丈夫吵架酒后坐到30楼窗
- 需求拖累,煤焦震荡寻底
- 告别“一扣了之”:寻解涉案财物“有去无回” 过去是“先扣下来再说”,现在则是“先把账理清楚,再决定能不能动这笔财产”。 现行法律并没有对“涉案财物”作出特别清晰的界定。最容易达成共识的是毒品、枪支等违禁品,以及直接来源于犯罪的违法所得。但一旦赃款流入正常经济活动,问题就变得棘手起来。 法治 07-04 7评论
- 机械革命大师之路X10正式发布 搭载NVIDIA RTX Spark让AI触手可及
- 厦门江头:居民家门口尽享“三下乡”惠民盛宴
- 蹲坑卫生间装修效果图片
- 1月23日起黄牌货车禁走厦门海沧大桥
- 看球赛、品美食!体育+文旅解锁观赛新体验
- 全面履约、监管升级、重时间任务——2027年电煤保供中长期合同政策核心变化分析






评论专区