Jensen Huang:Nvidia 的未來、實體 AI、Agent 崛起與推理爆炸
一、收購 Groq 與推理爆炸
分散式推理(Disaggregated Inference)
Nvidia 正從「賣 GPU 的公司」轉型為「打造 AI 工廠的公司」,重點在於從資料、模型到推理製造線的端到端最佳化。作為這個工廠的作業系統,Dynamo 承載了調度、資源管理與工作流編排,使得模型推理能像製造業產線一樣被拆分、並行與擴展。分散式推理的核心,是將推理管線依照算子與階段分解,動態映射到異質計算單元(GPU、LPU 等),藉此同時最大化吞吐與資源利用率。
Groq 的 LPU(Language Processing Unit)在序列化工作負載上擁有極高的確定性延遲與穩定吞吐,與 GPU 的通用並行計算優勢形成互補。Jensen 建議資料中心在規劃時,將約 25% 的空間配置為 Groq LPU 與 GPU 的組合,以建構面向推理爆炸的「異質推理工廠」。在系統產品節奏上,Vera Rubin 正從單機架擴展到五機架級別,對應的可服務總市場(TAM)預期提升約 33–50%,反映了推理工廠從原型到規模化生產線的擴張。
推理規模的指數級增長
生成式 AI 讓世界看見了大模型的創造力,但真正的轉折點在於推理與 Agent。從生成式到推理,算力需求增加約 100 倍;從推理到具備長期規劃與工具使用能力的 Agent 系統,再增加 100 倍。兩年視角下總體需求拉升至 10,000 倍,並進一步指向百萬倍級別(million-x)的推理爆炸。這不僅是模型變大,而是工作負載從單次對話擴展為長時程、多工具、多任務、跨系統協作的持續計算。
推理工廠的經濟效益
評估推理工廠時,關鍵不在於建廠是花 250–300 億美元還是 500 億美元,而在於「token 生產效率」與「技術迭代跟上速度」。在等體量投資下,若工廠的吞吐(tokens/sec/W/$)高出一個數量級,即可在同等時間內交付 10 倍成果,形成壓倒性邊際效益。即使晶片免費,若架構與軟體棧無法跟上技術曲線,也不會「夠便宜」。Nvidia 強調以系統觀設計推理工廠,以吞吐、能效、可維運性與升級節奏做總擴產曲線的主導指標。
二、三種核心運算系統
1. 訓練系統(Training Computer)
訓練系統面向大規模模型的資料並行、張量並行與流水線並行,強調高帶寬互連、分佈式檔案系統與混合精度訓練。其目標是在可控成本與時間界限內,迭代更高能力與更穩定行為的模型。
2. 評估系統(Evaluation Computer - Omniverse)
評估系統以 Omniverse 為中心,建立遵循物理定律的虛擬世界,使得機器人與自動駕駛系統能在高保真環境中進行閉環迭代。這一平台將感知、決策與控制放入數位孿生場景,在上線前完成逼真的大規模仿真測試,縮短安全驗證周期並降低實測風險。
3. 邊緣系統(Edge Computer)
邊緣系統將 AI 能力下沉到現場,涵蓋機器人、自動駕駛、工廠與倉庫、電信基地台 AI,以及微型裝置如智慧玩具。特別是在 2 兆美元規模的電信產業,基於 AI 的基地台與網路優化將重構成本曲線與服務彈性,並與企業現地工作流深度結合。
三、實體 AI(Physical AI)的 50 兆美元市場
市場規模與現狀
實體 AI 是科技業首次能夠全面進入全球超過 50 兆美元的工業體系,包括製造、物流、能源、農業等過去長期「缺乏軟體介入」的領域。Nvidia 在該領域的收入已達數十億美元級別,接近年化 100 億美元,並處於指數增長段。
十年旅程的成果
這是一段已經耕耘十年的長期旅程,如今迎來拐點:感知、規劃、控制與仿真的技術積累正與產線數位化需求匯流。從農業機械到柔性製造線,從倉儲搬運到品質檢測,實體 AI 正把物理世界的效率曲線轉向軟體可控。
四、Agent 革命與新運算模式
AI 發展的三個拐點
生成式 AI:ChatGPT 將大模型帶入大眾視野,打開內容創作與語言介面的大門。
推理(Reasoning):如 O1、O3 對內部 token 的規劃與使用,帶來結構化思考與分步求解能力。
Agent 系統:如 Claude Code 與 OpenClaw 展示工具使用、長期任務與協作能力,構成新運算模式。
OpenClaw 的重要性
OpenClaw 將 Agent 的運作抽象為可組合的系統,讓大眾看到個人 AI 電腦的雛形。其設計包含四大基元:
記憶系統:結合短期記憶與檔案系統,維持上下文與工作狀態。
資源管理:任務調度與排程(cron),確保多任務協同與時間約束。
I/O 子系統:穩健的輸入輸出,連接通訊與外部服務(如 WhatsApp)。
API 與技能:以工具使用為中心,調用各式應用形成複合能力。
Agent 時代的工作方式
未來工程師將常態性擁有 100 個以上的 Agent 協作夥伴。「太難」「太久」「需要很多人」的心理模型將消退,工作的重心轉向創意構思、架構設計、規格定義與團隊組織。正如工業革命消解了「太重、太大」的物理限制,Agent 革命正消解知識工作的規模限制。
五、Token 消費與全明星員工
Token 使用的思維轉變
對高價值人才,應配置高價值的運算資源。Jensen 主張,年薪 50 萬美元的工程師,合理的年度 token 消費至少應達 25 萬美元;若只花 5,000 美元,等同於拒用 CAD 的晶片設計師,嚴重低配其生產力。Token 消費將成為新的人效度量標準:能否善用 AI 堆疊提升產出密度。
企業 Token 支出規模
在 Nvidia 的 4.3 萬名員工中,約 3.8 萬為工程師。公司正系統性擴大內部 token 使用,將 AI 視為知識工作者的「超能力乘數」,以投入換取更高的單位時間價值創造。
六、AI 的公關危機與政策挑戰
Doomerism(末日論)的危害
在美國,AI 的受歡迎度僅約 17%。若被恐懼敘事主導,可能重演核能在美國停滯而中國新建百座的路徑。對資料中心建設祭出暫停或過度審慎,將削弱長期競爭力與能源—計算基礎設施協調。
對政策制定者的建議
澄清 AI 的本質:AI 是電腦軟體,不是生命體或具意識存在。
反對極端論調:避免被末日敘事綁架決策。
避免政策超前:監管應與技術成熟度匹配,留出創新空間。
國安視角:最大風險是他國全面採用 AI 而本國因恐懼裹足不前。
對 Anthropic 的建議
肯定其技術與安全文化,同時提醒對外溝通需更謹慎平衡。避免在缺乏證據時做出災難式預測,科技領袖的敘事影響政策與公眾信心,需保持謙遜與審慎。
七、開源 vs 專有模型
雙軌並行的必要性
模型即服務(專有)與開源模型是「A 和 B」的關係。模型是技術基元,本身不是最終產品或服務,應按任務路由與治理要求靈活組裝。
市場分層
通用智能層(專有服務):如 ChatGPT、Claude、Gemini、X,具差異化風格與行為,適配不同任務與情境。
垂直專業化層(開源模型):面向行業知識的可控與可驗證,力求貼近甚至抵達前沿能力。
創業公司策略
以開源起步,結合路由器串聯專有服務,實現「第一天即用最佳模型」。隨後在成本、延遲、隱私與定制上持續優化與微調,形成專業護城河。
八、企業軟體的未來
從「座位數」到「Agent 數」
傳統企業 IT 的商業模式受限於人類座位數;未來將由 Agent 數量與吞吐決定價值規模。Agent 將熟練操作 SQL、向量資料庫、Blender、Photoshop 等工具,成為企業工作流的主要執行者。
企業工具的持續價值
工具是人類意圖與機器行動的介面。即便 Agent 主導產出,最終成果仍需回寫至 Synopsys、Cadence 等工程工具進行驗證與簽核。企業軟體不會被摧毀,而會因 Agent 的百倍放大效應而擴張百倍。
九、自動研究(Auto Research)的突破
David Friedberg 的案例
以 auto research 配合基因組數據,在桌面電腦上於 30 分鐘內完成相當於 7 年博士研究的工作量,達到可投稿《Science》級別的品質。這展示了研究流程在檢索、設計、分析與撰寫上的端到端自動化潛力。
技術成熟度的時機
OpenClaw 的出現與大型語言模型的工具使用能力(tool-use)成熟相互強化。僅以百餘行—數百行的原型代碼,即可在週末釋出具體能力,預示著仍有巨大的系統化優化與工程化空間。
十、全球競爭與美國 AI 政策
中國市場的挑戰
Nvidia 在中國曾擁有壓倒性份額,如今因政策環境放棄約 95% 市場並降至 0%。在重塑合規框架後,已獲得許可並著手重啟供應鏈,以期在國安與市場之間取得平衡。
國家安全的真正威脅
若在微型馬達、稀土、電信網路、永續能源等戰略要素失去掌控,國安即受損。AI 產業不應重演太陽能、稀土、馬達、電信等產業外移的結果,應確保美國技術堆疊被全球廣泛採用。
理想的未來
從晶片、運算系統到平台的美國技術堆疊,能被全球 90% 採用;各國可基於其打造公有或私有 AI。缺乏可行替代方案將構成國安風險,故需以開放、可採信且可落地的供應路徑維繫優勢。
十一、製造業策略與供應鏈
三管齊下的策略
重新工業化美國:加速建設晶片廠、電腦廠與 AI 工廠。
供應鏈多元化:深度佈局南韓、日本、歐洲等地區。
展現克制:在強化多樣性與韌性的同時避免不必要的地緣壓力。
台灣的戰略重要性
台灣作為關鍵製造與工藝的戰略夥伴,正協助以驚人速度在亞利桑那、德州、加州推進建廠。這份合作值得長期支持、友誼與耐心,為整個自由世界的計算與製造能力築底。
十二、與客戶競爭
面對 Google TPU、Amazon Inferentia/Trainium
Nvidia 是少數同時與所有頂尖 AI 公司合作、又與其自研晶片競爭的企業。客戶通常不公開其內部建設,而 Nvidia 選擇公開自身路線圖,信心來自於願意在最佳技術上正面競爭。
Nvidia 的獨特優勢
唯一可在所有雲端廣泛運行的架構。
能從雲端無縫遷移到本地、車端、各地區乃至太空場景。
約 40% 業務為完整堆疊方案:客戶需要的是 AI 基礎設施,而非單片晶片。
市場份額持續提升:AWS 宣布未來數年採購 100 萬顆晶片;Anthropic、Meta 等加大轉向;開源模型的增長主要在 Nvidia 平台上落地;雲外區域、企業、工業與邊緣需求同步擴張。
十三、分析師預測 vs 實際規模
分析師的保守預測
部分預測給出未來一年 30%、次年 20%、2029 年 7% 的增速路徑。若簡單外推,將導致對 Nvidia 市占的錯誤解讀與系統性低估。
現實的規模
AI 的需求遠超少數超大規模雲的範疇,也不僅是 OpenAI 與 Anthropic 的總和。以傳統 CPU 資料中心年規模約 250 億美元衡量,已無法覆蓋 AI 基礎設施的全貌。Nvidia 正以「解決 AI 基礎設施問題」重定義自身邊界,而非僅僅「製造晶片」。
十四、其他重要議題
中東局勢
Nvidia 在中東有約 6,000 個家庭。公司明確支持以色列與中東員工,並相信戰後該地區能更趨穩定,將 100% 投入當地的 AI 產能擴張。
自動駕駛平台
一切可移動之物終將自動化。Nvidia 專注打造世界級的駕駛作業系統與推理方案(如 Alpamayo),而非自行造車;採取「垂直優化、水平創新」策略,並與特斯拉(採購訓練電腦)、Uber、BYD、Mercedes 等合作。
太空資料中心
公司已在太空場景運行 AI 工作負載,但當前優先級仍在地面資料中心的擴建與優化。
氦氣供應
氦氣可能成為供應鏈中的潛在瓶頸,但現有產業鏈具備一定緩衝能力,可透過多源頭與回收機制降低風險。
核心洞察
範式轉移:從 GPU 供應商進化為 AI 工廠公司,以系統觀解決 AI 基礎設施問題。
指數增長:推理工作負載正邁向百萬倍等級的需求爆炸。
Agent 革命:OpenClaw 等定義了現代個人 AI 電腦的作業系統藍圖。
經濟模型轉變:商業模式由座位數轉向以成果與吞吐計價,Agent 成為工作量交付主體。
開放生態系統:開源與專有雙軌並行,通用智能疊加垂直專業化。
全球戰略:以廣泛可採用的美國技術堆疊鞏固優勢,避免產業外移形成國安風險。
Token 經濟:高價值員工應匹配高價值計算,token 消費成為新的人效與創新速度指標。
訪談日期:2026 年 3 月 19 日
來源:All-In Podcast
主持人:Jason Calacanis、Chamath Palihapitiya、David Sacks、David Friedberg
影片連結:https://www.youtube.com/watch?v=gwW8GKwHB3I