重點摘要
在 Computex 2026 上,Lightmatter創辦人暨執行長 Nick Harris 描繪了 AI 基礎設施的未來願景,他認為未來的核心瓶頸不再是算力(Compute),而是互連(Interconnect)。他的核心論點是,從當前前沿模型到最終實現人工超級智慧(ASI)的下一階段 AI 擴展,無法僅通過 GPU 的進步來實現,而必須以光子互連技術作為連接處理器、記憶體、機架乃至整個資料中心的主要機制。
本次主題演講結合了三大主題:
1. 為什麼 AI 擴展正逐漸演變成互連問題
2. Lightmatter 的 Passage 光子仲介層(Interposer)架構如何提升 AI 訓練與推論效能
3. 從 NPO、CPO、光子仲介層到大規模雷射系統的產品藍圖
整體而言,Lightmatter 將自己定位為打造下一代 AI 所需光學基礎設施(Optical Infrastructure)的關鍵推動者。
1. AI 成長速度已超越電力基礎建設
AI 工作負載正呈爆炸性成長。AI 代理越來越能夠長時間自主運行,導致計算需求急劇增加。與此同時,前沿 AI 的功耗大約每年增長 2–3 倍,美國電網容量約每 25 年才增加一倍,這導致 AI 對基礎設施的需求與可提供的資源之間出現愈來愈大的落差。
因此,單純增加處理器數量已不可持續。每一瓦功率和每一條通信鏈路都必須被更高效地利用。因此,未來不可能單純透過增加更多 GPU 解決問題,每一瓦電力與每一條連接通道都必須被更有效率地利用。
核心論點: 互連已成為提升 AI 系統性能和效率最關鍵的因素。
2. 訓練與推理存在不同瓶頸
AI 工作負載主要分爲 3種類型
訓練(Training)
推理預填(Inference prefill)
推理解碼(Inference decode)
這些工作負載對基礎設施的需求不盡相同。訓練以計算密集為主,而推理(尤其是解碼階段)則越來越受資料傳輸效率和記憶體頻寬限制。
隨著 AI 模型規模擴大並越來越多採用 Mixture-of-Experts(MoE)架構,通訊成本已成為主要瓶頸。
若能解決互連問題,便可同步改善:
更快完成訓練
更低的 TTFT(Time-To-First-Token)
更佳的互動式推論體驗
3. Passage:支援 AI 大規模擴展的光子架構
Lightmatter推出的Passage Platform旨在取代傳統銅基規模擴展網路的光子仲介層架構。
AI 模型模擬結果如下,展現出顯著的性能提升:
訓練(Training)
對於萬億參數 MoE 模型,Passage 能夠實現比傳統銅架構巨大規模的擴展(scale-up)域。
Lightmatter 對比了:
基於銅架構的四個 144-GPU Pod
• 基於 Passage 的單個 512-GPU Pod
在保持同等規模擴展頻寬的前提下,更高速版本能將規模擴展頻寬從 14.4 Tbps 提升至 32 Tbps。
推理預填(Inference Prefill)
Passage 顯著降低了長上下文推理工作負載的首 Token 生成時間(TTFT)。
推理解碼(Inference Decode)
在解碼階段,Passage 光子技術能夠實現透過更少的網路跳數(Hop Count),從而提升輸送量和互動反應速度。
整體效能指標
三項關鍵成果:
• 訓練時間縮短 3 倍
• TTFT 降低 3 倍
• Decode 互動性提升 11 倍
這些資料構成了 Passage 光子互連帶來的系統級 AI 性能提升的量化基礎。
4. 超越機架(Rack)的擴展能力
未來的人工智慧叢集必須突破當前傳統邊界,而未來互連可分為三個層級:
• 擴展(Scale-up,約 1 米)
• 外擴(Scale-out,約 100 米)
• 跨域擴展(Scale-across,10 公里及以上)
傳統銅技術在機架內部表現尚可,但隨著距離增加,其傳輸難度和功耗急劇上升。光子技術則可在維持高頻寬的同時降低功耗,實現跨機架和跨資料中心的通信。
光子學的定位為構建 AI 系統所需的網路織網(Fabric),使整個系統表現得如同單台分散式運算機,而不僅僅是可插拔光學器件的替代品。
假設其為「單一大腦(Single Brain)」的概念:
• 1,024 XPUs1,024 個 XPU
• 64 XPUs per rack每機架 64 個 XPU
• 16 racks operating as one scale-up domain共 16 個機架作為一個規模擴展域運行
5. 從 SerDes 中心轉向光子中心的設計理念
本次最值得注意的策略訊息之一是,整個行業正在從「電學優先」的思維方式轉變為「光學優先」。在歷史上,光學器件一直被視為電學 SerDes 技術的延伸,並遵循相同的擴展藍圖。 Nick認為,基礎設施光學連接(OCI)生態系統的出現,改變了這一關係。
在他設想的架構中:光子技術不再跟隨 SerDes 的演進,而將成為制定互連架構發展方向的主要驅動力。這也是本次最重要的產業訊息之一。
6. 新技術展示
本次所介紹的三個主要光子平臺:
Passage EVK50
全球首款用於 CPO 的DWDM 雙向傳輸連結。
主要規格:
• 16 波長
• 每條光纖 400 Gbps
• OCI Gen-2 等級
• 雙向傳輸
Passage EVK100
目前速度最快的 CPO DWDM 連結。規格:
• 16 波長
• 每條光纖 1.6 Tbps
• OCI Gen-3 等級
• 112G PAM4
Passage M1000
可謂本次最重要的產品。M1000 是 Lightmatter 的光子仲介層架構,包含:
• 114 Tbps 頻寬
• 1,024 組 SerDes
• 內建光學電路交換
• 4,000 mm² 光子晶片面積
• 1.8 W/mm² 功率密度
Lightmatter 表示:這證明瞭光子仲介層技術已從研究階段正式進入可部署硬體階段。
7. 解決可維護性問題:eClick 與 vClick
長期以來,業界對CPO的擔憂之一是現場可維護性。
為了解決這一問題,Lightmatter 推出業界首款相容先進封裝的可拆卸光纖陣列單元(dFAU):
● eCLICK
● vCLICK
這些技術旨在提供可拆卸的光纖連接,同時保留共封裝光學的密度優勢,且訊息十分明確:Lightmatter 認為阻礙 CPO 普及的重要障礙已基本被解決。
8. 產品藍圖:從 NPO 到仲介層
Lightmatter 公佈了光子集成多年的產品藍圖:
• 2027:近封裝光學(NPO)
• 2028: 共同封裝光學(CPO)
• 2029 年及以後:光子仲介層與光學引擎
產品發展路徑:
1. 光學引擎置於交換機旁
2. 光學引擎與交換機集成
3. 光子仲介層直接集成到 AI 系統
這一進展反映了 Lightmatter 的信念:光子學將穩步靠近運算裸晶。
9. 首款商用 NPO 產品
本次發佈了 Passage L20,預計將於 2027 年第一季度推出的適用於 NPO、CPX 和 XPO的通用光學引擎。
產品亮點包括:
12.8 Tbps 聚合頻寬
32 個埠
200G PAM4 SerDes
IEEE 802.3dj 相容
雙向(BiDi)光學
最大功耗 30W
這將成為 Lightmatter 從驗證平臺邁向量產部署的重要橋樑。
10. 雙向技術(BiDi)帶來的資料中心經濟優勢
另一個重要主題是雙向光學(BiDi)。Lightmatter 認為 BiDi 技術能夠:
減少光纖部署量
消除連接器
降低故障點
降低整體網路成本
以 512-XPU 叢集為例:
150 英里光纖
20,000 個連接器
網路支出降低 16%
這進一步強化了 Lightmatter 的觀點:光子技術不只提升效能,也能帶來明顯成本優勢。
11. Guide光源引擎
第二個重要產品為 Guide DR, Lightmatter的高密度外部雷射平臺。
Nick指出,未來光子網路需要全新的雷射架構,因為傳統前面板雷射模組無法擴展到每秒數百太比特(Terabits)的級別。
Guide 特色:
集中式雷射架構
液冷設計
熱插拔
NIC 外型
相容 OCP MHS 與 MGX
該平臺(單個 Guide DR 模組)旨在取代 8 個外部可插拔雷射器模組,同時支持 AI 級別的共封裝光學應用。
12.超大規模光子整合 (VLSP,Very Large Scale Photonics)
展望未來,Lightmatter勾勒了Very Large Scale Photonics (VLSP) 的願景。主要產品藍圖目標包括:
單晶片超過 100 個雷射光器
自動自愈能力
功耗與波長精度提升 10 倍
這意味著 Lightmatter 希望像半導體產業對待大型積體電路一樣,建立超大規模光子整合平臺。
結論
關鍵核心訊息:AI 下一個規模化瓶頸已不再是運算,而是互連。Nick 認為,產業正從以銅線為核心的架構,逐步轉向覆蓋晶片、封裝、機架和資料中心的光子基礎設施
Lightmatter 的策略佈局包括:
光子仲介層與光學網路架構
BiDi 與 DWDM 光互連
NPO 與 CPO 產品部署
Guide 雷射平臺
VLSP 超大規模光子整合藍圖
這些技術能夠帶來 3 倍至 11 倍 的 AI 性能提升,同時降低基礎設施複雜度和成本。最後:要實現 ASI 級別的系統,光子學必須成為計算基礎設施的基礎層,而 Lightmatter 希望成為推動這場轉型的重要關鍵角色。