AMD發布最新白皮書,揭示在代理式AI時代下,CPU於現代資料中心架構中的關鍵作用。代理式AI系統將多元CPU角色整合至單一工作流程中,而最新一代AMD EPYC CPU能針對各項特定任務進行最佳化,為客戶提供迎接未來AI發展的靈活性。
兩年前,規劃AI基礎設施主要以訓練階段所需的算力規模為核心;隨後,推論演變成為形塑基礎設施需求的主要因素。如今,AI代理能將單一請求轉化為一連串動態流程,涵蓋資料檢索、工具呼叫、程式碼執行與結果產出。此一高度靈活的工作流程,使每次執行任務時對算力需求與部署節點的要求皆有所不同。
若基礎設施僅針對單一時間點的需求建構,將面臨無法符合未來需求的風險。因此,架構的靈活性不再只是一項附加特色,而是貫穿整個系統架構各層級的必要條件,包括支援代理式AI工作流程的CPU。
為因應此趨勢,AMD發表最新白皮書全面評估第6代AMD EPYC™ 9006系列“Venice”伺服器CPU在通用型、企業級、雲端原生、AI以及高效能運算等多元工作負載下的效能表現,而非僅聚焦於少數特定工作負載。
第6代AMD EPYC CPU展現領先業界的效能表現:
• 在SPECrate® 2026 Integer效能測試中,AMD EPYC™ 9996伺服器CPU的每核心效能為NVIDIA Vera架構平台的1.2倍,平台級效能更達2.24倍。
• 在涵蓋伺服器端Java、OpenSSL、MongoDB、Redis、NGINX及交易處理等企業級與雲端原生測試中,AMD測試結果顯示,其效能提升2.4倍至 3.7倍。
• 與Intel® Xeon® 6980P處理器相比,AMD EPYC 9996伺服器CPU在分子動力學、材料建模與天氣預報等領域,展現1.8倍至3.13倍的效能優勢。
• 在模擬100千瓦機櫃配置下,AMD EPYC 9996伺服器CPU吞吐量預估可達Vera架構平台的3.4倍。
強大的高負載每核心效能可加速對延遲敏感的工作任務,而卓越的核心密度則能支援高併發需求,並提升機櫃級吞吐量。藉由多元化的處理器產品組合,客戶無須讓整體伺服器陣列(Fleet)採用相同的處理器,即可針對這兩類需求進行最佳化。
“Venice”是基於此設計理念所打造的產品組合之一:四大產品系列運行於共同的軟體基礎之上,涵蓋8核心的邊緣部署、256核心的旗艦級處理器,以及機櫃級AI主機節點。代理式流程中的每個角色皆能採用最適合的處理器配置,無須為此建立獨立的運作環境。
“Venice”目前已進入量產階段。各大OEM廠商的平台預計如期推出,各大雲端服務供應商則將於今年稍後開始部署。
完整部落格文章敬請參閱此連結。
相關資源:
• 更多關於架構細節、基準測試方法及完整工作負載評估,請參考《AMD EPYC伺服器CPU架構與效能概覽》白皮書。
• AMD執行副總裁暨資料中心解決方案事業群總經理Forrest Norrod文章《為瞬息萬變的AI世界建構基礎設施》。