繼AMD先前於部落格文章中探討客戶端CPU在代理式AI(Agentic AI)時代中更趨關鍵後,AMD發布最新部落格文章,探討AI代理正如何重塑客戶端AI(Client AI)效能的評估標準。
隨著代理式工作流程除了模型推論外,更已廣泛延伸至文件處理、檢索、編排(orchestration)與驗證等環節,相較於單純的推理指標,端對端工作流程完成表現將成為衡量真實效能更具參考價值的關鍵指標。
部落格文章重點內容如下:
• AI代理評估指標轉變:AI代理的評估方式正在改變,不應僅以Token生成速度作為衡量標準,而應以完成且經過驗證的工作成果作為評估依據。因此,關鍵績效指標也轉向端對端工作流程的完成時間以及每次完成工作流程的成本。
• 針對實際工作負載進行端對端效能評估:在HEPA基準測試中, 8個管線階段(pipeline stages)中有7個階段由CPU執行,僅Token生成階段由GPU負責。測試結果顯示,AMD Ryzen™ AI Halo率先完成工作流程,並以更低成本完成任務。在Linux作業環境下執行相同的五輪(five-run)工作流程測試時,搭載AMD Ryzen™ AI Max+ 395處理器的AMD Ryzen™ AI Halo相較於NVIDIA DGX Spark Grace Blackwell (GB10),具備以下優勢:
o CPU編排效能提升34%
o 端對端工作流程完成速度提升15%
o 單次完成工作流程成本降低27%
欲了解更多代理式AI如何改變客戶端AI效能的評估標準,請參考部落格文章。