CEVA推出增強型NeuPro-M NPU IP系列 大力推動生成式人工智慧 (Generative AI)
前言：
NeuPro-M提供領先業界的350 TOPS/Watt效能，以卓越的成本和功效為基礎設施、工業、汽車、PC、消費性產品和行動市場帶來強大的生成式人工智慧
2023年8月16日--全球領先的無線連接、智慧感測技術及客製化SoC解決方案的授權許可廠商CEVA, Inc. (納斯達克股票代碼： CEVA) 宣佈推出增強型NeuPro-M NPU系列，以業界領先的效能和功效滿足下一代生成式人工智慧(Generative AI)的處理需求，適用於從雲端到邊緣的任何人工智慧推理工作負載。NeuPro-M NPU架構和工具經過重新設計，除了可支援CNN和其他神經網路外，同時也支援transformer網路和未來的機器學習推理模型，因而能夠在通訊閘道、光連接網路、汽車、筆記型電腦和平板電腦、AR/VR頭戴式裝置、智慧手機以及任何其他雲端或邊緣等設備上使用案例中，基於NeuPro-M NPU進行無縫開發和運行高度最佳化的應用，充分利用生成式人工智慧和傳統人工智慧的功能。
CEVA副總裁暨願景業務部門總經理Ran Snir 評論表示：「基於transformer網路需要大量增加運算和記憶體資源以推動生成式人工智慧，從而要求新的方法和最佳化的處理架構來滿足這股運算和記憶體需求的增長。我們的 NeuPro-M NPU IP經過專門設計，高效和低成本地處理當前和未來的傳統人工智慧和生成式人工智慧工作負載。這款IP具有可擴展性，能應對從邊緣到雲端的應用，並且可以在未來支援新的推理模型。我們通過這款架構實現了效能跳躍，為各種用例帶來美好的生成式人工智慧願景，從成本敏感的邊緣設備到高效的雲端計算，以及介於兩者之間的所有應用在內。」
市調研究機構ABI Research預測，邊緣人工智慧出貨量將從2023年的24億台增長到2028年的65億台，年成長率 (CAGR) 為22.4%*。生成式人工智慧將是支撐增長的重要力量，而日益複雜的智慧邊緣應用正在推動對更強大、更高效的人工智慧推理技術的需求。尤其是，雖然生成式人工智慧中使用的大型語言模型 (LLM) 以及視覺和音訊transformer能夠改變產品和產業，但是在邊緣設備上運行時，將對效能、功耗、成本、延遲和記憶體帶來新的挑戰。
ABI Research資深分析師Reece Hayden表示：「目前生成式人工智慧的硬體市場十分集中，由少數幾家廠商佔據主導地位。為了兌現技術承諾，在雲端和邊緣領域都需要清晰的方向去實現低功耗及低成本的推理處理，這將通過更小的模型尺寸和更高效的硬體來實現。CEVA的NeuPro-M NPU IP是深具吸引力的解決方案，能夠在設備上部署具有出色功耗預算的生成式人工智慧，同時具有可擴展性，使得NeuPro-M能夠滿足網路設備及其他設備中更多的效能密集型用例。」
受益於不斷發展演化的推理和建模技術，人們在設備層面可以利用更小的特定領域LLM、視覺transformer和其他生成式人工智慧模型的新功能，這將相應地改變基礎設施、工業、汽車、PC、消費性產品和行動市場的應用。最重要的是，由於整合了向量處理單元 (VPU) ，增強型NeuPro-M 架構用途廣泛和適應未來的可擴展性，能支援未來的任何網路層。而且，這款架構還支援任何激勵函數和資料流程，具有資料和權重的真正稀疏性，最高可將處理效能提升 4 倍，使得客戶能夠使用單一 NPU 系列滿足多種應用和多個市場的需求。為了實現多樣化人工智慧市場所需的更大擴展性，NeuPro-M增加了全新的 NPM12 和 NPM14 NPU 核心，分別具有兩個和四個NeuPro-M引擎，可輕鬆提供更高效能人工智慧工作負載。增強型 NeuPro-M 系列目前包括四款NPU，分別是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性以及卓越的效能和功效，成為當今業界領先的 NPU IP產品，在 3nm 製程節點上可實現 350 TOPS/Watt 峰值效能，在基於transformer架構的LLM 推理中，每瓦每秒可處理超過 150 萬個token。
CEVA為增強型NeuPro-M架構提供經過改進的綜合開發工具鏈，它基於CEVA屢獲殊榮的神經網路人工智慧編譯器CDNN，具有架構感知功能，可充分利用NeuPro-M並行處理引擎，最大限度地提高客戶的人工智慧應用效能。CDNN軟體包括一個記憶體管理器，用於降低記憶體頻寬和最佳化負載平衡演算法，並相容包括TVM和ONNX等常見的開源框架。
供貨情況
NPM11 NPU IP現已全面上市，可供客戶部署使用。CEVA向主要客戶提供NPM12、NPM14 和 NPM18。如要瞭解更多資訊，請瀏覽公司網頁https://www.ceva-dsp.com/product/ceva-neupro-m/。
*資料來源：ABI Research, AN-5774, QTR 1 2023
關於CEVA公司
CEVA是無線連接和智慧傳感技術及共創解決方案的領先授權公司，致力於構建更高智慧、更安全的互聯世界。我們提供數位訊號處理器、人工智慧引擎、無線平臺、加密內核和配套軟體，用於感測器融合、圖像增強、電腦視覺、語音輸入和人工智慧用途。CEVA提供這些技術並結合Intrinsix IP 設計服務，幫助客戶處理最複雜並且時間緊迫的積體電路設計專案。借助我們的技術和晶片設計技能，許多世界領先的半導體企業、系統公司和OEM廠商可為包括行動、消費電子、汽車、機器人、工業、航空航太和國防及物聯網的終端市場創建節能、智慧和安全的互聯設備。
CEVA建基於 DSP的解決方案包括用於行動、物聯網和基礎設施之5G 基帶處理的平臺；用於任何支援相機設備的先進成像和電腦視覺技術；適用於多個物聯網市場的音訊/聲音/語音方案，以及超低功耗始終線上/感測應用。對於運動感測解決方案，我們的Hillcrest Labs感測器處理技術提供了廣泛的感測器融合軟體和慣性測量單元 (IMU) 解決方案，用於聆聽式設備、穿戴式設備、AR/VR、PC、機器人、遙控器和物聯網等市場。對於無線物聯網，我們的藍牙連接 (低功耗和雙模式) 、Wi-Fi 4/5/6 (802.11n/ac/ax) 、超寬頻 (UWB) 和NB-IoT 平臺是業界獲得最廣泛授權的連接平臺。
如要瞭解有關CEVA的更多資訊，請瀏覽網站https://www.ceva-dsp.com/，並關注我們的Twitter、YouTube 和LinkedIn帳戶。
