Arm與阿里巴巴合作通過KleidiAI與通義千問模型的集成 加速端側多模態AI體驗

Arm與阿里巴巴合作通過KleidiAI與通義千問模型的集成加速端側多模態AI體驗

供稿 / 2025-03-05 09:545503

Arm 控股有限公司（納斯達克股票代碼：ARM，以下簡稱 “Arm”）今日發布與阿里巴巴淘天集團輕量級深度學習框架 MNN 的又一新合作。雙方經由 Arm KleidiAI 的集成，成功讓多模態人工智能 (AI) 工作負載通過阿里巴巴經指令調整的通義千問 Qwen2-VL-2B-Instruct 模型運行在搭載 Arm CPU 的移動設備上。該版本的通義千問模型專為端側設備的圖像理解、文本到圖像的推理，以及跨多種語言的多模態生成而設計。此次的合作顯著提升了端側多模態 AI 工作負載的性能，帶來全新的用戶體驗。

【Arm 新聞稿】Arm 與阿里巴巴合作，通過 KleidiAI 與通義千問模型的集成，加速端側多模態 AI 體驗379.png

Arm 終端事業部產品管理高級總監 Stefan Rosinger 表示：“我們正身處 AI 革命的浪潮之中，親眼見證了多模態 AI 模型的興起。這些模型能夠處理并理解多種數據類型，涵蓋文本、圖像、音頻、視頻及傳感器數據。然而，由于硬件本身的電力限制和內存約束，加之同時處理多種數據類型帶來的復雜性，在端側設備上部署這些先進的多模態模型正面臨著不小的挑戰?！?/p>

Arm Kleidi 成為解決這些挑戰的理想方案，它能夠為運行在 Arm CPU 上的所有 AI 推理工作負載提供無縫的性能優化。KleidiAI 是一套輕量級且高性能開源的 Arm 例程，專為 AI 加速而設計，目前已被集成到最新版本的主流端側 AI 框架中，包括 ExecuTorch、Llama.cpp、LiteRT （通過XNNPACK）和 MediaPipe，能讓數百萬名開發者無需進行額外操作，即可自動獲取 AI 性能的顯著提升。

加速端側多模態 AI 用例的響應時間

通過 KleidiAI 與 MNN 的集成，Arm 和 MNN 團隊測量了 Qwen2-VL-2B-Instruct 模型的加速性能，結果顯示在端側的關鍵 AI 多模態應用場景中，其運行和響應速度均有所提升。這一提升可為阿里巴巴旗下眾多以客戶為中心的應用程序帶來更加出色的用戶體驗。

這些用例響應速度的提升，得益于模型預填充（指 AI 模型在生成響應之前先對提示詞輸入進行處理）性能提升了 57% ，以及解碼（指處理提示詞后從 AI 模型生成文本的過程）性能提升了 28%。此外，KleidiAI 集成還可以通過降低多模態工作負載的總體計算成本，進一步促進端側設備上 AI 工作負載的高效處理。數百萬使用包括 MNN 框架在內的熱門 AI 框架運行應用程序與工作負載的開發者，可以在針對邊緣側設備的應用和工作負載中享受到這些性能和效率的提升。

阿里云通義大模型業務總經理徐棟表示：“我們非常高興看到通義千問大模型與Arm KleidiAI 及 MNN 團隊展開深度技術合作，通過 MNN 端側推理框架和 Arm KleidiAI 的集成加速優化，成功實現了大模型推理延遲的顯著降低與能效比的大幅提升。此次開創性的合作不僅充分驗證了大模型在移動終端的實用潛力，更使用戶能夠在指尖體驗到下一代 AI 的普惠價值。我們期待三方能夠持續攜手，以技術創新突破算力邊界，共同開啟端側智能新篇章?！?/p>

阿里巴巴淘天集團業務技術 MNN 負責人姜霄棠表示：“此次 MNN 推理框架與 Arm KleidiAI 做深度技術融合，在端側大模型加速方面取得了全新突破。通過我們對底層架構的聯合優化，通義大模型的端側推理效率實現大幅提升，成功跨越了受限算力與復雜 AI 能力的技術鴻溝。這一成果既是 MNN 團隊技術攻堅的結晶，更是跨界協作力量的生動詮釋。我們期待未來能持續攜手深耕端側計算生態，讓每個移動終端都能承載更流暢、更高效、更自然的 AI 體驗。”

在 MWC 上進行 KleidiAI 集成演示

在今年的世界移動通信大會 (MWC) 上，Arm 在活動展位（2 號展廳 I60 展臺）展示了此次合作的成果，該演示突出了模型如何理解視覺和文本輸入的多種組合，并對圖像中的內容進行提煉說明。這項演示在搭載 MediaTek 天璣 9400 移動系統芯片 (SoC) 的智能手機上完成，包括 vivo X200系列。

實現多模態 AI 體驗的飛躍

KleidiAI 和為阿里巴巴通義千問模型支持的 MNN 框架進行集成，成功地為運行在搭載 Arm CPU 端側的多模態 AI 工作負載帶來顯著的用戶體驗提升。這些卓越的體驗現已應用于移動設備，許多的面向客戶的應用程序也已受惠于 KleidiAI 帶來的種種優勢。展望未來，KleidiAI 針對 AI 工作負載的無縫優化將繼續賦能開發者，助力其在端側設備上提供更加復雜的多模態體驗。這將為下一波智能計算浪潮奠定基礎，并在 AI 的持續演進中邁出令人振奮的一大步。

點個贊730