體驗在AMD Ryzen AI和Radeon上運行DeepSeek R1精簡版"推理"模型
供稿 / 2025-02-13 09:098349
推理模型是一類新型的大型語言模型(LLMs),通過鏈式思維(CoT)推理來解決高度復雜的任務,其代價是響應時間較長。DeepSeek R1是最近發布的前沿“推理”模型,已被提煉成功能強大的小型模型。目前,可以通過LM Studio,輕松將這些DeepSeek R1精簡版模型部署到AMD Ryzen AI處理器和Radeon顯卡上,并可以使用。
推理模型在生成最終輸出之前加入了一個“思考”階段——用戶可以通過展開“思考”窗口看到模型給出最終答案前的推理過程。與傳統的大型語言模型(LLMs)直接生成單次響應不同,鏈式思維(CoT)推理模型會在回答前進行廣泛的推理。LLM所做的假設和自我反思對用戶是可見的,這提高了模型的推理和分析能力——盡管這意味著首次(最終輸出)token的響應時間會顯著增加。
推理模型可能會在生成最終響應之前,先花費數千個token來分析和處理問題(您可以查看這一思維鏈!)。這種方法使得模型在解決涉及數學和科學的復雜問題時表現出色,能夠從多角度深入分析問題后再得出最終答案。根據您的AMD硬件配置,這些模型將在您的AMD Ryzen AI處理器或Radeon顯卡上提供最先進的推理能力。
如何在 AMD Ryzen AI和 Radeon顯卡上運行 DeepSeek R1精簡版"推理"模型
請按照以下簡單步驟操作,僅需幾分鐘(具體時間取決于下載速度)即可開始運行 DeepSeek R1 精簡版模型。
請確保您使用的是可選驅動程序 Adrenalin 25.1.1,您可以通過點擊此鏈接直接下載。
第一步:請確保您已安裝 25.1.1 可選版本或更高版本的 Adrenalin 驅動程序。
第二步:請從 lmstudio.ai/ryzenai 下載 LM Studio 0.3.8 或更高版本。
第三步:安裝 LM Studio 后,您可直接跳過引導屏幕。
第四步:安裝LM Studio后,您可以點擊“發現”選項。
第五步: 選擇您的DeepSeek R1 Distill。像Qwen 1.5B這樣的小型Distill提供了極速的性能(并且是推薦的起點),而更大的Distill則提供更強的推理能力。它們都具有極強的能力。以下表格詳細列出了最大推薦的DeepSeek R1 Distill規模:
* = AMD推薦將所有Distill運行在Q4 K M量化模式。
1 = 需要將可變顯存設置為自定義:24GB。
2 = 需要將可變顯存設置為高。

* = AMD推薦將所有Distill運行在Q4 K M量化模式。
1 = 列出在沒有部分GPU卸載的情況下最大支持的Distill。
第六步:在右側,確保選擇了“Q4 K M”量化模式,然后點擊“下載”。
第七步:下載完成后,返回聊天選項頁,從下拉菜單中選擇DeepSeek R1 distill,并確保勾選了“手動選擇參數”選項。
第八步:在GPU卸載中,將滑塊移到最大值。
第九步:點擊“模型加載”。
第十步:與完全在本地AMD硬件上運行的推理模型進行交互!
注釋
GD-97 - 提供第三方網站鏈接僅為方便之用,除非明確聲明,AMD對這些鏈接網站的內容不負責任,也不表示任何形式的認可。
GD-220e - Ryzen AI被定義為結合了專用AI引擎、AMD Radeon圖形引擎和Ryzen處理器核心的組合,能夠啟用AI功能。需要OEM和ISV支持,某些AI功能可能尚未針對Ryzen AI處理器進行優化。Ryzen AI與以下處理器兼容:(a)AMD 銳龍 7040和8040系列處理器以及銳龍 PRO 7040/8040系列處理器,但不包括銳龍 5 7540U、銳龍 5 8540U、銳龍 3 7440U和銳龍 3 8440U處理器;(b)AMD 銳龍 AI 300系列處理器和AMD 銳龍 AI PRO 300系列處理器;(c)所有AMD 銳龍 8000G系列桌面處理器,但不包括銳龍 5 8500G/GE和銳龍 3 8300G/GE;(d)AMD 銳龍 200系列處理器和銳龍 PRO 200系列處理器,但不包括銳龍 5 220和銳龍 3 210;(e)AMD 銳龍 AI Max系列處理器和銳龍 AI PRO Max系列處理器。在購買之前,請與您的系統制造商確認功能的可用性。
體驗在AMD Ryzen AI和Radeon上運行DeepSeek R1精簡版"推理"模型














滬公網安備 31010702005758號
發表評論注冊|登錄