手把手教您使用DFRobot LattePanda Mu部署DeepSeek-R1蒸餾模型
在大語言模型的訓(xùn)練過程中，提升推理能力一直是科研人員關(guān)注的重點。DeepSeek-R1模型通過創(chuàng)新性的強化學(xué)習(xí)（RL）方法，實現(xiàn)了無需依賴人工標(biāo)注的自主推理能力提升。它通過自我反饋機制學(xué)習(xí)處理復(fù)雜推理任務(wù)，如數(shù)學(xué)問題和編程邏輯。
DeepSeek-R1的訓(xùn)練分為兩個主要階段：在“冷啟動”階段，模型使用少量高質(zhì)量樣本進(jìn)行微調(diào)，以提高推理清晰度；接著在強化學(xué)習(xí)階段，通過拒絕低質(zhì)量輸出進(jìn)行優(yōu)化，從而增強推理能力。此外，該模型采用精心設(shè)計的數(shù)據(jù)混合策略，以高效培養(yǎng)特定領(lǐng)域的表現(xiàn)，達(dá)到了在低人工干預(yù)下實現(xiàn)復(fù)雜問題解決的目標(biāo)。
如何將DeepSeek-R1蒸餾模型實現(xiàn)本地部署？
第一步：選擇性價比合適的開發(fā)板
傳統(tǒng)的高性能主板如Jetson Orin和Nano雖然出色，但往往價格昂貴且尺寸較大，適用性有限。DFRobot LattePanda Mu（拿鐵熊貓開發(fā)板）是一款高性能微型x86計算模塊，搭載Intel N100四核處理器，配備8GB的LPDDR5內(nèi)存和64GB存儲，能流暢運行復(fù)雜的深度學(xué)習(xí)任務(wù)。它擁有多種擴展接口包括3個HDMI/DisplayPort接口、8個USB 2.0接口、最多4個USB 3.2接口以及最多9個PCIe 3.0通道，還提供開源載板設(shè)計文件，支持根據(jù)項目需求進(jìn)行靈活定制。
第二步：選擇合適的框架來高效加載和執(zhí)行大語言模型
根據(jù)Deepseek官方說明，本地部署可以使用VLLM和SGLang的方式，但是通常情況下，這兩種調(diào)用方法不僅操作復(fù)雜還占用量大，小編推薦另一種高效快捷的方法——使用Ollama框架。
第三步：安裝Ollama
在Ollama官網(wǎng)下載安裝。如果你也使用Ubuntu系統(tǒng)，可以直接通過如下指令來安裝。
根據(jù)硬件的性能以及實際的需求來選擇不同參數(shù)大小的模型，沒有配備專業(yè)級顯卡的，推薦用14B以內(nèi)的模型。（復(fù)制代碼如下）
1. ollama run deepseek-r1:1.5b
2. ollama run deepseek-r1:7b
3. ollama run deepseek-r1:8b
4. ollama run deepseek-r1:14b
5. ollama run deepseek-r1:32b
6. ollama run deepseek-r1:70b
7. ollama run deepseek-r1:671b
32b，70b，671b對機器的要求如下：
● DeepSeek-R1-Distill-Qwen-32B
VRAM需求：約14.9GB
推薦GPU配置：NVIDIA RTX 4090 24GB
RAM：建議至少32GB
● DeepSeek-R1-Distill-Llama-70B
VRAM需求：約32.7GB
推薦GPU配置：NVIDIA RTX 4090 24GB × 2
RAM：建議48GB以上
● DeepSeek-R1 671B（完整模型）
VRAM需求：約1,342GB（使用FP16精度）
推薦GPU配置：多GPU設(shè)置，例如NVIDIA A100 80GB × 16
RAM：512GB以上
存儲：500GB以上高速SSD
需要注意的是，對于671B模型：
1. 通常需要企業(yè)級或數(shù)據(jù)中心級硬件來管理其巨大的內(nèi)存和計算負(fù)載。
2. 使用量化技術(shù)可以顯著降低VRAM需求。例如，使用4位量化后，模型大小可降至約404GB。
3. 使用動態(tài)量化技術(shù)，可以進(jìn)一步降低硬件需求，將大部分參數(shù)量化到1.5-2.5位，使模型大小降至212GB-131GB之間。
4. 對于本地部署，可能需要考慮使用多臺高性能工作站或服務(wù)器，如使用多個Mac Studio（M2 Ultra，192GB RAM）來滿足內(nèi)存需求。
5. 運行完整671B模型時，還需考慮功耗（可能高達(dá)10kW）和散熱等問題。
總的來說，32B和70B模型可以在高端消費級硬件上運行，而671B模型則需要企業(yè)級或數(shù)據(jù)中心級的硬件配置。選擇合適的硬件配置時，還需考慮具體的使用場景、性能需求和預(yù)算限制。
第四步：運行DeepSeek-R1蒸餾模型
LP Mu 運行速度參考
對于不同規(guī)格的Mu和R1模型，在Ollama的運行速度參考如下（tokens/s）：
注：8B模型基于Llama-3.1-8B蒸餾，7B模型基于Qwen2.5-Math-7B蒸餾，如果是老師在學(xué)校使用更推薦7B。
Ollama官方提供了計算推理速度的工具，只要在聊天窗口輸入/set verbose就能使其在每次回復(fù)后自動輸出運行速度，
輸出結(jié)果如下所示：
這樣，理論上我們已經(jīng)可以正常使用啦！
隨著技術(shù)的發(fā)展，SBC（單板計算機）和類似 LattePanda Mu 的小型計算平臺在邊緣計算和定制化應(yīng)用中展現(xiàn)了更多可能性。同時，DeepSeek 模型的強大推理能力為這些平臺帶來了新的潛力。DeepSeek 在數(shù)據(jù)庫查詢、文本理解等智能應(yīng)用領(lǐng)域表現(xiàn)出色。未來，隨著 LattePanda Mu 和 DeepSeek 的進(jìn)一步優(yōu)化，開發(fā)者和研究者將在各種硬件環(huán)境中更好地利用深度學(xué)習(xí)和大語言模型，推動更智能、高效的應(yīng)用實現(xiàn)。
關(guān)于如何“如何用DFRobot LattePanda Mu（拿鐵熊貓開發(fā)板）部署DeepSeek-R1蒸餾模型？”您可以訪問：DF創(chuàng)客社區(qū)，了解更多詳情。
?
