實用工具 占存：12.7 MB 時間：2025-02-17
軟件介紹: VL是由杭州深度求索人工智能基礎技術研究有限公司開發的開源視覺 - 語言模型系列，其采用混合視...
本文將詳細介紹如何在本地部署 DeepSeek 模型，并以圖文的形式把操作步驟展示出來，確保即使是初學者也能輕松上手。我們將從環境準備、安裝依賴、模型下載到運行模型的每一步進行詳細講解。
一、本地部署的適用場景
本地部署適合以下情況：
電腦配置較高，有獨立顯卡：本地部署需要較強的硬件支持，尤其是GPU需求。
有私密數據需要處理，擔心泄密：本地部署可以避免數據上傳到云端，確保數據安全。
需要與本地工作交流結合：處理高頻任務或復雜任務時，本地部署可以提供更高的靈活性和效率。
日常使用量大，調用 API 需要收費：本地部署可以節省 API 調用的費用。
想要在開源模型基礎上做個性化定制：本地部署允許你對模型進行二次開發和定制。
總結：有錢有技術 + 怕泄密 → 本地部署 沒錢沒技術 + 圖省事 → 直接使用網頁/APP
·
二、本地部署的基本步驟
1. 環境準備：確保你的系統滿足以下要求
操作系統：Linux(推薦 Ubuntu 20.04 或更高版本)或 Windows。
Python：3.8 或更高版本。
GPU：支持 CUDA 的 NVIDIA GPU(推薦16GB 顯存以上)。
CUDA：11.2 或更高版本。
CUDNN：8.1 或更高版本。
Linux擇按照我編輯的跟著操作就行，Windows根據自己的電腦類型，選擇不同版本。
蘋果電腦選最左邊(藍色框)，Windows系統選最右邊(紅色框)，之后點擊下載(綠色框)。
2. 安裝依賴
首先，安裝必要的依賴項：
sudo apt-get update
sudo apt-get install -y python3-pip python3-dev python3-venv git
3. 創建虛擬環境
為了避免依賴沖突，建議在虛擬環境中操作：
python3 -m venv deepseek-env
source deepseek-env/bin/activate
4. 安裝 PyTorch
根據你的 CUDA 版本安裝 PyTorch。例如，CUDA 11.2 的安裝命令如下：
pip install torch torchvision torchaudio --extra-index-url xxx://download.pytorch.org/whl/cu112
5. 克隆 DeepSeek 倉庫
從 GitHub 克隆 DeepSeek 的代碼庫：
git clone xxxx://github.xxx/deepseek-ai/deepseek.git
cd deepseek
6. 安裝項目依賴
安裝項目所需的 Python 依賴：
pip install -r requirements.txt
7. 下載預訓練模型
下載 DeepSeek 的預訓練模型權重，并將其放置在 models/ 目錄下。你可以從guan方提供的鏈接下載，或使用以下命令(假設模型權重已上傳到某個服務器)：
wget xxxx://example.xxx/path/to/deepseek_model.pth -O models/deepseek_model.pth
8. 配置環境變量
設置必要的環境變量，例如模型路徑和 GPU 設備號：
export MODEL_PATH=models/deepseek_model.pth
export CUDA_VISIBLE_DEVICES=0
9. 運行模型
使用以下命令啟動模型推理或訓練：
python run.py --model_path $MODEL_PATH --input "你的輸入文本"
10. 測試模型
你可以通過提供輸入文本來測試模型的輸出：
python run.py --model_path $MODEL_PATH --input "你好，DeepSeek!"
11. 訓練模型(可選)
如果你想從頭訓練或微調模型，可以使用以下命令：
python train.py --model_path $MODEL_PATH --data_path path/to/your/data
12. 部署模型(可選)
你可以將模型部署為 API 服務，使用 Flask 或 FastAPI 等框架：
pip install fastapi uvicorn
uvicorn api:app --reload
13. 訪問 API
如果部署成功，你可以通過 xxx://localhost:8000 訪問 API，并通過 POST 請求發送輸入文本。
使用 Ollama 進行本地部署(簡化版)Windows系統
如果你覺得上述步驟過于復雜，可以使用 Ollama 來簡化本地部署過程。Ollama 是一個用于管理 AI 模型的工具，特別適合初學者。
1. 安裝 Ollama
打開瀏覽器，搜索 Ollama，進入guan網。
點擊 Download，根據你的操作系統選擇對應的版本(Windows、macOS 或 Linux)。
下載并安裝 Ollama。安裝完成后，桌面會出現一個羊駝圖標。
特別說明：最好安裝在C盤，安裝在其它盤，需要重新配置環境變量。
2. 選擇并安裝模型
打開 Ollama guan網，點擊右上角的 Models。
選擇 deepseek-r1 模型，并根據你的電腦性能選擇合適的參數版本(如 1.5b、7b、14b 等)。
復制安裝命令，例如：
ollama run deepseek-r1:1.5b
打開命令行(Windows 用戶按 Win + R，輸入 cmd)，粘貼并運行上述命令。模型將自動下載并安裝。
點擊鍵盤上的“Enter”鍵，模型會自動下載。
3. 與模型對話
安裝完成后，你可以直接在命令行中與模型對話：
ollama run deepseek-r1:1.5b
輸入你的問題，模型會立即給出回答。
此時大模型安裝在你的電腦上，就算斷網也可以繼續用，也不用擔心數據泄露。
后續運行模型操作注意事項：
當你關閉電腦后，下次再打開ollama。會發現點擊ollama的圖標，電腦沒反應。
因為你點擊圖標，只是啟動了ollama，想要和大模型聊天，還是需要打開命令行。
繼續通過命令行和大模型聊天：
同時按下鍵盤上的Win和R鍵，在彈出的窗口里輸入cmd，點擊確定打開命令行。在命令行界面，輸入剛剛的命令“ollama run deepseek-r1:1.5b”。因為你之前已經下載過，這次無需下載，可以直接和模型聊天。
四、安裝 Open-WebUI(可選)
Open-WebUI 可以為 Ollama 提供一個更友好的圖形界面，但安裝過程較為復雜，適合有一定技術基礎的用戶 (只是讓交互界面更好看，可以不必安裝)
這里就給大家簡單的演示講解下：
1. 安裝 Docker
打開瀏覽器，搜索 Docker，進入guan網，根據你的電腦系統下載并安裝 Docker 桌面版。
安裝完成后，需要重新啟動電腦，才能正常使用docker。重新啟動后，如果你的桌面上出現了docker的圖標，就表示安裝成功了。
2. 安裝 Open-WebUI
打開命令行，輸入以下命令安裝 Open-WebUI：(linux系統)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安裝完成后，打開瀏覽器，訪問 xxx://localhost:3000，注冊一個賬號并登錄。
在界面左上角選擇你的模型，即可開始對話。
Windows：瀏覽器搜索Open-WebUI，進入guan網，并復制紅框中的命令。
按照上面提到的步驟，打開命令行，輸入復制的命令，等待安裝完成。
運行Open-WebUI
雙擊docker的桌面圖標，打開軟件。點擊紅框端口，即可運行Open-WebUI。
初次訪問時，需要注冊一個賬號。這些信息會儲存在你的電腦里。
在界面左上角，選擇你的模型，就可以開始對話啦。
五、常見問題
1. 如何查看已安裝的模型?
在命令行中輸入以下命令：
ollama list
2. 如何刪除模型?
在命令行中輸入以下命令：
ollama rm deepseek-r1:1.5b
在命令行輸入，ollama rm + 模型名稱，例如：ollama rm deepseek-r1:1.5b，就會自動刪除對應模型。
3. ollama的其它功能
命令行輸入ollama，展示出ollama的其它功能。
比如：輸入“ollama stop”是停止模型運行，“run + 模型名”是運行對應模型。
六、總結
通過以上步驟，你可以輕松在本地部署 DeepSeek 模型。無論是通過手動安裝還是使用 Ollama，本地部署都能為你提供更高的靈活性和數據安全性。
