如何在GPU算力平台上部署deepseek

第一步:注册

 注册链接https://cloud.lanyun.net//#/registerPage?promoterCode=0131,打开注册链接,注册账号

注册完之后登录自己的账户

之后点击应用启动器

第二步:环境准备

1. 硬件配置要求

  • CPU:至少 8 核 CPU,建议使用多核 CPU 以提高模型推理性能。
  • 内存:16GB 以上,具体需求根据任务复杂度和模型大小而定。
  • 存储空间:至少 1GB 用于存储 DeepSeek 模型和相关依赖项。

2. 软件环境配置

  • 操作系统:推荐使用 Linux 系统(如 Ubuntu 或 CentOS),也可以使用 MacOS。
  • Python:版本需 >= 3.8。
  • 深度学习框架:根据模型需求安装 TensorFlow 或 PyTorch。例如,使用 TensorFlow 时,可通过命令 pip install tensorflow==2.x 安装。
  • 其他依赖库:如 numpy、scipy、Pillow、matplotlib、h5py 等,可通过命令 pip install numpy scipy Pillow matplotlib h5py 安装。

这里我选择一个3090进行购买

根据自己的需要选择需要的环境。

第三步:购买完之后打开JupyterLab

上传自己的代码以及数据集

之后进入Terminal,之后通过命令进入到自己的环境中

第三步:安装Ollama,它提供了一个简单而高效的接口,用于创建、运行和管理这些模型,同时还提供了一个丰富的预构建模型库,可以轻松集成到各种应用程序中。Ollama 的目标是使大型语言模型的部署和交互变得简单,无论是对于开发者还是对于终端用户。

 使用命令安装  curl -fsSL https://ollama.com/install.sh | sh

安装完启动Ollama:

 之后利用命令运行deepseek-R1

  Ollama run deepseek -r1:1.5b

更多推荐