蓝耘算力云使用

创建GPU实例

• 蓝耘算力云平台和AutoDL的使用非常类似，可以说几乎是一模一样

• 蓝耘元生代智算平台地址

  下面这个是我的注册码，第一次注册填写后会送20的券

  https://cloud.lanyun.net/#/registerPage?promoterCode=a1dbf3fcee

• 创建GPU实例

  注册完成后进入容器云市场

  

  创建

  

  自行选择是否扩容数据盘（免费50G）,选择镜像后点击立即购买

  立即购买后，会出现以下提示，点击确定

​

​ 点击确定后等待开机，当开机状态为运行中，则可以连接了,这里我之前已经有实例了，就不新开了

连接实例

• 当看到实例的状态是运行中的时候，复制SSH链接和密码

  

  比如我的登录指令是

  可以直接在终端输入这个指令连接GPU机器

  ssh -p 28953 root@qhdlink.lanyun.net

  或者使用其他工具连接

• 使用finalshell连接，将密码复制并填如下面的密码框

  

• ---

创建隧道，配置端口转发

• 需要先在GPU实例进行端口映射

  关机后点击端口映射

  

  端口需要在 10000 -20000 之间，我这里启动了一个Ds-R1-32B蒸馏版模型，用的是18081端口

  

• 第一种方法，打开终端，输入

  之前复制的ssh连接是

  ssh -p 28953 root@qhdlink.lanyun.net
  

  所以我们使用如下命令

  ssh -CNg -L 8081:127.0.0.1:18081 root@qhdlink.lanyun.net -p 28953
  

  

  解释下参数

  1. -C：启用压缩传输，提升数据传输效率。
  2. -N：不执行远程命令，仅建立隧道（适用于纯端口转发场景）。
  3. -g：允许远程主机连接本地转发的端口（默认仅允许本地访问）。
  4. -L 8081:127.0.0.1:18081：将本地(GPU机器) 18081 端口的流量转发到远程服务器(当前本机)的 127.0.0.1:8081。
  5. root@qhdlink.lanyun.net：以 root 用户登录到GPU服务器。
  6. -p 28953：指定SSH服务端口为28953。

  测试下连接,在本机使用8081端口连接

  from openai import OpenAI
  import openai
  
  openai.api_key = '1111111' # 这里随便填一个
  openai.base_url = 'http://127.0.0.1:8081/v1'
  
  
  def get_completion(prompt, model="QwQ-32B"):
      client = OpenAI(api_key=openai.api_key,
                      base_url=openai.base_url
                      )
      messages = [{"role": "user", "content": prompt}]
      response = client.chat.completions.create(
          model=model,
          messages=messages,
          stream=False
      )
      return response.choices[0].message.content
  	
  prompt = '你好，请简短并幽默的介绍下你自己'
  
  
  response = get_completion(prompt, 
                            model="DeepSeek-R1-Distill-Qwen-7B"
  			              )
  print(response)
  
  

  

  GPU机器上的也有请求过来

  

• 第二种，直接在FinalShell上创建隧道转发，或者如果你使用的是其他的，比如Mobax，也一样（mobax没有mac版本）

  

  设置好之后记得断开并重新连接该 SSH 服务器，使隧道设置生效

  ---