Deepseek-R1-Vllm 调用方式

一、创建实例

3090、4090资源已部署DeepSeek R1镜像，支持本地访问和对外访问方式。

选择创建云服务器 -> 选中图中镜像，配置云盘与带宽等参数 -> 创建资源。

具体配置选择可以根据需求创建，请参考：AI 智算云产品文档中心_创建容器实例

容器云部署了多个模型库，可根据需求自行选择。

（1）执行命令deepseek

deepseek

（2）根据提示，输入【1】，选择"本地访问”，输入对应的模型编号，即可开启与 DeepSeek 命令行对话，如下图所示：

注意事项：

（1）脚本存放在家目录下，即：/root 路径下，名为: run_ds.sh，请勿删除。

（2）使用交互式方式进行选择模型、设置端口、API 密钥等参数；若需要修改相关参数，请自行输入即可。

（3）如有本地自定义模型库，可修改脚本中这个环境变量参数:

  MODELS_DIR="/shared-public/deepseek/deepseek-ai/"

修改为

  MODELS_DIR=="自定义模型库绝对路径"

（1）按照2.1.1步骤启动服务。

（2）设置端口：例如：8088（或者服务对应的自定义端口）

若需要同时使用open-webui 和 vllm 开放端口，则如下配置需要设置不同服务分别对应的端口；开放端口配额默认1个，若需要开通更多，可联系在线工程师申请。

（3）保存后复制外网地址与端口

（4）打开本地浏览器，粘贴 “外网地址及端口”，即可开启DeepSeek对话。

注：首次登录需要先注册管理员账号。

默认web界面为中文，默认模型参数为32b

登录管理员账号后，根据自行选择，设置新用户注册，具体流程如下：

###2.2 对外访问

（1）执行命令deepseek启动服务

  deepseek

（2）普根据提示，输入【2】，选择"对外访问”。

（3）输入对应的模型编号，选择使用的模型。

（4）自定义输入主机地址、端口号、API密钥。如果直接回车，则系统自动配置成默认地址及端口。

注：当前密钥仅对当前服务有效，如果重启服务或关机，则会失效。请谨慎重启和关机！

API 支持WebUI、ChatBox、Cherry-Studio等客户端，可自行选择工具使用。

（1）根据 2.1.2 ，创建外网地址与端口（与2.2.1自定义的外网地址与端口号不同），打开浏览器配置粘贴 "外网地址及端口”。

（2）在界面中选择"管理员面板”

（3）选择"外部连接”——设置 -——开启 OpenAI-API

（4）配置相关API-KEY并验证，输入2.2.1中自定义的主机地址和端口、API 密钥。url格式：http://IP:端口号/v1 (opens in a new tab) ，如：http://127.0.0.1:6007/v1。 (opens in a new tab)

刷新开启新对话。

本地下载ChatBox客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY。url格式："http://IP:端口号/v1 (opens in a new tab)" ，如："http://127.0.0.1:6007/v1"。 (opens in a new tab) 输入2.2.1中选择的模型。即可开启对话。

本地下载Cherry Studio客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY，url格式："http://IP:端口号/v1 (opens in a new tab)" ，如："http://127.0.0.1:6007/v1"。 (opens in a new tab) 输入2.2.1中选择的模型。即可开启对话。

本地下载AnythingLLM客户端，在界面中配置2.2.1自定义的主机地址、端口号、KEY，url格式："http://公网IP:端口号/v1 (opens in a new tab)" ，如： "http://127.0.0.1:6007/v1"。 (opens in a new tab) 输入2.2.1中选择的模型。即可开启对话。