云服务器使用指南
工具使用
Ollama-Deepseek-R1

Ollama-Deepseek-R1 调用方式

注:由于Ollama服务暂不支持API KEY设置,存在安全隐患,Ollama推荐本地访问,如有需要使用对外访问功能,建议使用vllm或sglang框架,如有需要可以联系在线工程师协助处理。

一、创建资源

3090、4090资源已部署DeepSeek R1镜像,支持命令行与Web可视化方式运行。

选择创建云服务器 -> 选中图中镜像,配置云盘与带宽等参数 -> 创建资源。

image

具体配置选择可以根据需求创建,请参考:AI 智算云产品文档中心_创建云服务器

二、运行

2.1 命令行方式

云服务器部署了多个模型库,可根据需求自行选择。

(1)执行命令deepseek

deepseek

(2)根据提示,输入对应的数字,选择需要的模型,即可开启与DeepSeek对话,如下图所示:

image

测试参考:deepseek-r1:14b

注意事项:

(1)脚本存放在家目录下,即:/home/ubuntu 路径下,名为: run_ds.sh,请勿删除。

使用默认端口 8088 启动运行,如果需要自定义端口,可以传入端口号作为参数:

执行: deepseek [自定义端口号]

例如: deepseek 9090

(2)如需自定义模型库,则修改脚本 run_ds.sh 中如下参数:

 export OLLAMA_MODELS="自定义模型库绝对路径" 

2.2 Web可视化方式运行

(1)按照2.1步骤启动服务。

(2)点击云服务器ID:

image

(3)新增自定义端口:

image

(4)设置地址与端口:

源地址:0.0.0.0/0,端口范围:8088(或者自定义端口)。

image

(5)回到云服务器界面,复制外网IP。

(6)打开本地浏览器,输入“IP地址:端口号”如“xx.xxx.xxx.xxx:8088”(若自定义端口则输入:“xx.xxx.xxx.xxx:自定义端口”)。

注:首次登陆需要先注册管理员账号。

默认web界面为中文,默认模型参数为32b

登录管理员账号后,根据自行选择,设置新用户注册,具体流程如下:

image

(7)开启与DeepSeek对话。

image

(8)开通注册账号

建议关闭新账号注册,普通用户由管理员账号统一分配设置;如若开启可以自行设置开启即可。

image

选择管理员设置--开启这个选项

image

(9)普通用户加载模型

设置普通账号默认获取模型方式,需要在管理员控制板界面设置

image

image

image

(10)查看GPU使用率情况

image