普惠AI 如何在 Anolis OS 8 上部署生产可用的 DeepSeek 推理服务

DeepSeek部署教程手把手教学。

OpenAnolis小助手

759人浏览 · 2025-02-12 17:07:02

OpenAnolis小助手 · 2025-02-12 17:07:02 发布

背景介绍

DeepSeek-R1

DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。DeepSeek-R1-Distill-Qwen 则是通过 DeepSeek-R1 的输出，基于 Qwen 大语言模型，经过模型蒸馏的小模型，其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。

龙蜥操作系统

龙蜥操作系统 Anolis OS 8 是 OpenAnolis 龙蜥社区发行的开源 Linux 发行版，支持多计算架构，提供稳定、高性能、安全、可靠的操作系统支持。Anolis OS 8 中通过引入龙蜥生态软件仓库（EPAO），实现一键安装部署 AI 开发环境，解决了 AI 组件之间繁琐的依赖关系，加速 AI 应用的开发、部署流程。

EPAO 仓库为开发者提供了一键安装主流 NVIDIA GPU 驱动和 CUDA 加速库的功能，简化了驱动版本匹配和手动安装的繁琐过程。仓库中的组件均经过兼容性测试，确保一键安装时无需修改系统依赖项，从而提升了使用过程中的稳定性。

AC2

Alibaba Cloud AI Containers（简称 AC2）是阿里云官方推出的一系列 AI 容器镜像的合集。通过内置不同的硬件加速库、AI 运行时、AI 框架等满足用户不同场景的部署使用诉求，并通过与阿里云基础设施（ECS、ACK、ACS）深度优化，提升用户在阿里云上的 AI 性能和体验。

模型部署

前置准备

部署前需要准备：

NVIDIA GPU 实例（显存不小于 16G）：示例使用阿里云 ecs.gn7i-c8g1.2xlarge 规格实例
运行 Anolis OS 8 系统
不小于 60G 存储空间
公网访问能力，并开放 8000 端口

准备容器运行环境

1. 在 Anolis OS 8 上使用 EPAO 仓库安装 NVIDIA 驱动以及 CUDA 驱动。

dnf install -y anolis-epao-release
dnf install -y kernel-devel-$(uname -r) nvidia-driver{,-cuda}

2. 在 Anolis OS 8 上安装 Docker 运行环境，并安装 NVIDIA Container Toolkit 来支持 GPU 容器。

dnf config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
dnf install -y docker-ce nvidia-container-toolkit
systemctl restart docker

3. 安装运行依赖系统组件。

dnf install -y curl jq git{,-lfs}
git lfs install

4. 下载模型文件，下载耗时较长（约 30 分钟），且阻塞终端输入。模型下载为当前目录下的 DeepSeek-R1-Distill-Qwen-7B。

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git

运行 DeepSeek 容器

1. 从 AC2 拉取容器镜像，并运行 DeepSeek 部署容器。镜像会检查「MODEL_DIR」环境变量设置的模型目录下是否存在模型文件，并运行自动启动 vLLM 推理服务，以 OpenAI API 接口透出服务。

docker run -d -p 8000:8000 --gpus all \
  -v ./DeepSeek-R1-Distill-Qwen-7B:/models/DeepSeek-R1-Distill-Qwen-7B \
  -e MODEL_DIR=/models/DeepSeek-R1-Distill-Qwen-7B \
  ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/qwen2:7b-pytorch2.4.0-cuda12.1.1-py310-alinux3.2104

2. 容器运行后可以使用 docker logs <container_id> 来查看容器运行日志，正常运行后日志输入如下所示。API 服务已在本地 8000 端口运行。

INFO 02-11 01:16:33 launcher.py:19] Available routes are:
INFO 02-11 01:16:33 launcher.py:27] Route: /openapi.json, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /docs, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /docs/oauth2-redirect, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /redoc, Methods: GET, HEAD
INFO 02-11 01:16:33 launcher.py:27] Route: /health, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /tokenize, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /detokenize, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/models, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /version, Methods: GET
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/chat/completions, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/completions, Methods: POST
INFO 02-11 01:16:33 launcher.py:27] Route: /v1/embeddings, Methods: POST
INFO:     Started server process [10]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on socket ('0.0.0.0', 8000) (Press CTRL+C to quit)
INFO 02-11 01:16:43 metrics.py:345] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%.
INFO 02-11 01:16:53 metrics.py:345] Avg prompt throughput: 0.0 tokens/s, Avg generation throughput: 0.0 tokens/s, Running: 0 reqs, Swapped: 0 reqs, Pending: 0 reqs, GPU KV cache usage: 0.0%, CPU KV cache usage: 0.0%.

3. 通过 cURL 实用程序可以测试模型推理效果，例如提问「9.9和9.11哪个大？」。

curl -s http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "/models/DeepSeek-R1-Distill-Qwen-7B", 
       "messages": [{"role": "user", "content": "9.9和9.11哪个大？"}], 
       "max_tokens": 1024, "temperature":"0.9" 
      }' | \
  jq '.choices[0].message.content' | \
  xargs echo -e

4. 模型输出如下，由于 DeepSeek-R1 为推理模型，模型输出大致分为思考部分以及回答部分。

总结

DeepSeek-R1 在数学推理、编程竞赛等多个任务上表现出色，不仅超过了其他闭源模型，而且在某些任务上接近或超越了 OpenAI-o1 系列模型。一经发布，火爆海内外。本文介绍了如何在 Anolis OS 8 上使用 AC2 容器部署生产可用的 DeepSeek 推理服务。

通过 Anolis OS 8 所提供的原生 AI 能力，结合 AC2 容器化 AI 运行环境的预配置，用户得以免去自行部署 CUDA 驱动及安装 PyTorch/vLLM 等繁琐步骤，极大地简化了部署流程，有效规避了因组件与驱动版本不兼容所引发的潜在问题，更专注于核心业务逻辑，而无需被底层技术细节所困扰。这一创新组合显著降低了在生产环境中部署人工智能技术的门槛，真正使得 AI 技术普惠广大用户。

—— 完 ——