《AI Agent生产力部署指南:OpenClaw + vLLM 本地化实战——(二)vLLM与网络穿透》
本章节接着上一章节的内容,主要介绍vLLM在服务器上的部署、搭建、验证,构建一个可使用的大模型服务器。同时还将介绍通信转发的内容,让虚拟机成功访问服务器,让本地机器达到一个中间通信组件的作用。下面直接开始吧。(三)搭建服务器模型环境(vLLM)前两步我们在完成了虚拟机的构建,在虚拟机完成了openclaw的搭建,完成了本地主机浏览器对虚拟机openclaw的网页访问。在这一步我们将在服务器(可通信、部署大模型的机器上,如果你是本地机器作为服务器则更简单)构建vLLM,并且启动调用本地大语言模型,为后续openclaw调用模型而做准备。使用模型框架(Ollama或vLLM)运行大语言模型,这里我采用的是 vLLM + Qwen3.5-27B-FP8的组合。当然模型的使用具体还是根据自身资源来动态匹配,例如只有24G显存,那可以选择Qwen3.5-4B或Qwen3.5-9B(或者其他更大参数但量化过后的模型)。说明:(这里就不过多介绍CUDA驱动版本安装等因素了,有疑问的可以沟通)如果你已经有了环境可以自行选择使用,这里将通过conda创建虚拟环境安装vLLM。① 安装vLLM(在服务器中操作)1. 首先我们下载Miniconda安装包,这个可以通过下面命令下载,也可以通过官网手动下载安装包。# 这是Linux版本 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh2.运行安装脚本:bash Miniconda3-latest-Linux-x86_64.sh3. 安装选择按 Enter 继续阅读许可协议,然后输入 yes 接受。 确认安装路径(通常默认在 ~/miniconda3)或自定义。 当询问是否将 Conda 初始化添加到 .bashrc 时,建议输入 yes。4. 创建虚拟环境conda create -n vllm_env python=3.12 -y5. 进入虚拟环境conda activate vllm_env6. 安装vLLM(uv和pip选择一种安装方式)# 方法一: # (推荐,使用uv安装预发版本,openclaw更新超快,vllm旧版本可能有功能不匹配) pip install uv uv pip install -U vllm --pre --extra-index-url https://wheels.vllm.ai/ni