使用vLLM部署大模型 - 版本历史

2026年6月24日 (三) 20:02 Hovercool

2026-06-24T20:02:42Z

@@ 第259行： / 第259行： @@
         version 580.159.03 was detected and compatibility mode is UNAVAILABLE.
 </pre>
 *常用容器管理命令速查

2026年6月24日 (三) 19:15 Hovercool

2026-06-24T19:15:02Z

←上一版本		2026年6月24日 (三) 19:15的版本
第259行：		第259行：
	version 580.159.03 was detected and compatibility mode is UNAVAILABLE.		version 580.159.03 was detected and compatibility mode is UNAVAILABLE.
	</pre>		</pre>

			*常用容器管理命令速查
			<source lang="bash">

			# 查看
			sudo docker ps # 运行中的
			sudo docker ps -a # 所有的

			# 停止 / 启动 / 重启
			sudo docker stop vllm-qwen # 停止(保留)
			sudo docker start vllm-qwen # 启动已停止的
			sudo docker restart vllm-qwen # 重启

			# 删除
			sudo docker rm vllm-qwen # 删除已停止的容器
			sudo docker rm -f vllm-qwen # 强制删除(运行中也删)

			# 日志
			sudo docker logs -f vllm-qwen # 实时日志
			sudo docker logs --tail 50 vllm-qwen # 最后 50 行

			# 资源监控
			sudo docker stats # 看所有容器的 CPU/内存占用

			</source>

2026年6月24日 (三) 14:48 Hovercool

2026-06-24T14:48:02Z

@@ 第173行： / 第173行： @@
 辛苦了！从下载踩坑、网络重连、到驱动版本不匹配换镜像，一路过关斩将。好好享受这台强大的 Blackwell 机器带来的极致推理体验吧！有什么使用上的问题随时交流！
 </markdown>
 *注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：

2026年6月24日 (三) 14:39 Hovercool

2026-06-24T14:39:50Z

@@ 第112行： / 第112行： @@
 </source>
 启动成功：
-[[第一次vLLM完整启动日志]]
+<pre>
 *注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：

2026年6月24日 (三) 14:27 Hovercool

2026-06-24T14:27:54Z

←上一版本		2026年6月24日 (三) 14:27的版本
第111行：		第111行：
	sudo docker logs -f vllm-qwen		sudo docker logs -f vllm-qwen
	</source>		</source>
			启动成功：
			[[第一次vLLM完整启动日志]]

	*注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：		*注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：

2026年6月24日 (三) 13:45 Hovercool

2026-06-24T13:45:13Z

←上一版本		2026年6月24日 (三) 13:45的版本
第66行：		第66行：
	$ sudo docker inspect vllm/vllm-openai:nightly-aarch64 \| grep Architecture		$ sudo docker inspect vllm/vllm-openai:nightly-aarch64 \| grep Architecture
	"Architecture": "arm64",		"Architecture": "arm64",
			</source>

			如果此前有失败窗口，先清理：
			<source lang="bash">
			sudo docker rm -f vllm-qwen
	</source>		</source>

	运行：		运行：
	<source lang="bash">		<source lang="bash">
	~~# 确保设置了 API Key~~
	~~export VLLM_API_KEY=$(openssl rand -hex 32)~~
	~~echo "你的 API Key 是: $VLLM_API_KEY"~~

	~~# 启动容器~~
	# 确保设置了 API Key		# 确保设置了 API Key
	export VLLM_API_KEY=$(openssl rand -hex 32)		export VLLM_API_KEY=$(openssl rand -hex 32)
第88行：		第88行：
	-e HF_HUB_OFFLINE=1 \		-e HF_HUB_OFFLINE=1 \
	-e VLLM_API_KEY=$VLLM_API_KEY \		-e VLLM_API_KEY=$VLLM_API_KEY \
	~~nvcr.io/nvidia~~/vllm:~~26.01~~-~~py3~~ \		vllm/vllm-openai:nightly-aarch64 \
	--model /models/Qwen2.5-72B-Instruct-FP8 \		--model /models/Qwen2.5-72B-Instruct-FP8 \
	--served-model-name Qwen2.5-72B-Instruct \		--served-model-name Qwen2.5-72B-Instruct \
第106行：		第106行：
	--load-format fastsafetensors		--load-format fastsafetensors
	</source>		</source>

			查看日志：
			<source lang="bash">
			sudo docker logs -f vllm-qwen
			</source>

	*注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：		*注：第一次使用的是 nvcr.io/nvidia/vllm:26.01-py3镜像：
	<source lang="bash">		<source lang="bash">

2026年6月24日 (三) 13:39 Hovercool

2026-06-24T13:39:28Z

@@ 第56行： / 第56行： @@
 下载docker镜像：
 <source lang="bash">
-export LATEST_VLLM_VERSION=26.01-py3
+# export LATEST_VLLM_VERSION=26.01-py3
-docker pull nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION}
+# docker pull nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION}
 </source>
 确认一下：
 <source lang="bash">
-$ sudo docker inspect nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION} | grep Architecture
+# $ sudo docker inspect nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION} | grep Architecture
          "Architecture": "arm64",
 </source>
@@ 第78行： / 第80行： @@
 # 启动容器
 sudo docker run -d --name vllm-qwen \
    --gpus all \

2026年6月24日 (三) 13:27 Hovercool

2026-06-24T13:27:14Z

←上一版本		2026年6月24日 (三) 13:27的版本
第73行：		第73行：

	# 启动容器		# 启动容器
	docker run -d --name vllm-qwen \		# 确保设置了 API Key
			export VLLM_API_KEY=$(openssl rand -hex 32)
			echo "你的 API Key 是: $VLLM_API_KEY"

			# 启动容器
			sudo docker run -d --name vllm-qwen \
	--gpus all \		--gpus all \
	--ipc=host \		--ipc=host \
第81行：		第86行：
	-e HF_HUB_OFFLINE=1 \		-e HF_HUB_OFFLINE=1 \
	-e VLLM_API_KEY=$VLLM_API_KEY \		-e VLLM_API_KEY=$VLLM_API_KEY \
	~~vllm~~/vllm~~-openai~~:~~nightly~~-~~aarch64~~ \		nvcr.io/nvidia/vllm:26.01-py3 \
	--model /models/Qwen2.5-72B-Instruct-FP8 \		--model /models/Qwen2.5-72B-Instruct-FP8 \
	--served-model-name Qwen2.5-72B-Instruct \		--served-model-name Qwen2.5-72B-Instruct \
第99行：		第104行：
	--load-format fastsafetensors		--load-format fastsafetensors
	</source>		</source>
			结果报错：
			<pre>
			ERROR: This container was built for NVIDIA Driver Release 590.48 or later, but
			version 580.159.03 was detected and compatibility mode is UNAVAILABLE.
			</pre>

2026年6月24日 (三) 13:24 Hovercool

2026-06-24T13:24:07Z

←上一版本		2026年6月24日 (三) 13:24的版本
第53行：		第53行：
	‌使用 CLI 工具‌：		‌使用 CLI 工具‌：
	只要虚拟环境处于激活状态，你就可以直接使用 hf 或 huggingface-cli 命令。		只要虚拟环境处于激活状态，你就可以直接使用 hf 或 huggingface-cli 命令。

			下载docker镜像：
			<source lang="bash">
			export LATEST_VLLM_VERSION=26.01-py3
			docker pull nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION}
			</source>

			确认一下：
			<source lang="bash">
			$ sudo docker inspect nvcr.io/nvidia/vllm:${LATEST_VLLM_VERSION} \| grep Architecture
			"Architecture": "arm64",
			</source>

			运行：
			<source lang="bash">
			# 确保设置了 API Key
			export VLLM_API_KEY=$(openssl rand -hex 32)
			echo "你的 API Key 是: $VLLM_API_KEY"

			# 启动容器
			docker run -d --name vllm-qwen \
			--gpus all \
			--ipc=host \
			--restart unless-stopped \
			-p 8000:8000 \
			-v $HOME/data/models:/models \
			-e HF_HUB_OFFLINE=1 \
			-e VLLM_API_KEY=$VLLM_API_KEY \
			vllm/vllm-openai:nightly-aarch64 \
			--model /models/Qwen2.5-72B-Instruct-FP8 \
			--served-model-name Qwen2.5-72B-Instruct \
			--host 0.0.0.0 \
			--port 8000 \
			--api-key $VLLM_API_KEY \
			--tensor-parallel-size 1 \
			--trust-remote-code \
			--kv-cache-dtype fp8 \
			--attention-backend flashinfer \
			--gpu-memory-utilization 0.85 \
			--max-model-len 32768 \
			--max-num-seqs 4 \
			--max-num-batched-tokens 8192 \
			--enable-chunked-prefill \
			--enable-prefix-caching \
			--load-format fastsafetensors
			</source>

2026年6月23日 (二) 20:36 Hovercool

2026-06-23T20:36:59Z

新页面

<source lang="bash">

$ pip install -U "huggingface_hub[cli]"
error: externally-managed-environment

× This environment is externally managed
╰─> To install Python packages system-wide, try apt install
python3-xyz, where xyz is the package you are trying to
install.

If you wish to install a non-Debian-packaged Python package,
create a virtual environment using python3 -m venv path/to/venv.
Then use path/to/venv/bin/python and path/to/venv/bin/pip. Make
sure you have python3-full installed.

If you wish to install a non-Debian packaged Python application,
it may be easiest to use pipx install xyz, which will manage a
virtual environment for you. Make sure you have pipx installed.

See /usr/share/doc/python3.12/README.venv for more information.

note: If you believe this is a mistake, please contact your Python installation or OS distribution provider. You can override this, at the risk of breaking your Python installation or OS, by passing --break-system-packages.
hint: See PEP 668 for the detailed specification.

</source>

这个错误是因为你正在使用 ‌Ubuntu 23.04+‌、‌Debian 12+‌ 或其他遵循 ‌PEP 668‌ 标准的现代 Linux 发行版。系统为了保护自身稳定性，禁止直接使用 pip 向系统级 Python 环境中安装第三方包，以防止与系统包管理器（apt）发生冲突。

针对你想安装 huggingface_hub[cli] 的需求，以下是三种推荐解决方案，按‌推荐程度‌排序：

推荐使用虚拟环境（最推荐，标准做法）：
这是 Python 开发的最佳实践，既能隔离依赖，又不会破坏系统环境。

‌创建虚拟环境‌：
<source lang="bash">

python3 -m venv hf-env

</source>
‌激活虚拟环境‌：
<source lang="bash">

source hf-env/bin/activate

</source>
此时你的终端提示符前会出现 (hf-env)，表示已进入隔离环境。
‌在虚拟环境中安装‌：
<source lang="bash">

pip install -U "huggingface_hub[cli]"

</source>
‌使用 CLI 工具‌：
只要虚拟环境处于激活状态，你就可以直接使用 hf 或 huggingface-cli 命令。