本地部署大模型性能测试，DeepSeek-R1-0528-Qwen-8B_依然是我的不二之选
图片大家好，我是 ai 学习的老章
今天分享一个我最近频繁使用的大模型并发压力测试工具，并实测一下我在双
4090登录后复制 显卡上本地部署的
<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B登录后复制登录后复制 模型的实际表现。
这是我目前最钟爱的三个 DeepSeek 蒸馏版本之一
DeepSeek-R1-0528 基于 Qwen3:8B 进行知识蒸馏优化，配合双 4090 实现本地高效推理，性能与效果兼备，深得我心
LLM-Benchmark 工具介绍
项目地址
http://github.com/lework/llm-benchmark登录后复制
LLM-Benchmark 是一款专为大语言模型设计的自动化并发性能压测工具，适用于开发者和运维人员对本地或远程 LLM 服务进行系统性性能评估。它支持从低负载到高并发的多阶段测试，帮助定位瓶颈、优化部署策略。
核心功能亮点
主要文件说明
??run_benchmarks.py?主测试脚本，执行全量多轮测试，自动生成汇总报告。
??llm_benchmark.py?核心压测逻辑，处理并发请求、连接池管理及流式响应测试。
??assets/?存放测试用资源文件。
??README.md?详细使用文档与参数说明。
使用方式
1. 执行完整性能测试（推荐）
运行以下命令进行全量多并发测试，适合全面评估模型服务能力
python run_benchmarks.py \? ? --llm_url?"http://your-llm-server"?\? ? --api_key?"your-api-key"?\? ? --model?"your-model-name"?\? ? --use_long_context登录后复制
参数说明
2. 单次并发测试（按需定制）
若只想测试特定并发级别，可使用单测脚本
python llm_benchmark.py \? ? --llm_url?"http://your-llm-server"?\? ? --api_key?"your-api-key"?\? ? --model?"your-model-name"?\? ? --num_requests??\? ? --concurrency?登录后复制
参数说明
还可自定义输出 token 数、超时时间、输出格式等。
实测结果展示
我使用如下命令对本地部署的模型进行全量长上下文测试
python run_benchmarks.py \? ? --llm_url?"http://localhost:8001/v1"?\? ? --api_key?"123"?\? ? --model?"R1-0528-Qwen3-8B"?\? ? --use_long_context登录后复制
测试结果
图片
性能指标解读
RPS（每秒请求数）
衡量系统吞吐能力，RPS 越高，并发处理能力越强。测试中从单并发 0.91 提升至 300 并发下的 43.53，表现出色。
平均延迟（秒）
用户体验的关键指标。低并发时仅 1.098 秒，300 并发上升至 12.62 秒，符合预期增长趋势。
P99 延迟（秒）
反映极端情况下的响应稳定性。随着并发增加略有上升，但整体可控。
平均 TPS（每秒生成 token 数）
衡量模型生成效率。峰值达 90.89 tokens/s，在 50 并发下仍保持 42.44，表现优异。
首 Token 延迟（秒）
影响交互即时感。低并发下低至 0.035 秒，但在 200/300 并发时升至约 2.85 秒，说明高负载下启动响应略有延迟。
成功率
所有测试场景下均为 100%，无请求失败，稳定性极佳。
对比主流平台 DeepSeek API 实际生成速度
| 平台 | 生成速度（tokens/s） | 备注 |
|---|---|---|
| DeepSeek-V3 官方宣称 | 60 | 官方数据 |
| DeepSeek-R1 实测（Content部分） | 37.76 | 118 tokens / 3.12s |
| DeepSeek-R1 总体实测 | 33.01 | 436 tokens / 13.21s |
| 深圳本地测试 DeepSeek 官方服务 | 37.117（生成），25.378（推理） | —— |
| 火山引擎（深圳） | 65.673 | 成都节点高达 72.276 |
| 火山引擎（六平台评测均值） | 32（生成），29（推理） | 稳定性突出 |
| 硅基流动（深圳） | 16.966 | —— |
| 阿里云百炼（深圳） | 11.813 | 存在明显时段波动 |
| 讯飞开放平台 | 1.2（推理均值） | 表现较弱 |
| Meta Llama API（Cerebras） | 高达 2600 | Llama 4 Cerebras |
| Groq（Llama 4 Scout） | 460 | 极速推理硬件支持 |
总结
在本地资源有限的前提下，<em>DeepSeek</em>-R1-0528-<em>Qwen</em>-8B
登录后复制登录后复制 配合双 4090 显卡部署方案，依然是我心中最均衡、最实用的选择。
无论是吞吐能力、响应速度还是稳定性，实测表现都令人满意，尤其在中等并发下兼顾了效率与体验。相比部分公有云 API 的波动性，本地部署更可控、更安全、成本更低。
如果你也在寻找一款适合本地运行的高性能蒸馏模型，强烈推荐尝试这个组合！