// 服务 / 本地 AI / neocloud
NeoCloud 测试结果
与我们在自有工作站上运行的同类引擎和模型,在租用的 NeoCloud GPU 上实测,首先从 Google Colab 开始。每测试一家 NeoCloud 服务商,就为其单独增加一节;所有 notebook 都公开在 GitHub 上。在 NeoCloud GPU 上实测的引擎和模型,首先是 Google Colab。
// neocloud · google colab
Google Colab
我们公开的 notebook 在 Google Colab Pro 的 GPU 运行环境上运行语言模型和图像模型。每个 notebook 只安装一个引擎,把模型一次性下载到 Google Drive,并通过一个带身份验证、兼容 OpenAI 的接口提供服务。2026 年 11 月在真实的 Colab 运行环境上逐个请求实测。我们公开的 notebook 在 Google Colab Pro GPU 上的实测结果,2026 年 11 月。
解码速度为温度 0 下一次 512 个 token 的回复。预填充速度和首 token 延迟使用约 3,500 个 token 的全新提示,在已加载的模型上测量(不复用前缀缓存);尚未用它重新测试的 notebook 标为“下次测试”。图像和视频速度按第一个结果之后每个结果计算。
L4 · 24 GB(RTX 4070 Ti 级别)

| 模型 notebook | 引擎 | 预填充 t/s | 首 token 延迟 | 解码 t/s |
|---|---|---|---|---|
| nemotron-3.5-bolt-74b-iq2 | llama.cpp | —下次测试 | —下次测试 | 38 |
| qwen3.8-27b-w4a16-sglang | SGLang | —下次测试 | —下次测试 | 16 |
| flash-next-gyro-s | Strata | —下次测试 | —下次测试 | 68 |
| qwen3.8-27b-exl3-2bpw | TensorFold | —下次测试 | —下次测试 | 83 |
| 模型 notebook | 引擎 | 输出 | 每个结果耗时 |
|---|---|---|---|
| flux3-klein-comfy | ComfyUI | 1024×1024 图像 | 8 s |
| minimax-h3-l4-comfy | ComfyUI | 832×480,5 秒视频片段 | 124 s |
| qwen-image-2.1-turbo-comfy | ComfyUI | 1024×1024 图像 | 8 s |
| qwen-image-2.1-nf4 | Diffusers | 图像 | 37 s |
| sdxl-base | Diffusers | 图像 | 17 s |
| sdxl-turbo | Diffusers | 图像 | 3 s |
A100 · 80 GB(High-RAM)

| 模型 notebook | 引擎 | 预填充 t/s | 首 token 延迟 | 解码 t/s |
|---|---|---|---|---|
| nemotron-3.5-bolt-74b-iq2 | llama.cpp | —下次测试 | —下次测试 | 79 |
| sage-a1.5-q4 | llama.cpp | 3,558 | 1.00 s | 134 |
| qwen3.8-27b-w4a16-sglang | SGLang | 2,018 | 1.76 s | 74 |
| flash-next-strata-iq3-s | Strata | —下次测试 | —下次测试 | 167 |
| qwen3.8-27b-exl3-2bpw | TensorFold | —下次测试 | —下次测试 | 144 |
| 模型 notebook | 引擎 | 输出 | 每个结果耗时 |
|---|---|---|---|
| flux3-klein-comfy | ComfyUI | 图像 | 3 s |
| minimax-h3-comfy | ComfyUI | 832×480,5 秒视频片段 | 35 s |
| qwen-image-2.1-bf16-comfy | ComfyUI | 1024×1024 图像 | 9 s |
| qwen-image-2.1-turbo-bf16-comfy | ComfyUI | 1024×1024 图像 | 4 s |
| wan22-5b-comfy | ComfyUI | 832×480,5 秒视频片段 | 61 s |
G4 · RTX PRO 6000 Blackwell,96 GB

| 模型 notebook | 引擎 | 预填充 t/s | 首 token 延迟 | 解码 t/s |
|---|---|---|---|---|
| basalt-flash-next-nvfp4-dq6k | Basalt | —下次测试 | —下次测试 | 273 |
| hyperqwen-qwen3.8-27b-dflash2 | HyperQwen | —下次测试 | —下次测试 | ~315 |
| glm-maya-s | Maya | —下次测试 | —下次测试 | 77 |
| qwen3.8-27b-w4a16-sglang | SGLang | —下次测试 | —下次测试 | 77 |
其余 A100 和 G4 notebook 仍在测试中。
想把大模型装到自己的设备上?
说说您现有的设备、想用的模型和要解决的问题,我们会为您规划合适的本地部署方案。
