首页
服务
人工智能本地部署 实测结果 图像与视频 NeoCloud 测试 离线安保系统 数字化转型 专业摄影
团队
王辰 (Bruce) 工作经历 教育背景 联系我们

人工智能本地部署

把 Qwen3.8-Flash-Next、DeepSeek V4.1 Flash 1017、GLM-5.3-Flash 等国产开源模型部署到自己的电脑或服务器上,代码、文件和业务资料无需上传给任何外部 AI 服务商。这些模型已能胜任编程、推理和智能体任务,而且都是我们在自己的 AMD 和 NVIDIA 工作站上实际跑过的版本。模型怎么用、能访问哪些数据,全由您决定,业务也不必绑在美国大型 AI 公司的闭源 API 上。把 Qwen3.8-Flash-Next、DeepSeek V4.1 Flash 1017、GLM-5.3-Flash 等国产开源模型部署到自己的设备上,资料无需上传给外部 AI 服务商。

使用云端闭源 AI,提示词、代码、文件和业务资料都要先送到服务商的服务器。保存多久、会不会用于训练,取决于服务商、套餐和合同。改用本地国产开源模型后,模型、日志、缓存和访问权限都掌握在自己手中;完全离线时,专有资料根本不用传出去,数据外泄、第三方留存和被用于训练的风险随之降低。

本地运行,对您意味着什么?

AI 在自己的设备上运行

我们把 AI 安装在您家里或办公室的电脑、工作站或服务器上。回答问题、总结文件、协助写作和编程,都不必再把请求发到云端。

重要资料可以留在自己手里

完全离线或隔离运行时,提示词、文件和代码不会发送给外部 AI 服务商。联网、远程通知和外部集成仍可能传输数据,所以我们会和您一起确定系统可以访问什么。

按需求挑选模型

我们先筛选能力匹配的模型,再结合任务、预算、设备和隐私要求确定方案,也可以接入您熟悉的聊天或编程工具。实际效果取决于模型版本、硬件、配置和具体工作。

实用,不依赖数据中心,也更环保

本地 AI 仍然需要硬件、电力和维护。根据模型和配置,它可以避免固定的云端月费或按量收费。它也不占用数据中心的算力,不必新建机房,不必新增电网接入。选型合理、设备多用几年,浪费还能再少一些。

本地 AI 不需要建数据中心

运行 AI 不一定要新建建筑、扩建供电系统,或配套大型冷却设施。对很多企业来说,本地模型可以在现有空间里的工作站或小型服务器上运行。对数据中心的依赖越少,环境负担就越轻;设备多用几年,负担还能再轻一些。

新建数据中心的环境代价

少占土地,少用材料,减轻电网压力

大型 AI 数据中心需要土地、混凝土、钢材、冷却设备和持续的电力供应,还可能需要扩建输电能力。这些环境代价,在模型处理第一个请求之前就已经产生。能在本地运行的任务,就不必再为它添置这一整套基础设施。

土地与材料电网需求制造碳排
更小规模的计算方式

本地 AI,一张桌子就能部署

像 NVIDIA DGX Spark 这样的小型 AI 工作站可以接入普通墙插,在使用者身边运行能力出色的开源模型。它需要的是一张桌子,而不是一座新建筑。不必征地破土,占地也远小于专用数据中心。

桌面级设备无需新建建筑更小的环境负担
减少对数据中心的依赖

能在本地跑的,就不必占数据中心

工作放在自己的设备上跑,别处就不必为它新建算力:不用征地,不用上冷却系统,也不用新增电网接入。用的是您现有的电力和空间。设备多用几年,报废后走正规渠道回收,环境负担还能再轻一些。

少依赖数据中心无需新增接入设备用得更久

国产开源模型,能力和控制权都要

如今的国产开源模型已经能处理复杂编程、推理和智能体任务。下面三款都是我们在自己的工作站上实际跑过的版本,详细数据见实测结果页。每款模型各有所长,最终效果仍取决于任务、量化方式、硬件和工作流配置。

阿里巴巴 通义千问

Qwen3.8-Flash-Next

阿里通义千问的 Qwen3.8-Flash-Next 是混合专家模型:主体 1250 亿参数,外加 510 亿 n-gram 嵌入,每个 token 只激活 60 亿,原生支持 262,144 token 上下文,采用 Qwen 社区许可证(并非 Apache 2.0)。我们用 Strata 跑它约 76 GB 的 IQ3_XXS 量化版:两张 RX 7900 XTX 上支持完整的 256K 上下文,RTX 3080 Ti 加 RTX 3080 上以 128K 上下文每秒约 84 个 token。混合专家模型,每个 token 只激活 60 亿参数;我们实测每秒约 84 个 token。查看 Hugging Face 模型页 →

Qwen3.8-Flash-NextIQ3_XXS256K 上下文
深度求索 DeepSeek

DeepSeek V4.1 Flash 1017

DeepSeek V4.1 Flash 1017 是深度求索 10 月发布的更新版,推理、编程和智能体能力都比原版 V4.1 Flash 更强。它是混合专家模型,主干 5520 亿参数,每次推理只激活 80 亿到 160 亿,原生支持百万级上下文,采用 MIT 许可证,可自由用于商业部署、微调和二次分发。我们从固态硬盘流式加载量化版:RTX 3080 Ti 加 RTX 3080 上,Unsloth 约 233 GB 的 IQ1_S 版本用 Strata 每秒约 12 个 token,用 Maya 每秒约 8 个 token;两张 RX 7900 XTX 上也用 Strata 和 Maya 运行同一版本,上下文 32K。深度求索 10 月更新版,MIT 许可可自由商用;我们在两台工作站上都实测过。查看 Hugging Face 模型页 →

DeepSeek V4.1 Flash 1017MIT 许可Maya IQ1_S
智谱 Z.ai

GLM-5.3-Flash

GLM-5.3-Flash 是智谱 GLM-5 系列中首款原生多模态模型:混合专家架构,总参数 3200 亿、每次激活 180 亿,采用 MIT 许可证。本地部署后,不再按 Token 向模型服务商付费,也没有云端速率限制。我们用 Maya 跑它约 95 GB 的 IQ2_XXS 量化版:RTX 3080 Ti 加 RTX 3080 上专家放在内存和固态硬盘中,每秒约 15 个 token。智谱原生多模态混合专家模型,MIT 许可;我们实测每秒约 15 个 token。查看 Hugging Face 模型页 →

GLM-5.3-FlashMIT 许可多模态

大模型就跑在您自己的设备上

一体式 AI 工作站、按需定制的推理服务器,或您已有的设备,我们都会按照负载规模、使用人数和性能要求来选型配置。

终端计算

从工作站到多 GPU 服务器

个人使用可以从一台工作站开始,团队使用则可部署带多张 GPU 的服务器。我们既能沿用您现有的设备和兼容内存,也能让仍然可靠的商用机器继续服役,或按照模型和并发需求配置新硬件。每家厂商都有自己的加速路线:Apple Silicon 用 MLX,NVIDIA 用 CUDA,AMD 用 ROCm,Intel 用 oneAPI。需要跨平台的通用方案时,Vulkan 在这几家上都能跑。从一台工作站到多 GPU 服务器,可沿用现有设备,也可配置新硬件,支持 Apple、NVIDIA、AMD 和 Intel。

一体式 AI 工作站

Apple Mac、AMD Ryzen AI Halo、NVIDIA DGX Spark

按原厂参考设计交付的整机:Apple Silicon 的 Mac、AMD Ryzen AI Halo 平台,以及 NVIDIA DGX Spark GB10 与 GB300 工作站。具体选哪一套,取决于模型规模、使用人数和您需要的性能。

一体式整机原厂设计
按需定制

定制推理服务器

推理服务器按单定制,加速卡按任务来挑:NVIDIA RTX PRO 6000、AMD Radeon AI PRO R9700 或 Intel Arc Pro B70。数据中心退役下来的推理卡是另一种选择:这类卡通常还有好几年使用寿命,价格远低于全新,也不会给本就紧张的内存市场再添一份需求。

把模型装好、跑稳、管起来

底层引擎负责让模型高效运行,桌面和网页应用让调用模型、执行智能体任务和搭建生成工作流更简单。我们会根据设备、模型和使用人数配好整套软件,不需要您自己逐项研究。

操作系统

Linux、Windows 与 macOS

Linux、Windows 和 macOS 都能运行本地大模型,包括 Apple Silicon 工作站、裸机服务器和虚拟机。对保密要求高的环境,还可以部署成完全离线或物理隔离的系统。

LinuxWindowsmacOS完全离线
模型引擎

vLLM、SGLang 与 llama.cpp

vLLM 和 SGLang 适合多人同时使用,llama.cpp 则能在多种硬件上运行量化模型。我们会按模型、操作系统、硬件和使用人数选择合适的引擎。

安装与管理

DeepSeek Harness 与 ComfyUI

DeepSeek Harness(dsh)是深度求索以 MIT 许可证开源的智能体框架,目前为开发者预览版,可在浏览器中调用本地模型完成编程和多步骤任务,模型和工具都能作为插件替换。ComfyUI 通过连接节点生成图像、视频和音频。两者都在您自己的硬件上运行。DeepSeek Harness 调用本地模型执行智能体任务,ComfyUI 生成图像、视频和音频,全部在您自己的硬件上完成。

Maya 与 Strata:从固态硬盘运行大模型

混合专家(MoE)模型每生成一个 token 只用到一小部分权重。Strata 和 Maya 这两个新的开源推理引擎正是利用了这一点:把最常用的专家缓存在显卡上,把一部分工作集放在系统内存里,其余权重只在需要时才从高速 NVMe 固态硬盘读取。这样,比电脑显存和内存加起来还大的模型,也能在消费级硬件上运行。Strata 和 Maya 从高速固态硬盘读取权重,让超过电脑内存总量的大模型在消费级硬件上运行。

工作原理

显卡、内存、固态硬盘三级存储

每个 token 只激活少数几个专家。最常用的专家缓存在显存中,有上限的工作集放在系统内存,其余专家按需从 NVMe 固态硬盘读取。上下文缓存经过压缩并流式管理,两个引擎都把模型各层分配到两张显卡上。内存保护机制确保模型不使用交换空间,并为电脑上的其他程序留出余量。常用专家在显卡,工作集在内存,其余按需从固态硬盘读取。

专家缓存NVMe混合专家
Strata

Qwen3.8-Flash-Next,256K 上下文

Strata 在两张 24 GB 的 Radeon 显卡上以完整的 256K 上下文运行 76 GB 的 Qwen3.8-Flash-Next IQ3_XXS 版本,在 GeForce 配置上使用 128K 上下文,专家和逐层数据从固态硬盘流式读取。GeForce 配置上生成速度为每秒 84 个 token,预填充每秒 1,058 个 token。Strata 也能运行 DeepSeek V4.1 Flash,在 GeForce 配置上每秒 12 个 token。76 GB 模型,256K 上下文,GeForce 配置上每秒 84 个 token。在 GitHub 查看 Strata →

Maya

在消费级显卡上运行 DeepSeek V4.1 Flash

Maya 是 Strata 的一个分支,用于运行 DeepSeek-V4.1-Flash-1017 和 GLM-5.3-Flash。在 GeForce 配置上,Unsloth 的 DeepSeek IQ1_S 版本约 233 GB,约为这台机器显存加内存共 118 GB 的两倍,仍能以 32K 上下文每秒生成 8 个 token。95 GB 的 GLM 版本可达每秒 15 个 token,上下文为 64K。233 GB 的 DeepSeek 模型跑在 118 GB 的机器上,每秒 8 个 token。在 GitHub 查看 Maya →

让本地模型真正干活

模型装好只是第一步。我们会把它接入对话界面、内部资料、代码仓库和业务工具,让它成为能安全使用的知识助手、编程助手和自动化智能体。

使用入口

私有对话与内部知识库

Open WebUI 提供类似常见 AI 聊天工具的界面,也能为不同用户设置权限。经过授权后,本地模型可以读取内部文档、代码仓库、向量数据库、业务工具和私有记忆,而这些资料不用发送给外部模型服务商。

Open WebUI 私有记忆访问控制
编程与自动化

编程助手与业务智能体

通过 OpenAI 兼容 API,OpenClaw、Hermes、Claude Code、Codex 和内部业务工具都能调用您自己的本地模型。原有流程可以逐步从云端 AI 切换到本地,不必推倒重来。

安全与治理

给智能体划清边界

我们会防范提示词注入,只开放完成任务所需的最小权限,并配合沙箱、允许列表、审计日志和重要操作人工确认。这样既能让智能体自动完成工作,也不会让它随意访问其他系统。

提示词注入防御最小权限 沙箱隔离审计日志 人工审批

真实测试结果

我们推荐的每个模型都会先在自己的工作站上实测:一台配两张 Radeon RX 7900 XTX,另一台配 RTX 3080 Ti 和 RTX 3080,并公开速度、上下文长度和设置。在我们自己的 AMD 和 NVIDIA 工作站上实测。

查看实测结果 → NeoCloud 测试结果 →

想把大模型装到自己的设备上?

说说您现有的设备、想用的模型和要解决的问题,我们会为您规划合适的本地部署方案。

咨询部署方案