低成本运行超大模型，华硕 Ascent GX10双机和三机互联

你能想象吗？在自己的工作室里,运行一个2000多亿参数的大模型,这在以前简直是天方夜谭。但随着华硕基于英伟达GB10芯片的迷你个人超算正式上市,这个"疯狂"的想法变成了现实。 这台被戏称为"大模型神器"的机器,单机就配备了128GB的共享内存,其中可以分出100多GB当作显存使用。更令人兴奋的是,它支持通过ConnectX-7端口进行高速串联。英伟达DGX官方给出了两台互联的教程,但我们这次直接挑战了三台机器的互联——这意味着全网无教程可循,所有的坑都要自己踩。 评测机构：至顶AI实验室 测评时间：2026年1月13日 评测产品：华硕 Ascent GX10 主要参数：基于NVIDIA Blackwell GB10、统一内显存：128G、操作系统：DGX OS。 评测主题：华硕 GX10三机互联 华硕GX10：为大模型而生的个人超算 华硕GX10是一款基于英伟达GB10芯片的迷你个人超算系统。其核心配置亮点在于： 128GB共享内存：可灵活分配100GB+作为显存 ConnectX-7高速互联端口：支持QSFP连接,实现多机高速串联 统一内存池架构：多机互联后可形成更大的显存池 完整的企业级生态：支持Docker容器、Ray集群管理等主流部署方案 这样的配置,让原本只能在数据中心运行的超大规模模型,有了在个人工作室落地的可能。 评测方案：从双机到三机的进阶之路 双机互联：跟随官方脚本 我们首先按照英伟达官方教程进行了双机互联测试。整个过程相对标准化： 硬件连接：使用一根QSFP连接线将两台机器的ConnectX-7端口连接 网络配置：为两台机器的端口分别配置IP地址、建立免密SSH连接、测试网络连通性 软件部署：下载官方启动脚本、拉取vLLM的Docker镜像、配置Ray集群:一台作为头节点,另一台作为工作节点 启动成功后,通过`ray status`命令确认:可用GPU数量为2,统一内存池达到200多GB。双机互联顺利完成。 三机互联：无人区的探索 三机互联才是真正的挑战。没有官方教程,没有成功案例,一切都要从零摸索。 网络拓扑设计：采用环形串联方案 使用三根QSFP连接线 A连接B,B连接C,C连接A,形成环路 每台机器配置IP并设置路由转发 全面测试三机间的网络连通性 软件架构调整： 选用v2.5.10版本的vLLM镜像(与双机不同) 抛弃官方脚本,重写启动脚本以适配三机场景 一台头节点+两台工作节点的集群架构 并行策略优化： 双机采用张量并行(Tensor Parallel) 三机改用Pipeline并行,更适合多节点场景 经过两周的反复调试,三机集群终于成功启动。`ray status`显示:3个可用GPU,统一内存池突破300GB。 性能实测：不同模型的表现如何 双机测试：140GB模型的挑战 测试模型：Qwen2.5 72B(FP16精度) 显存需求：约140GB、加载时间：8分钟、GPU利用率：96% 性能指标： TTFT(首Token延迟)：1.39秒、TPS(生成速度)：2.75 tokens/秒 FP16的稠密模型表现中规中矩。我们换上了一个FP8精度的MoE稀疏模型进行测试。 测试模型：GLM-4.5(106B参数,FP8精度) TPS：18.3 tokens/秒 稀疏模型的表现明显更好,这也符合MoE架构的特性。 三机测试：突破300GB显存 测试模型：Qwen3.2 235B(FP8量化) 显存需求：约260GB 加载时间：9分多钟 GPU利用率：平均不到60% 性能指标：TTFT：1.71秒 TPS：8.0 tokens/秒 在300GB显存的支持下,这个超大规模模型运行稳定,推理速度在可接受范围内。值得注意的是GPU利用率并不高,说明还有优化空间。 技术难点与解决方案 整个三机串联过程累计耗时两周,主要遇到了以下难题： 1.软件版本兼容性：不同版本的vLLM对多机支持程度不同,需要反复测试 2.子网配置：三机环形拓扑的路由转发配置复杂 3.Ray集群配置：官方脚本不适用,需要深度定制 4.并行策略选择：张量并行vs Pipeline并行的权衡 特别要感谢云中助手的林海兵老师,在关键环节提供了多次指导,帮助我们突破了技术瓶颈。 结论：个人超算时代真的来了 通过这次深度评测,我们可以得出以下结论： 可行性验证：华硕GX10确实可以通过多机串联运行超大规模模型,理论上可以扩展到4台、5台甚至10台以上 成本优势明显：相比传统数据中心方案,这种"桌面超算"方案的成本降低了一个数量级 性能表现可用：虽然比不上专业GPU集群,但对于研究、开发和小规模部署已经足够 仍需技术门槛：网络配置、集群管理、并行优化都需要相当的技术积累 应用前景广阔：AI研究实验室可以低成本搭建训练推理环境、中小企业可以部署私有大模型服务、技术爱好者可以在本地体验前沿AI能力。 华硕 GB10的出现,让"大模型自由"不再是大厂的专利。虽然多机互联还有不少坑要踩,但这条路已经被证明是可行的。随着生态的完善和社区的贡献,相信这个门槛会越来越低。