不用英伟达训出来的模型能干活吗?中国电信 Xing4.0 开源:29B 塞进一张 4090,显存只要 15GB

不用英伟达训出来的模型能干活吗?中国电信 Xing4.0 开源:29B 塞进一张 4090,显存只要 15GB

不用英伟达训出来的模型能干活吗?中国电信 Xing4.0 开源:29B 塞进一张 4090,显存只要 15GB 封面

见得多了,本来没抱希望

说实话,国产开源大模型这两年你见得还少吗。

发布会一场接一场,技术报告一份比一份厚,PPT 上的曲线一条比一条陡。然后呢?权重不放,或者放个蒸馏过的阉割版,或者干脆只给你一份 API 邀请码。

所以 2026 年 9 月 17 日中国电信把「星辰」Xing4.0-29B-A4B 扔出来的时候,咱们的第一反应也是:又来。

结果这次不太一样。Hugging Face、ModelScope、Modelers 三个平台同步上线,协议是 Apache 2.0,组织名叫 XingChen-AGI,星辰系列,前身 TeleChat。权重是真放出来的。

结论前置:它把 29B 的模型塞进了一张消费级显卡。4-bit 量化之后显存约 15GB,RTX 3090、4090 这类 24G 的卡就能扛住长上下文。

这意味着什么?意味着长程 Agent 这种以前得排队等云端、按 token 烧钱的活儿,你现在可以自己在家跑。

29B 总参数,每个 token 只唤醒 4B:稀疏 MoE 的账本
29B 总参数,每个 token 只唤醒 4B:稀疏 MoE 的账本

29B 的身子,每次只叫醒 4B

先把架构说成人话。

你可以把它想成一家坐着 29 个专家的公司。但每来一个活儿,它只叫 4 个专家到场,外加 1 个什么都沾点的共享专家。这就是 MoE 稀疏激活:29B 是总参数,每个 token 真正参与计算的只有 4B。

官方给的数是 64 个路由专家,每 token 激活 4 个加 1 个共享专家,MLA 注意力,40 层,hidden size 3584。算力按 4B 花,知识量按 29B 算,这笔账很划算。

上下文是原生 256K,能扩到 512K。官方把架构描述成 mHC + MLA + MTP,其中的 MTP 拿来当投机解码用,说白了就是让模型先猜几个 token 再回头验,把生成速度往上提。

还有个细节挺有意思:README 里明确致谢了 DeepSeek 团队的架构设计启发。这事不丢人,开源圈本来就是踩着前人的肩膀往前走。

「全栈国产」这四个字,分量到底在哪

现在说最有争议的部分。

官方说法是全栈国产:训练跑在昇腾 910C 集群上,框架用 MindSpore 和 MindFormers。这是厂商自述,不是第三方结论,官方称这是该规模上第一个全程用国产算力加国产框架训出来的模型。

难在哪?不是把显卡换掉就完事了。框架、算子库、并行策略、通信库、显存调度,整条链路从头到尾都得在昇腾上跑通,还得跑得稳、跑得快。任何一个环节掉链子,几万张卡的集群就变成几万块电暖器。

训练吞吐相对开箱配置提升约 96%,这个数字同样是厂商数据,一样要打标签看。

昇腾原生这条路线并不是只有电信在走,华为的 openPangu 2.0 可以对照着看,昇腾原生开源大模型的完整梳理在这篇里。

75 分和 57.5 分,该怎么看

先看最硬的两个。

SWE-bench Verified 75.0。对照一下,Gemma4-26B-A4B 是 53.0,Qwen3.6-35B-A3B 是 76.0。Terminal-Bench 2.1 拿到 57.5,对比对象是 30.0 和 51.5。

这两个榜单考的是真干活:丢给你一个真实仓库的 issue,让模型自己改代码、开终端、把测试跑绿。57.5 对 30.0,差距不是一星半点。

其他几项:SWE-bench Multilingual 66.0,Claw-Eval 76.55,DeepresearchBII 60.80。数学和工具调用上,AIME2026 是 90.0,Qwen3.6 是 92.7;Tau3-Bench 64.63,Qwen3.6 是 67.2。SuperCLUE 智能体能力 93.52,排第三,和两款头部 Qwen 差距不到 1 分。

但请你把这句话记牢:以上全部是厂商自测数据,目前还没有第三方复现。

所以正确的读法是看趋势,不是看排名。它的强项明显在 Agent 和代码,不在数学。这也解释了它为什么要花大力气做 256K 上下文和工具调用格式对齐。

顺带一句,稀疏 MoE 配长程 Agent 这个组合,最近不止电信一家在押,阶跃 Step 5 Preview 的技术路线也值得放在一起看。

一条 vLLM 命令把 Xing4.0 拉起来,OpenAI 兼容接口直接可用
一条 vLLM 命令把 Xing4.0 拉起来,OpenAI 兼容接口直接可用

实操一:一条 vLLM 命令把它跑起来

先泼盆冷水:别指望 pip install 最新版就能跑。Xing4.0 在 vLLM 里的支持目前是个 PR(vllm-project/vllm#57135),发布时还没合进 main。

最省事的办法是用官方预置镜像:

quay.io/xingchen-agi/xingchen-inference-vllm:v0.29.1rc1-xing4_0
quay.io/xingchen-agi/xingchen-inference-sglang:v0.5.20.rc1-xing4_0

起服务的命令原样抄给你:

vllm serve ${MODEL_PATH} \
  --host 0.0.0.0 --port 8000 \
  --served-model-name Xing4.0-29B-A4B \
  --tensor-parallel-size 2 \
  --trust-remote-code \
  --max-model-len 262144 \
  --gpu-memory-utilization 0.90 \
  --max-num-seqs 4 \
  --enable-auto-tool-choice \
  --reasoning-parser xing4_0 \
  --tool-call-parser xing4_0 \
  --speculative-config '{"method":"mtp", "num_speculative_tokens": 1}'

起完之后,OpenAI 兼容接口在 http://localhost:8000/v1,你现有的客户端基本不用改就能接。

几个关键参数逐个说清楚

  • tensor-parallel-size 2:bf16 权重 62.4GB,两张卡摊开才放得下
  • trust-remote-code:自定义架构必须开,不开加载直接报错
  • max-model-len 262144:对应原生 256K,别手抖写成 32768 又回来问为什么长文本不行
  • gpu-memory-utilization 0.90 配 max-num-seqs 4:长上下文场景下并发要压住,这是这类配置的通病
  • enable-auto-tool-choice 加上 tool-call-parser / reasoning-parser xing4_0:Agent 能不能调工具、思维链能不能正确切出来,全靠这三个
  • speculative-config 里的 mtp:走 MTP 投机解码,num_speculative_tokens 1 表示每次猜 1 个 token

实操二:显存不够怎么办

三条路,你自己对号入座。

如果你只有一张 24G 的消费卡,走量化。4-bit 量化后显存约 15GB,社区已经有 IQ4_NL 的 GGUF,约 20.1GB。长上下文能跑,但别一上来就拉满并发。

如果你有两张卡,直接 TP=2 上 bf16,62.4GB 摊开就行,上面那条命令照抄。

如果你是一张卡加一堆内存,用 KTransformers 做异构,GPU 只放部分专家,剩下的丢给 CPU:

python -m sglang.launch_server \
  --model-path ${MODEL_PATH} \
  --served-model-name Xing4.0-29B-A4B \
  --tensor-parallel-size 1 \
  --trust-remote-code \
  --kt-method BF16 \
  --kt-cpuinfer 50 \
  --kt-threadpool-count 2 \
  --kt-num-gpu-experts 24 \
  --max-total-tokens 65536 \
  --tool-call-parser xing4_0 --reasoning-parser xing4_0

其中 kt-num-gpu-experts 24 表示 GPU 上放 24 个专家,其余交给 CPU 和内存;kt-cpuinfer 50 是 CPU 侧的推理线程数。代价是速度,换的是能跑起来。

推荐推理参数官方也给了:

  • 复杂推理 / 通用任务:temperature=1.0,top_p=0.95,repetition_penalty=1.05
  • 编码 / Agent 任务:temperature=0.8,其余两项同上

微调这边支持 LLaMA-Factory 和 MindFormers,社区已经有 6 个微调版流出。格式层面它已经对齐 OpenCode、Claude Code、OpenClaw、Hermes 这些 Agent 框架,也就是说你不用自己写适配层。想把它接进 OpenClaw 当本地大脑的,OpenClaw 的玩法整理可以先看一遍。

四个坑,动手之前先看

坑1:最新版 vLLM 直接装,跑不起来

现象是模型一加载就报不认识这个架构。根因是 Xing4.0 的 vLLM 支持还是 PR #57135,发布时没合进 main,SGLang、TensorRT-LLM、llama.cpp、KTransformers 的适配 PR 当时也都还挂着。解法就一个:用官方预置镜像,或者拉对应的 PR 分支。

坑2:15GB 不是整机配置

现象是按着 15GB 配生产环境,跑到一半 OOM。根因是 15GB 只是模型权重的占用,KV Cache、并发数、262144 的 max-model-len 全都要另算显存。解法是先用短上下文把输出验对,再一点一点加长度和并发。

坑3:跑分不是排行榜

现象是拿 75.0 去和别人的 76.0 排座次。根因是全厂商自测,SWE-bench 和 Terminal-Bench 的分数对 harness 和推理配置极敏感,换个参数就能差出好几十分。解法是拿来看趋势,别当排行榜用。

坑4:训练侧的故事你复现不了

现象是有人想照着 README 自己从头训一遍。根因是全栈国产说的是昇腾 910C 加 MindSpore 那条训练链,普通开发者能拿到的是推理权重。解法很现实:没有对应硬件就别想,把精力放在推理和微调上。

写在最后

官方说它已经在电信集团级客服平台里跑多步问询了,这句同样是厂商说法,听听就好。

社区早期数据倒是有点意思:上线两天,HF 显示 7278 次下载,GitHub 65 star,已经有人放出 6 个微调版和 7 个量化版。算不上爆,但也不冷。

一个模型的价值,从来不在发布会上它被讲得多好听,而在你下班回家能不能把它塞进自己那张卡里跑起来。

回到开头那句话:国产开源模型见得多了,PPT 居多。这次不一样的地方只有两个,权重真放出来了,还真的塞进了一张 4090。仅此而已,也恰恰是这两点最难。

那它到底能不能干活?看上面的 75 分和 57.5 分,再对照「厂商自测」这四个字。剩下的部分,你自己拉下来跑一遍就知道了。

关注圈圈,持续带你玩转 AI 工具。

© 版权声明
THE END
喜欢就支持一下吧
点赞87 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容