Zen：1T+ 參數的混合專家架構

Zen 是 Hanzo 的旗艦語言模型家族。最大的模型 zen4-ultra 是 1.04 兆參數的混合專家（MoE）架構，每次前向傳播啟動 140B 參數。它是三年模型開發的結果，從 zen-nano（600M）到現在的 zen4 家族。

本文說明架構、訓練方法，以及讓 Zen 模型可以被稽核的鏈上驗證系統。

架構

Zen4-ultra 使用稀疏混合專家架構。核心設計：

• 總參數： 1.04T
• 每個詞元的作用中參數： ~140B（啟動比 13.5%）
• 專家： 每個 MoE 層 128 個專家，路由為 top-8
• 層數： 96 層 transformer，每隔一層是 MoE（48 層 MoE，48 層緊密）
• 上下文視窗： 256K 詞元（YaRN 位置插值）
• 詞彙表： 152K 詞元（多語言 BPE）

MoE 路由使用帶輔助負載均衡損失的學習閘控網路，防止專家塌縮。每個專家是帶 SwiGLU 啟動的標準前饋網路（FFN）。路由器為每個詞元從 128 個專家裡選 8 個：多樣性足以抓住複雜推論模式，計算仍可承受。

為什麼用 MoE

緊密模型按線性擴展：參數 2x，每個詞元的計算也是 2x。MoE 打破這個關係。Zen4-ultra 的總參數是 140B 緊密模型的 7.4x，但每個詞元的推論成本相同。多出來的參數是容量：模型存放更多知識、處理更多樣的任務，計算卻不按比例增加。

代價是記憶體。即便只有 140B 處於作用中，1.04T 參數也必須全部載入。這要求跨多個節點做分散式推論，ACI 網路因此成為必要。

Zen4 家族

模型	總參數	作用中參數	架構
zen4-mini	4B	4B	緊密
zen4-base	8B	8B	緊密
zen4-pro	14B	14B	緊密
zen4-max	30B	8B	MoE（32 個專家，top-2）
zen4-coder	80B	20B	MoE（64 個專家，top-4）
zen4-ultra	1.04T	140B	MoE（128 個專家，top-8）

家族中每個模型共用同一套分詞器、同一套注意力實作、同一條訓練資料管線。緊密模型（從 mini 到 pro）是從 ultra 蒸餾而來，不是單獨訓練。這保證整個家族的行為一致。

模型融合

Zen 模型不是在隨機初始化上從零訓練的。它們由表現最好的開放權重模型融合而成，我們把這套方法稱為結構化知識遷移。

基礎架構是 Qwen3。每個 Zen 模型都從一份 Qwen3 檢查點起步。這是 Zoo 基金會政策下的硬性治理約束（僅限 Qwen3+）。融合過程：

1. 架構對齊： 把來源模型架構對應到 Zen 的目標架構。對 MoE 模型，這包括用 DROP 上循環技術從緊密模型的層初始化專家（見我們的文章 Drop-Upcycling：以 1/4 的成本建構 13B 品質的 MoE 模型）。

2. 知識蒸餾： 在 (a) 原始預訓練資料和 (b) 來源模型教師輸出的混合上訓練 Zen 模型。教師集合包括按目標能力的基準成績選出的 Qwen3、DeepSeek 和 Mistral 檢查點。

3. 專家專門化： 初步融合之後，各個專家在領域資料上微調，數學、程式碼、科學推論、多語言文本，以推動專家專門化。路由器學會把領域詞元送到該領域的專家。

4. 行為對齊： 最終的行為調節使用 Zoo 基金會帳本中的 DSO（去中心化語意最佳化）經驗條目。這是社群治理層：Zen 表現出的行為，由社群投票寫入帳本的條目決定。

分散式訓練

Zen4-ultra 的訓練跑在 Hanzo Network 的計算叢集上：裸機節點，每台 8x H100 GPU，經 InfiniBand 連接。訓練基礎設施：

• 框架： 緊密層用帶 FSDP（完全分片資料平行）的 PyTorch，MoE 層用訂製的專家平行分片
• 節點： 512 個節點（4096 塊 H100 GPU）用於完整的 ultra 訓練
• 訓練時間： 最終融合與專門化階段 14 天
• 資料： 15T 詞元，去重，按品質過濾，多語言（97 種語言）
• 檢查點： 每 1000 步上傳到 Hanzo Storage，使用內容定址雜湊

專家平行策略把每個專家放在一塊 GPU 上，並用全對全通訊做詞元路由。這比資料平行更吃通訊，但避免了在每塊 GPU 上複製全部專家的記憶體開銷。

鏈上模型證明

每個 Zen 模型檢查點在 Hanzo Network 上都有一筆鏈上證明。證明包括：

• 模型雜湊： 完整權重張量的 SHA-256，由規範的 safetensors 序列化確定地算出
• 訓練組態雜湊： 完整訓練組態的 SHA-256（超參數、資料混合、計算分配）
• 基準結果： 標準化基準分數（MMLU、HumanEval、MATH 等），由 Zoo 基金會評估委員會的獨立評估者計算
• TEE 證明： 訓練節點的 Intel TDX 或 AMD SEV 證明，證明訓練跑在所聲稱的硬體上、使用所聲稱的程式碼

證明合約部署在 Hanzo Network 的一個眾所周知的位址上。任何人都可以核驗給定的模型權重與已證明的雜湊一致，並且基準結果出自評估委員會，而不是自行填報。

這並不能阻止一切取巧：訓練資料裡的基準污染仍然很難發現。但它提供一條可核驗的鏈，從訓練硬體到已發布的權重，再到所聲稱的效能。雜湊對不上，權重就被改過。TEE 證明無效，訓練環境就和聲稱的不同。

在 ACI 上推論

Zen4-ultra 以 FP16 載入全部參數大約需要 2TB 記憶體。沒有任何單個節點有這麼多 GPU 記憶體。推論用張量平行分布到 ACI 計算節點上：

• 緊密層在單個節點的 H100 GPU 上做 8 路張量平行
• MoE 層在節點之間做 專家平行：每個節點持有一部分專家
• 以 zen4-mini 為草稿模型的 推測解碼，在長文生成上獲得 3.2x 的吞吐提升

生成 256 個詞元的端到端延遲：首詞元 1.8 秒，其後每秒 45 個詞元。在作用中參數數量相同的情況下與緊密模型相當，儘管有分散式開銷。

開放權重

所有 Zen 模型以 Apache 2.0 在 HuggingFace 和 hanzoai/zen 儲存庫發布。權重、分詞器、訓練組態和評估指令碼都包括在內。開放權重是 Zoo 基金會治理的結構性要求：寫進組織章程，不是可自行決定的政策。

連結

• 模型： huggingface.co/zenlm
• 原始碼： github.com/hanzoai/zen
• 證明： explore.hanzo.network — 鏈上模型證明紀錄
• 基準： zenlm.org/benchmarks

---

Hanzo AI 是 Techstars '17。Zen 模型：zenlm.org。Hanzo：hanzo.ai。