Zen：1T+ パラメータの混合エキスパート構成

Zen は Hanzo の旗艦言語モデル群です。最大のモデル zen4-ultra は 1.04 兆パラメータの混合エキスパート（MoE）構成で、前向きパスごとに 140B パラメータを起動します。zen-nano（600M）から現在の zen4 群に至る、三年のモデル開発の到達点です。

この記事は、構成、学習の方法、そして Zen のモデルを監査可能にするチェーン上の検証を述べます。

構成

Zen4-ultra は疎な混合エキスパート構成を使います。中核の設計は次のとおりです。

• 総パラメータ: 1.04T
• トークンあたりの活性パラメータ: ~140B（活性化率 13.5%）
• エキスパート: MoE 層ごとに 128、経路選択は top-8
• 層: トランスフォーマ 96 層。一つおきが MoE（MoE 層 48、密な層 48）
• 文脈窓: 256K トークン（YaRN による位置の補間）
• 語彙: 152K トークン（多言語 BPE）

MoE の経路選択は、学習したゲーティング網に補助の負荷均衡損失を加え、エキスパートの崩壊を防ぎます。各エキスパートは SwiGLU 活性化の標準的な順伝播網（FFN）です。ルータはトークンごとに 128 のうち 8 つを選びます。複雑な推論の型を捉える多様性があり、計算は扱いやすい範囲に収まります。

MoE である理由

密なモデルは線形に伸びます。パラメータが 2x ならトークンあたりの計算も 2x です。MoE はこの関係を断ちます。Zen4-ultra は 140B の密なモデルの 7.4x の総パラメータを持ちながら、トークンあたりの推論コストは同じです。増えたパラメータは容量です。知識をより多く蓄え、より多様な課題を扱い、計算は比例して増えません。

引き換えはメモリです。活性なのは 140B だけでも、1.04T のパラメータをすべて載せる必要があります。複数ノードにまたがる分散推論が要り、そこで ACI のネットワークが不可欠になります。

Zen4 の一族

モデル	総パラメータ	活性パラメータ	構成
zen4-mini	4B	4B	密
zen4-base	8B	8B	密
zen4-pro	14B	14B	密
zen4-max	30B	8B	MoE（32 エキスパート、top-2）
zen4-coder	80B	20B	MoE（64 エキスパート、top-4）
zen4-ultra	1.04T	140B	MoE（128 エキスパート、top-8）

一族のどのモデルも、同じトークナイザ、同じ注意の実装、同じ学習データの経路を共有します。密なモデル（mini から pro まで）は独立に学習したのではなく ultra から蒸留します。一族のあいだで振る舞いが揃います。

モデルの融合

Zen のモデルは無作為な初期化からゼロで学習しません。成績の良いオープンウェイトのモデルから、構造化された知識移転と呼ぶ方法で融合します。

基礎の構成は Qwen3 です。すべての Zen モデルは Qwen3 のチェックポイントから始まります。これは Zoo 財団の方針のもとでの硬い統治制約です（Qwen3+ のみ）。融合の手順は次のとおりです。

1. 構成の位置合わせ: 元モデルの構成を Zen の目標構成へ対応づけます。MoE モデルでは、密なモデルの層から DROP のアップサイクルでエキスパートを初期化します（記事 Drop-Upcycling: 13B 品質の MoE モデルを 1/4 の費用で組む に書いてあります）。

2. 知識の蒸留: Zen のモデルを、(a) 生の事前学習データと (b) 元モデルの教師出力との混合で学習します。教師の集合には、目標能力のベンチマーク成績で選んだ Qwen3、DeepSeek、Mistral のチェックポイントが入ります。

3. エキスパートの専門化: 最初の融合のあと、個々のエキスパートを領域別のデータ、数学、コード、科学的推論、多言語テキストで微調整し、専門化を促します。ルータは領域のトークンをその領域のエキスパートへ送ることを学びます。

4. 振る舞いの位置合わせ: 最後の振る舞い調整には、Zoo 財団の台帳にある DSO（分散意味最適化）の経験項目を使います。これはコミュニティの統治層です。Zen が見せる振る舞いは、コミュニティが台帳へ投票して入れた項目で決まります。

分散学習

Zen4-ultra の学習は Hanzo Network の計算クラスタで走ります。ベアメタルのノードで、各ノードに 8x の H100 GPU、InfiniBand で接続します。学習の基盤は次のとおりです。

• 枠組み: 密な層には FSDP（Fully Sharded Data Parallel）つきの PyTorch、MoE 層には独自のエキスパート並列シャーディング
• ノード: ultra の学習全体で 512 ノード（H100 GPU が 4096）
• 学習時間: 最後の融合と専門化の段階に 14 日
• データ: 15T トークン。重複を除き、品質で濾し、多言語（97 言語）
• チェックポイント: 1000 ステップごとに、内容アドレスのハッシュで Hanzo Storage へ上げる

エキスパート並列は各エキスパートを一つの GPU に置き、トークンの経路選択に全員対全員の通信を使います。データ並列より通信は重いものの、すべてのエキスパートをすべての GPU に複製するメモリの負担を避けます。

チェーン上のモデル証明

Zen のモデルのチェックポイントには、それぞれ Hanzo Network 上のチェーン証明があります。証明に含まれるものは次のとおりです。

• モデルのハッシュ: 重みテンソル全体の SHA-256。規範的な safetensors の直列化から決定的に計算する
• 学習設定のハッシュ: 学習設定一式の SHA-256（ハイパーパラメータ、データの混合、計算の割り当て）
• ベンチマーク結果: 標準化したベンチマーク得点（MMLU、HumanEval、MATH など）を、Zoo 財団の評価委員会の独立した評価者が計算する
• TEE 証明: 学習ノードからの Intel TDX または AMD SEV の証明。主張したハードウェア上で、主張したコードにより学習が走ったことを示す

証明の契約は Hanzo Network のよく知られたアドレスに置かれています。与えられた重みが証明されたハッシュと一致すること、そしてベンチマーク結果が自己申告ではなく評価委員会のものであることを、誰でも確かめられます。

これですべての駆け引きを防げるわけではありません。学習データへのベンチマーク汚染は今も見つけにくい。それでも、学習ハードウェアから公開された重み、主張された性能まで、確かめられる鎖ができます。ハッシュが一致しなければ重みは改められています。TEE 証明が無効なら、学習環境は主張と違っていました。

ACI での推論

Zen4-ultra はすべてのパラメータを FP16 で載せるのに約 2TB のメモリを要します。一つのノードにそれだけの GPU メモリはありません。推論はテンソル並列で ACI の計算ノードに分かれます。

• 密な層は一つのノード上の H100 GPU にわたる 8 方向のテンソル並列
• MoE 層はノードをまたぐ エキスパート並列。各ノードはエキスパートの一部を持つ
• 草案モデルに zen4-mini を使う 投機的復号。長い生成でスループットが 3.2x 改善する

256 トークン生成の端から端までの遅延は、最初のトークンまで 1.8 秒、その後は毎秒 45 トークンです。分散の負担があっても、同じ活性パラメータ数の密なモデルと競えます。

開かれた重み

すべての Zen モデルは Apache 2.0 のもと、HuggingFace と hanzoai/zen のリポジトリで公開されます。重み、トークナイザ、学習設定、評価スクリプトが含まれます。オープンウェイトの義務は Zoo 財団の統治における構造上の要件です。組織憲章に書かれており、裁量の方針ではありません。

リンク

• モデル: huggingface.co/zenlm
• ソース: github.com/hanzoai/zen
• 証明: explore.hanzo.network — チェーン上のモデル証明の記録
• ベンチマーク: zenlm.org/benchmarks

---

Hanzo AI は Techstars '17 です。Zen のモデル: zenlm.org。Hanzo: hanzo.ai。