Zen: architettura MoE da 1T+ parametri

Zen è la famiglia di modelli di linguaggio di punta di Hanzo. Il modello più grande, zen4-ultra, è un'architettura Mixture of Experts (MoE) da 1.04T parametri che attiva 140B parametri a ogni passaggio in avanti. È il culmine di tre anni di sviluppo di modelli, da zen-nano (600M) alla famiglia zen4 attuale.

Questo articolo descrive l'architettura, il metodo di addestramento e il sistema di verifica on-chain che rende auditabili i modelli Zen.

Architettura

Zen4-ultra usa un'architettura Mixture of Experts sparsa. Il disegno di nucleo:

• Parametri totali: 1.04T
• Parametri attivi per token: ~140B (rapporto di attivazione del 13.5%)
• Esperti: 128 esperti per strato MoE, routing top-8
• Strati: 96 strati transformer, uno strato ogni due è MoE (48 strati MoE, 48 densi)
• Finestra di contesto: 256K token (interpolazione posizionale YaRN)
• Vocabolario: 152K token (BPE multilingue)

Il routing MoE usa una rete di gating appresa, con una perdita ausiliaria di bilanciamento del carico per evitare il collasso degli esperti. Ogni esperto è una FFN standard (rete feed-forward) con attivazione SwiGLU. Il router sceglie 8 esperti su 128 per token — abbastanza diversità per cogliere schemi di ragionamento complessi, tenendo il calcolo trattabile.

Perché il MoE

I modelli densi scalano in modo lineare: 2x parametri = 2x calcolo per token. Il MoE rompe questa relazione. Zen4-ultra ha 7.4x i parametri totali di un modello denso da 140B, con lo stesso costo di inferenza per token. I parametri in più danno capacità — il modello conserva più conoscenza e regge compiti più vari — senza un aumento proporzionale del calcolo.

Il compromesso è la memoria. Vanno caricati tutti i 1.04T parametri, anche se solo 140B sono attivi. Serve inferenza distribuita su più nodi, ed è lì che la rete ACI diventa essenziale.

La famiglia Zen4

Modello	Parametri totali	Parametri attivi	Architettura
zen4-mini	4B	4B	Densa
zen4-base	8B	8B	Densa
zen4-pro	14B	14B	Densa
zen4-max	30B	8B	MoE (32 esperti, top-2)
zen4-coder	80B	20B	MoE (64 esperti, top-4)
zen4-ultra	1.04T	140B	MoE (128 esperti, top-8)

Ogni modello della famiglia condivide lo stesso tokenizer, la stessa implementazione dell'attenzione e la stessa pipeline di dati di addestramento. I modelli densi (da mini a pro) sono distillati da ultra, non addestrati a parte. Così il comportamento resta coerente in tutta la famiglia.

Fusione di modelli

I modelli Zen non sono addestrati da zero su un'inizializzazione casuale. Sono fusi da modelli a pesi aperti tra i più forti, con un metodo che chiamiamo trasferimento di conoscenza strutturato.

L'architettura di base è Qwen3. Ogni modello Zen parte da un checkpoint Qwen3 — è un vincolo duro di governance sotto la policy della Zoo Foundation (solo Qwen3+). Il processo di fusione:

1. Allineamento dell'architettura: si mappano le architetture dei modelli sorgente sull'architettura bersaglio Zen. Per i modelli MoE, questo include l'inizializzazione degli esperti da strati di un modello denso con la tecnica di upcycling DROP (descritta nel nostro testo Drop-Upcycling: costruire modelli MoE di qualità 13B a 1/4 del costo).

2. Distillazione della conoscenza: si addestra il modello Zen su una miscela di (a) dati grezzi di preaddestramento e (b) uscite degli insegnanti prese dai modelli sorgente. L'ensemble di insegnanti include checkpoint di Qwen3, DeepSeek e Mistral scelti in base alle prestazioni di benchmark sulle capacità bersaglio.

3. Specializzazione degli esperti: dopo la fusione iniziale, i singoli esperti vengono affinati su dati di un dominio — matematica, codice, ragionamento scientifico, testo multilingue — per spingere la specializzazione. Il router impara a mandare i token di un dominio agli esperti di quel dominio.

4. Allineamento comportamentale: le voci di esperienza DSO (ottimizzazione semantica decentralizzata) del libro mastro della Zoo Foundation servono alla messa a punto comportamentale finale. È lo strato di governance della comunità — i comportamenti che Zen mostra li decidono le voci che la comunità ha votato nel libro mastro.

Addestramento distribuito

L'addestramento di zen4-ultra gira sui cluster di calcolo di Hanzo Network — nodi bare-metal con 8x H100 ciascuno, collegati via InfiniBand. L'infrastruttura di addestramento:

• Framework: PyTorch con FSDP (dati completamente partizionati in parallelo) per gli strati densi, e uno sharding proprio in parallelo di esperti per gli strati MoE
• Nodi: 512 nodi (4096 GPU H100) per la campagna completa di ultra
• Tempo di addestramento: 14 giorni per la fase finale di fusione e specializzazione
• Dati: 15T token, deduplicati, filtrati per qualità, multilingue (97 lingue)
• Checkpoint: ogni 1000 passi, caricati su Hanzo Storage con hash indirizzato dal contenuto

La strategia di parallelismo degli esperti mette ogni esperto su una sola GPU e usa comunicazione all-to-all per il routing dei token. Comunica di più del parallelismo dei dati, ma evita il costo di memoria di replicare tutti gli esperti su ogni GPU.

Attestazione del modello on-chain

Ogni checkpoint di un modello Zen ha un'attestazione on-chain su Hanzo Network. L'attestazione include:

• Hash del modello: SHA-256 del tensore dei pesi completo, calcolato in modo deterministico dalla serializzazione canonica safetensors
• Hash della configurazione di addestramento: SHA-256 della configurazione completa (iperparametri, miscela di dati, allocazione di calcolo)
• Risultati di benchmark: punteggi standardizzati (MMLU, HumanEval, MATH, ecc.) calcolati da valutatori indipendenti del comitato di valutazione della Zoo Foundation
• Attestazione TEE: attestazione Intel TDX o AMD SEV dei nodi di addestramento, che prova che l'addestramento è girato sull'hardware dichiarato e con il codice dichiarato

Il contratto di attestazione è distribuito su Hanzo Network a un indirizzo noto. Chiunque può verificare che un insieme di pesi corrisponda all'hash attestato e che i risultati di benchmark li abbia prodotti il comitato di valutazione, non un'autodichiarazione.

Questo non impedisce ogni forma di gioco — la contaminazione dei benchmark nei dati di addestramento resta difficile da rilevare —, ma dà una catena verificabile dall'hardware di addestramento ai pesi pubblicati fino alla prestazione dichiarata. Se l'hash non corrisponde, i pesi sono stati modificati. Se l'attestazione TEE non è valida, l'ambiente di addestramento non era quello dichiarato.

Inferenza su ACI

Zen4-ultra richiede circa 2TB di memoria per caricare tutti i parametri in FP16. Nessun nodo ha tanta memoria GPU. L'inferenza è distribuita sui nodi di calcolo ACI con parallelismo dei tensori:

• Parallelismo tensoriale a 8 vie su GPU H100 di un solo nodo per gli strati densi
• Parallelismo degli esperti tra nodi per gli strati MoE — ogni nodo tiene un sottoinsieme di esperti
• Decodifica speculativa con zen4-mini come modello bozza, con un miglioramento di throughput di 3.2x sulla generazione lunga

Latenza end-to-end per una generazione di 256 token: 1.8 secondi fino al primo token, poi 45 token/secondo. Competitiva con i modelli densi allo stesso numero di parametri attivi, nonostante il sovraccarico della distribuzione.

Pesi aperti

Tutti i modelli Zen escono sotto Apache 2.0 su HuggingFace e nel repository hanzoai/zen. Pesi, tokenizer, configurazioni di addestramento e script di valutazione sono inclusi. Il mandato dei pesi aperti è un requisito strutturale della governance della Zoo Foundation — è scritto nello statuto dell'organizzazione, non è una policy discrezionale.

Link

• Modelli: huggingface.co/zenlm
• Sorgente: github.com/hanzoai/zen
• Attestazioni: explore.hanzo.network — registri di attestazione on-chain del modello
• Benchmark: zenlm.org/benchmarks

---

Hanzo AI è Techstars '17. Modelli Zen: zenlm.org. Hanzo: hanzo.ai.