Zen: архитектура MoE на 1T+ параметров

Zen — флагманское семейство языковых моделей Hanzo. Крупнейшая модель, zen4-ultra, — это архитектура Mixture of Experts (MoE) на 1.04 триллиона параметров, которая активирует 140B параметров на каждом прямом проходе. Это итог трёх лет разработки моделей, от zen-nano (600M) до нынешнего семейства zen4.

Этот пост описывает архитектуру, методику обучения и систему проверки в сети, которая делает модели Zen проверяемыми.

Архитектура

Zen4-ultra использует разреженную архитектуру Mixture of Experts. Ядро замысла:

Всего параметров: 1.04T
Активных параметров на токен: ~140B (доля активации 13.5%)
Эксперты: 128 экспертов на слой MoE, маршрутизация top-8
Слои: 96 слоёв transformer, каждый второй слой — MoE (48 слоёв MoE, 48 плотных)
Окно контекста: 256K токенов (позиционная интерполяция YaRN)
Словарь: 152K токенов (многоязычный BPE)

Маршрутизация MoE использует обученную сеть гейтинга со вспомогательной потерей балансировки нагрузки, чтобы эксперты не схлопывались. Каждый эксперт — стандартная FFN (сеть прямого распространения) с активацией SwiGLU. Маршрутизатор выбирает 8 из 128 экспертов на токен — достаточно разнообразия, чтобы ловить сложные шаблоны рассуждения, и вычислительная цена остаётся подъёмной.

Зачем MoE

Плотные модели масштабируются линейно: 2x параметров = 2x вычислений на токен. MoE разрывает эту связь. У zen4-ultra в 7.4x больше параметров, чем у плотной модели на 140B, при той же цене инференса на токен. Лишние параметры дают ёмкость — модель хранит больше знания и тянет более разные задачи — без пропорционального роста вычислений.

Расплата — память. Все 1.04T параметров надо загрузить, хотя активны только 140B. Нужен распределённый инференс по нескольким узлам, и именно здесь сеть ACI становится необходимой.

Семейство Zen4

Модель	Всего параметров	Активных параметров	Архитектура
zen4-mini	4B	4B	Плотная
zen4-base	8B	8B	Плотная
zen4-pro	14B	14B	Плотная
zen4-max	30B	8B	MoE (32 эксперта, top-2)
zen4-coder	80B	20B	MoE (64 эксперта, top-4)
zen4-ultra	1.04T	140B	MoE (128 экспертов, top-8)

Каждая модель семейства делит один и тот же токенизатор, одну реализацию внимания и один конвейер обучающих данных. Плотные модели (от mini до pro) дистиллированы из ultra, а не обучены отдельно. Так поведение остаётся согласованным во всём семействе.

Сплавление моделей

Модели Zen не учатся с нуля со случайной инициализации. Их сплавляют из сильных моделей с открытыми весами по методике, которую мы называем структурным переносом знания.

Базовая архитектура — Qwen3. Каждая модель Zen стартует с чекпоинта Qwen3 — это жёсткое ограничение управления по политике Zoo Foundation (только Qwen3+). Ход сплавления:

Выравнивание архитектуры: архитектуры исходных моделей отображаются на целевую архитектуру Zen. Для моделей MoE сюда входит инициализация экспертов из слоёв плотной модели техникой апсайклинга DROP (она описана в нашем тексте Drop-Upcycling: модели MoE качества 13B за 1/4 стоимости).
Дистилляция знания: модель Zen учится на смеси (a) сырых данных предобучения и (b) выходов учителей из исходных моделей. Ансамбль учителей включает чекпоинты Qwen3, DeepSeek и Mistral, выбранные по результатам бенчмарков на целевых способностях.
Специализация экспертов: после первого сплавления отдельные эксперты дообучаются на данных домена — математика, код, научное рассуждение, многоязычный текст, — чтобы эксперты специализировались. Маршрутизатор учится слать токены домена к экспертам этого домена.
Поведенческое выравнивание: записи опыта DSO (децентрализованная семантическая оптимизация) из реестра Zoo Foundation идут на финальную настройку поведения. Это слой управления сообщества — поведение Zen задают записи, которые сообщество проголосовало в реестр.

Распределённое обучение

Обучение zen4-ultra идёт на вычислительных кластерах Hanzo Network — узлы bare-metal по 8x H100, связанные InfiniBand. Инфраструктура обучения:

Фреймворк: PyTorch с FSDP (полностью шардированный параллелизм данных) для плотных слоёв и собственное экспертное параллельное шардирование для слоёв MoE
Узлы: 512 узлов (4096 GPU H100) на полный прогон ultra
Время обучения: 14 дней на финальную фазу сплавления и специализации
Данные: 15T токенов, без дублей, отфильтрованные по качеству, многоязычные (97 языков)
Чекпоинты: каждые 1000 шагов, выгрузка в Hanzo Storage с хешем по содержимому

Стратегия экспертного параллелизма кладёт каждого эксперта на одну GPU и использует связь all-to-all для маршрутизации токенов. Связи больше, чем при параллелизме данных, зато нет расхода памяти на копию всех экспертов на каждой GPU.

Ончейн-аттестация модели

У каждого чекпоинта модели Zen есть ончейн-аттестация в Hanzo Network. Аттестация включает:

Хеш модели: SHA-256 полного тензора весов, посчитанный детерминированно из канонической сериализации safetensors
Хеш конфигурации обучения: SHA-256 полной конфигурации обучения (гиперпараметры, смесь данных, распределение вычислений)
Результаты бенчмарков: стандартные оценки (MMLU, HumanEval, MATH и другие), посчитанные независимыми оценщиками комитета оценки Zoo Foundation
Аттестация TEE: аттестация Intel TDX или AMD SEV с узлов обучения, доказывающая, что обучение шло на заявленном оборудовании и с заявленным кодом

Контракт аттестации развёрнут в Hanzo Network по известному адресу. Любой может проверить, что набор весов совпадает с аттестованным хешем и что результаты бенчмарков дал комитет оценки, а не самоотчёт.

Это не закрывает все способы игры — загрязнение бенчмарков в обучающих данных по-прежнему трудно поймать, — но даёт проверяемую цепочку от оборудования обучения к опубликованным весам и к заявленной производительности. Если хеш не совпал, веса изменены. Если аттестация TEE недействительна, среда обучения была не той, что заявлена.

Инференс на ACI

Zen4-ultra требует около 2TB памяти, чтобы загрузить все параметры в FP16. Ни у одного узла нет столько памяти GPU. Инференс распределён по вычислительным узлам ACI с тензорным параллелизмом:

8-путевой тензорный параллелизм по GPU H100 одного узла для плотных слоёв
Экспертный параллелизм между узлами для слоёв MoE — каждый узел держит подмножество экспертов
Спекулятивное декодирование с zen4-mini как черновой моделью, с приростом пропускной способности 3.2x на длинной генерации

Сквозная задержка генерации на 256 токенов: 1.8 секунды до первого токена, затем 45 токенов/секунду. На уровне плотных моделей с тем же числом активных параметров, несмотря на распределённые накладные расходы.

Открытые веса

Все модели Zen выходят под Apache 2.0 на HuggingFace и в репозитории hanzoai/zen. Веса, токенизатор, конфигурации обучения и скрипты оценки включены. Требование открытых весов — структурное условие управления Zoo Foundation: оно вписано в устав организации, это не политика по усмотрению.

Ссылки

Модели: huggingface.co/zenlm
Исходники: github.com/hanzoai/zen
Аттестации: explore.hanzo.network — записи ончейн-аттестации модели
Бенчмарки: zenlm.org/benchmarks

Hanzo AI — это Techstars '17. Модели Zen: zenlm.org. Hanzo: hanzo.ai.