Zen: معمارية مزيج الخبراء بما يتجاوز 1T معاملًا

Zen هي عائلة النماذج اللغوية الرائدة من Hanzo. أكبر نموذج، zen4-ultra، معمارية مزيج خبراء من 1.04 تريليون معامل تنشّط 140B معاملًا في كل تمريرة أمامية. هو حصيلة ثلاث سنوات من تطوير النماذج، من zen-nano (600M) إلى عائلة zen4 الحالية.

تصف هذه المقالة المعمارية، ومنهج التدريب، ونظام التحقق على السلسلة الذي يجعل نماذج Zen قابلة للتدقيق.

المعمارية

يستخدم Zen4-ultra معمارية مزيج خبراء متفرقة. التصميم الأساسي:

• إجمالي المعاملات: 1.04T
• المعاملات النشطة لكل رمز: ~140B (نسبة تنشيط 13.5%)
• الخبراء: 128 خبيرًا في كل طبقة مزيج، توجيه top-8
• الطبقات: 96 طبقة محوّل، وكل طبقة ثانية هي مزيج خبراء (48 طبقة مزيج، و48 كثيفة)
• نافذة السياق: 256K رمزًا (استيفاء موضعي YaRN)
• المفردات: 152K رمزًا (BPE متعدد اللغات)

يستخدم توجيه مزيج الخبراء شبكة بوابة متعلمة مع خسارة موازنة حمل مساعدة لمنع انهيار الخبراء. كل خبير شبكة تغذية أمامية قياسية (FFN) بتنشيط SwiGLU. يختار الموجّه 8 خبراء من 128 لكل رمز: تنوع يكفي لالتقاط أنماط الاستدلال المعقدة مع إبقاء الحساب ممكنًا.

لماذا مزيج الخبراء

النماذج الكثيفة تتوسع خطيًا: 2x معاملات تعني 2x حسابًا لكل رمز. مزيج الخبراء يكسر هذه العلاقة. لدى Zen4-ultra ما يعادل 7.4x من إجمالي معاملات نموذج كثيف من 140B، وبتكلفة الاستدلال نفسها لكل رمز. المعاملات الإضافية تمنح سعة: النموذج يخزن معرفة أكثر ويعالج مهامًا أكثر تنوعًا، من دون زيادة حساب متناسبة.

المقايضة هي الذاكرة. يجب تحميل كل معاملات 1.04T وإن كان النشط منها 140B فقط. هذا يتطلب استدلالًا موزعًا عبر عقد عدة، وهنا تصبح شبكة ACI ضرورية.

عائلة Zen4

النموذج	إجمالي المعاملات	المعاملات النشطة	المعمارية
zen4-mini	4B	4B	كثيف
zen4-base	8B	8B	كثيف
zen4-pro	14B	14B	كثيف
zen4-max	30B	8B	مزيج خبراء (32 خبيرًا، top-2)
zen4-coder	80B	20B	مزيج خبراء (64 خبيرًا، top-4)
zen4-ultra	1.04T	140B	مزيج خبراء (128 خبيرًا، top-8)

كل نموذج في العائلة يشارك المرمّز نفسه، وتنفيذ الانتباه نفسه، وخط أنابيب بيانات التدريب نفسه. النماذج الكثيفة (من mini إلى pro) مقطّرة من ultra، لا مدرَّبة باستقلال. هذا يضمن اتساق السلوك عبر العائلة.

دمج النماذج

نماذج Zen لا تُدرَّب من الصفر على تهيئة عشوائية. هي تُدمج من نماذج مفتوحة الأوزان عالية الأداء بمنهج نسميه نقل المعرفة البنيوي.

المعمارية الأساسية هي Qwen3. كل نموذج Zen يبدأ من نقطة تفتيش Qwen3. هذا قيد حوكمة صارم بموجب سياسة مؤسسة Zoo (Qwen3+ فقط). عملية الدمج:

1. محاذاة المعمارية: تُقابَل معماريات النماذج المصدر بمعمارية Zen الهدف. لنماذج مزيج الخبراء يشمل ذلك تهيئة الخبراء من طبقات النموذج الكثيف بتقنية DROP لإعادة التدوير الصاعد (موصوفة في مقالتنا Drop-Upcycling: بناء نماذج مزيج خبراء بجودة 13B بتكلفة 1/4).

2. تقطير المعرفة: يُدرَّب نموذج Zen على مزيج من (أ) بيانات التدريب الأولي الخام و(ب) مخرجات المعلمين من النماذج المصدر. تضم مجموعة المعلمين نقاط تفتيش Qwen3 وDeepSeek وMistral المختارة بحسب أداء المقاييس على القدرات المستهدفة.

3. تخصص الخبراء: بعد الدمج الأولي تُضبط الخبراء فرادى على بيانات خاصة بالمجال، الرياضيات والشفرة والاستدلال العلمي والنص المتعدد اللغات، لتشجيع تخصص الخبراء. يتعلم الموجّه توجيه رموز المجال إلى الخبراء المتخصصين فيه.

4. محاذاة السلوك: تُستخدم مدخلات خبرة DSO (التحسين الدلالي اللامركزي) من دفتر مؤسسة Zoo للضبط السلوكي الأخير. هذه طبقة حوكمة المجتمع: السلوك الذي يُظهره Zen تحدده المدخلات التي صوّت المجتمع لإدخالها في الدفتر.

التدريب الموزع

يجري تدريب Zen4-ultra على عناقيد حوسبة Hanzo Network: عقد معدنية عارية بكل منها 8x وحدات H100، متصلة عبر InfiniBand. بنية التدريب:

• الإطار: PyTorch مع FSDP (توازٍ بيانات مجزأ بالكامل) للطبقات الكثيفة، وتجزئة مخصصة بالتوازي على الخبراء لطبقات المزيج
• العقد: 512 عقدة (4096 وحدة H100) لتشغيل تدريب ultra الكامل
• زمن التدريب: 14 يومًا لمرحلة الدمج الأخير والتخصص
• البيانات: 15T رمزًا، منزوعة التكرار، مفلترة الجودة، متعددة اللغات (97 لغة)
• نقاط التفتيش: كل 1000 خطوة، تُرفع إلى Hanzo Storage بتجزئة معنونة بالمحتوى

تضع استراتيجية التوازي على الخبراء كل خبير على وحدة معالجة رسوم واحدة وتستخدم اتصال الجميع-إلى-الجميع لتوجيه الرموز. هذا أثقل اتصالًا من توازي البيانات، لكنه يتجنب كلفة ذاكرة نسخ كل الخبراء على كل وحدة.

إثبات النموذج على السلسلة

لكل نقطة تفتيش من نموذج Zen إثبات على السلسلة على Hanzo Network. يشمل الإثبات:

• تجزئة النموذج: SHA-256 لموتر الأوزان الكامل، محسوبة بحتمية من تسلسل safetensors المعياري
• تجزئة إعداد التدريب: SHA-256 لإعداد التدريب الكامل (المعاملات الفائقة، ومزيج البيانات، وتخصيص الحوسبة)
• نتائج المقاييس: درجات مقاييس موحّدة (MMLU وHumanEval وMATH وغيرها) يحسبها مقيّمون مستقلون في لجنة تقييم مؤسسة Zoo
• إثبات TEE: إثبات Intel TDX أو AMD SEV من عقد التدريب، يثبت أن التدريب جرى على العتاد المزعوم وبالشفرة المزعومة

عقد الإثبات منشور على Hanzo Network عند عنوان معروف. يستطيع أي شخص أن يتحقق من أن مجموعة أوزان مطابقة للتجزئة المثبتة، وأن نتائج المقاييس أنتجتها لجنة التقييم لا تقرير ذاتي.

هذا لا يمنع كل أشكال التلاعب: تلوث المقاييس في بيانات التدريب يبقى صعب الكشف. لكنه يعطي سلسلة قابلة للتحقق من عتاد التدريب إلى الأوزان المنشورة إلى الأداء المزعوم. إن لم تتطابق التجزئة فقد عُدّلت الأوزان. إن كان إثبات TEE غير صالح فبيئة التدريب اختلفت عما زُعم.

الاستدلال على ACI

يحتاج Zen4-ultra إلى نحو 2TB من الذاكرة لتحميل كل المعاملات بدقة FP16. لا عقدة واحدة تملك هذا القدر من ذاكرة الرسوم. يوزَّع الاستدلال على عقد حوسبة ACI بتوازي الموترات:

• توازي موترات من 8 طرق عبر وحدات H100 على عقدة واحدة للطبقات الكثيفة
• توازٍ على الخبراء عبر العقد لطبقات المزيج: كل عقدة تحمل مجموعة جزئية من الخبراء
• فك ترميز تخميني باستخدام zen4-mini نموذجًا مسودة، يحقق تحسن إنتاجية 3.2x في التوليد الطويل

زمن الطرف إلى الطرف لتوليد 256 رمزًا: 1.8 ثانية حتى الرمز الأول، ثم 45 رمزًا في الثانية. منافس للنماذج الكثيفة عند عدد المعاملات النشطة نفسه، رغم كلفة التوزيع.

أوزان مفتوحة

كل نماذج Zen تُنشر بموجب Apache 2.0 على HuggingFace ومستودع hanzoai/zen. الأوزان والمرمّز وإعدادات التدريب ونصوص التقييم مضمّنة. تفويض الأوزان المفتوحة متطلب بنيوي لحوكمة مؤسسة Zoo: مكتوب في الميثاق التنظيمي، لا سياسة تقديرية.

روابط

• النماذج: huggingface.co/zenlm
• المصدر: github.com/hanzoai/zen
• الإثباتات: explore.hanzo.network — سجلات إثبات النموذج على السلسلة
• المقاييس: zenlm.org/benchmarks

---

Hanzo AI من Techstars '17. نماذج Zen: zenlm.org. Hanzo: hanzo.ai.