वाणिज्य एआई से अग्रणी मॉडल तक: Hanzo के बुनियादी ढाँचे का दशक

अधिकांश एआई कंपनियाँ 2022 में शुरू हुईं। हम 2014 में शुरू हुए।

वह अंतर जितना सुनाई देता है उससे अधिक मायने रखता है। अवसंरचना के निर्णय, असफल प्रयोग, प्रोटोकॉल डिज़ाइन, और उत्पादन में कठिन अनुभव से मिली समझ — इन बारह वर्षों का योग कुछ ऐसा बनता है जिसे खरीदा या नकल नहीं किया जा सकता: गहरा वास्तुकला-ज्ञान। यह तकनीकी कथा है कि Hanzo एक ई-कॉमर्स अनुशंसा इंजन से 94+ अग्रणी मॉडल को अनुमान के पैमाने पर चलाने तक कैसे पहुँचा।

2014: नींव — Crowdstart और EARLE

Hanzo, Crowdstart के नाम से शुरू हुआ, वाणिज्य एआई का एक मंच जिसका प्रश्न भ्रामक रूप से विशिष्ट था: अनुमान लगाना कि कौन से ग्राहक खरीदेंगे, किस कीमत पर, किस समय — और उस अनुमान पर अपने आप कार्रवाई करना।

पहली परिणामकारी प्रणाली EARLE थी — इकाई-आधारित अनुकूली अनुशंसा अधिगम इंजन। EARLE कोई साधारण सहयोगी फ़िल्टर नहीं था। वह उत्पाद पदानुक्रमों, ग्राहक खंडों, और व्यवहारिक अनुक्रमों पर इकाई-ग्राफ़ रखता था, और लेनदेन की धाराएँ आते ही कोरों के भार वास्तविक समय में अद्यतन करता था। नीचे का डेटास्टोर हमारी अपनी वितरित कुंजी-मान परत पर बना था — यह जानबूझकर लिया गया निर्णय था कि स्थायित्व स्तर पर विलंब हमारे नियंत्रण में रहे, न कि उपलब्ध प्रबंधित डेटाबेस के समझौते स्वीकार कर लिए जाएँ।

EARLE ने हमें यह सिखाया: विलंब प्रथम-श्रेणी का डिज़ाइन अवरोध है, बाद का अनुकूलन चरण नहीं। जो अनुशंसा 200ms देर से पहुँचती है, वह दी नहीं जाती — वह छोड़ दी जाती है।

2015: किनारे पर वास्तविक-समय विश्लेषिकी

2015 तक EARLE अपर्याप्त था। ग्राहकों को केवल अनुशंसाएँ नहीं, पूरी व्यवहारिक विश्लेषिकी पाइपलाइनें चाहिए थीं: फ़नल विश्लेषण, समूह अनुसरण, और विपणन चैनलों में राजस्व आरोपण। हमने एक स्ट्रीमिंग विश्लेषिकी इंजन बनाया जिसमें घटना-ग्रहण sub-50ms था और प्रश्न का विलंब एक अंक वाले मिलीसेकंड के दायरे में था।

इस काम ने एक पैटर्न जमाया जिसे हम तब से थामे हैं: क्रांतिक पथ अपना हो। गर्म पथ का हर घटक — क्रमांकन, अनुक्रमण, प्रश्न नियोजन — हमारी विशिष्टताओं के अनुसार लिखा गया। बाहरी निर्भरताएँ केवल परिधि पर सहन की गईं।

2015 में EARLE को विश्लेषिकी परत से जोड़ने के लिए जो पब/सब घटना बस हमने बनाई, वह Hanzo के वर्तमान मंच की घटना-अवसंरचना की सीधी पूर्वज है। इंटरफ़ेस बदला। वास्तुकला नहीं बदली।

2016: आनुवंशिक एल्गोरिथ्म से विपणन अनुकूलन

विपणन के आनुवंशिक एल्गोरिथ्म पीछे मुड़कर देखने पर स्पष्ट लगते हैं। 2016 में उत्पादन में ऐसा लगभग कोई नहीं कर रहा था।

प्रणाली अभियान विन्यासों की एक आबादी रखती थी — बोली रणनीतियाँ, रचनात्मक भिन्नताएँ, दर्शक-खंड के वृक्ष — और वास्तविक रूपांतरण परिणामों के चयन-दबाव से उन्हें विकसित करती थी। उत्परिवर्तन परिबद्ध थे: हमें पुनरुत्पादन और लेखापरीक्षा चाहिए थी, जो शुद्ध यादृच्छिक उत्परिवर्तन नहीं दे सकता। फिटनेस फलन शुरू से बहु-उद्देश्य था, और राजस्व, मार्जिन, ग्राहक के जीवनकाल मूल्य, तथा ब्रांड प्रदर्शन की बाधाओं के बीच संतुलन रखता था।

उत्पादन पैमाने पर अन्वेषण-शोषण के समझौते को सँभालने का यह हमारा पहला अनुभव था। जो पाठ हमने आत्मसात् किया: एल्गोरिथ्म अपने फिटनेस संकेत से अधिक बुद्धिमान नहीं हो सकता। कचरा अंदर, कचरा बाहर, मशीन लर्निंग में घिसी हुई कहावत नहीं है — यह वास्तुकला का नियम है।

2017: Techstars और मंच का प्रक्षेपण

Techstars '17. हमने कार्यक्रम का उपयोग सत्यापन के लिए नहीं, वितरण के लिए किया — उन उद्यम वाणिज्य ग्राहकों से संबंध, जिनका पैमाना हमारी बनाई चीज़ की तनाव-परीक्षा करता।

Hanzo मंच 2017 के उत्तरार्ध में पहली एकीकृत वाणिज्य एआई शृंखला के रूप में शुरू हुआ: EARLE अनुशंसाएँ, आनुवंशिक अनुकूलन इंजन, वास्तविक-समय विश्लेषिकी, और एक नई अभियान-संयोजन परत, सब एक एकीकृत API सतह से जुड़ी। वास्तुकला शुरू से घटना-स्रोतित थी; अभियान की हर अवस्था-बदली एक टिकाऊ घटना थी, जिससे पूरा लेखापरीक्षा पथ मिला और मॉडल के पुनर्प्रशिक्षण के लिए इतिहास दोहराने की क्षमता मिली।

Techstars '17 ने वह सिखाया जिस पर हमें पहले से संदेह था: वितरण उत्पाद की समस्या नहीं है। वह अवसंरचना की समस्या है। यदि प्रणालियाँ रुक जाएँ, तो उद्यमों को बेचा नहीं जा सकता।

2018: Checkout 2.0 और मशीन-लर्निंग धोखाधड़ी पहचान

भुगतान धोखाधड़ी बड़े बैंकों के लिए सुलझी समस्या है। मध्य-बाज़ार व्यापारियों की सेवा करने वाले वाणिज्य मंचों के लिए वह 2018 में सुलझी नहीं थी।

Checkout 2.0 ने मशीन-लर्निंग धोखाधड़ी पहचान को चेकआउट का प्रथम-श्रेणी घटक बनाया। मॉडल वास्तुकला एक समूह थी: सारणीबद्ध लक्षणों के लिए प्रवणता-वर्धित वृक्ष (कार्ट की रचना, शिपिंग और बिलिंग पते का मेल, उपकरण अंगुली-छाप) और हाल के आदेश-इतिहास पर एक अनुक्रम मॉडल। समूह जानबूझकर उथला था — व्याख्यायिता उत्पाद की आवश्यकता थी, शोध की पसंद नहीं। व्यापारियों को समझना था कि किसी लेनदेन को चिह्नित क्यों किया गया।

धोखाधड़ी प्रणाली हर निर्णय पर sub-100ms विलंब में चलती थी, जिसमें लक्षण निकालना, मॉडल अनुमान, और नियम लागू करना शामिल था। इसके लिए अनुमान रनटाइम को चेकआउट सेवा के साथ सह-स्थित करना पड़ा, न कि अलग भविष्यवाणी API से मार्ग भेजना। परिचालन जटिलता अधिक थी; विलंब की रूपरेखा गैर-परक्राम्य थी।

2019: API गेटवे V1, जालक क्रिप्टोग्राफी, और SDK पारिस्थितिकी

2019 के तीन समानांतर धागे वर्षों बाद ही मिले।

API गेटवे V1 एक व्यावहारिक समस्या से जन्मा: हमारे पास दस आंतरिक सेवाएँ और चालीस बाहरी एकीकरण थे। हर सेवा की अपनी प्रमाणीकरण, दर-सीमा, और प्रेक्षणीयता की कथा थी। हमने एक एकीकृत गेटवे परत बनाई — अभी वह एआई गेटवे नहीं जो आज शिप होता है, पर वही आधारभूत वास्तुकला: अनुरोध मार्ग, प्रमाणीकरण मिडलवेयर, प्रति-उपभोक्ता दर-सीमा, संरचित लॉग। 2026 का Hanzo AI गेटवे इस प्रणाली की सातवीं बड़ी पुनरावृत्ति है।

जालक क्रिप्टोग्राफी शोध पृष्ठभूमि का काम था। NIST की पोस्ट-क्वांटम क्रिप्टोग्राफी मानकीकरण प्रक्रिया चल रही थी और हम उसे देख रहे थे। हमने पूछा: यदि हम टिकाऊ अवसंरचना बना रहे हैं, तो 15 वर्ष के क्षितिज पर क्रिप्टोग्राफिक खतरे का मॉडल क्या है? उत्तर स्पष्ट रूप से क्वांटम प्रतिरोध की ओर था। हमने CRYSTALS-Dilithium और CRYSTALS-Kyber को अपनी प्रयोगात्मक हस्ताक्षर अवसंरचना में जोड़ना शुरू किया — वही काम अगले वर्ष उत्पादन की पोस्ट-क्वांटम हस्ताक्षर अवसंरचना में सीधे उतरा।

SDK पारिस्थितिकी: पहली Hanzo SDK 2019 में शिप हुईं, Python, TypeScript, और Go को कवर करते हुए। डिज़ाइन सिद्धांत था न्यूनतम सतह और अधिकतम संयोज्यता। तब से हमने छह SDK पीढ़ियाँ शिप की हैं। सिद्धांत नहीं बदला।

2020: उत्पादन में पोस्ट-क्वांटम क्रिप्टोग्राफी

2019 का जालक शोध 2020 में उत्पादन में आया। डिज़ाइन की प्रतिज्ञाएँ तीखी थीं: जड़ से पोस्ट-क्वांटम सुरक्षा, एक हस्ताक्षर परत जो अनुप्रयोग तर्क को प्रथम-श्रेणी विषय के रूप में रख सके, और ऐसे प्रदर्शन लक्षण जो क्वांटम-प्रतिरोधी हस्ताक्षरों को पैमाने पर व्यावहारिक बनाएँ।

हस्ताक्षर इंजन ने सीमा-आधारित प्रतिबद्धता चक्र जोड़े, जो परिबद्ध समय में निर्धारक गारंटी देते हैं, न कि प्रायिकता विश्वास के लिए बार-बार नमूना लेने पर निर्भर रहते हैं। व्यावहारिक परिणाम: सामान्य परिस्थितियों में हस्ताक्षर एक सेकंड से कम में सत्यापित होते हैं, और विरोधी भार में गिरावट के लक्षण पूर्वानुमेय रहते हैं।

हर हस्ताक्षर कुंजी शुरू से CRYSTALS-Dilithium का उपयोग करती है। वैकल्पिक उन्नयन पथ के रूप में नहीं — आधारभूत आवश्यकता के रूप में। पोस्ट-क्वांटम हस्ताक्षरों का प्रदर्शन भार वास्तविक है, पर सँभलने योग्य; हमने अपने मापदंड प्रकाशित किए, जिनमें बैच हस्ताक्षर सत्यापन के वे अनुकूलन भी हैं जिन्होंने प्रति-हस्ताक्षर भार 0.3ms से नीचे ला दिया।

2021: बहुमोडल शोध और पहली MCP मसौदे

ट्रांसफॉर्मर वास्तुकला की वह सिद्ध क्षमता, कि वह पाठ, छवि, और ध्वनि के निरूपणों को एक कर सकती है, 2021 में हमारे लिए स्पष्ट हुई। हमने एक बहुमोडल शोध कार्यक्रम शुरू किया जो अंततः Jin वास्तुकला बना — पार-मोडल समझ के लिए एक एकीकृत एनकोडर-डिकोडर ढाँचा।

मॉडल संदर्भ प्रोटोकॉल के पहले मसौदे एक समानांतर धागे से निकले: हम एजेंट ढाँचे बना रहे थे और उन मॉडलों के साथ बहु-बारी संवादों में अवस्था सँभालने की मूल समस्या से टकरा रहे थे जिनकी कोई स्थायी स्मृति नहीं थी। MCP प्रोटोकॉल संदर्भ खिड़की, स्मृति पुनर्प्राप्ति, और मॉडलों के बीच अवस्था स्थानांतरण के लिए एक संरचित इंटरफ़ेस परिभाषित करता है। 2021 के मसौदे कच्चे थे। 2026 के उत्पादन कार्यान्वयन ने एक अरब से अधिक संदर्भ संक्रियाएँ संसाधित की हैं।

2022: ASO प्रोटोकॉल और पहला ट्रांसफॉर्मर फाइन-ट्यूनिंग

2022 के दो तकनीकी योगदानों ने अगले चार वर्ष गढ़े।

अनुकूली झुंड अनुकूलन (ASO) जैविक झुंड व्यवहार से प्रेरित एक वितरित अनुकूलन प्रोटोकॉल है। जहाँ आनुवंशिक एल्गोरिथ्म अलग-अलग आबादी सदस्य रखते हैं, ASO पैरामीटर स्थान पर एक सतत घनत्व क्षेत्र रखता है, और अद्यतन नियम स्थानीय प्रवणता जानकारी को वैश्विक घनत्व बाधाओं से संतुलित करते हैं। प्रोटोकॉल उन स्थितियों के लिए बना जहाँ उद्देश्य फलन का मूल्यांकन महँगा हो और मूल्यांकन विषम कंप्यूट पर बँटे हों — बहु-एजेंट एआई प्रणालियों के लिए स्वाभाविक। ASO का पहला प्रकाशन 2022 के उत्तरार्ध में आया।

पहला ट्रांसफॉर्मर फाइन-ट्यूनिंग उत्पादन रन: हमने वाणिज्य-विशिष्ट दस्तावेज़ समझ के लिए 7B पैरामीटर का एक ओपन-वेट ट्रांसफॉर्मर फाइन-ट्यून किया। रन की कंप्यूट लागत $6,200 थी और समय 48 घंटे। परिणामी मॉडल हमारे मूल्यांकन समूह पर आधार से 11% बेहतर था, और हमारे उत्पादन कार्य वितरण पर काफी बेहतर। अधिक महत्वपूर्ण, परिचालन अनुभव — डेटा पाइपलाइन, वितरित प्रशिक्षण सेटअप, चेकपॉइंट प्रबंधन, मूल्यांकन हार्नेस — हर बाद के प्रशिक्षण रन का साँचा बन गया। प्रक्रिया की गुणवत्ता बढ़ती है; तदर्थ रन नहीं बढ़ते।

2023: HMM, एजेंट ढाँचे, और PoAI शोध

पदानुक्रमित मॉडल विलय (HMM) उस समस्या का उत्तर था जो बार-बार आती रही: हमारे पास कई फाइन-ट्यून मॉडल थे, हर एक अपने संकीर्ण क्षेत्र में उत्कृष्ट, और हमें एक ऐसा एकीकृत मॉडल चाहिए था जो उन सबका श्रेष्ठ ले। भोला भार-औसत हर विशेषज्ञ को गिराता है। HMM एक पदानुक्रमित विलय रणनीति लगाता है जो भार स्थान में क्षेत्र-विशिष्ट निरूपण पहचानती है और विलय के दौरान उन्हें सुरक्षित रखती है, न कि औसत से मिटाती है। तकनीक ने रोके गए क्षेत्र-मूल्यांकनों पर भोले विलय से 4-7% सुधार दिखाया।

एजेंट ढाँचे: पहला Hanzo एजेंट रनटाइम 2023 में शिप हुआ, MCP प्रोटोकॉल पर, उपकरण-उपयोग, स्मृति पुनर्प्राप्ति, और बहु-चरण नियोजन के साथ। डिज़ाइन जानबूझकर था: एजेंट अवस्थायुक्त प्रक्रियाएँ हैं, अवस्थाहीन अनुरोध हैंडलर नहीं। रनटाइम एजेंट का पूरा जीवनचक्र सँभालता है — आरंभीकरण, उपकरण प्रेषण, अवस्था स्थायित्व, त्रुटि से उबरना। इसे अनुप्रयोग कोड के बजाय प्रोटोकॉल स्तर पर बनाने से बाद के एकीकरण सीधे हो गए।

एआई का प्रमाण (PoAI) सहमति शोध: क्या एआई कंप्यूट को सत्यापनीय बनाकर सहमति की एक आदिम इकाई बनाया जा सकता है? शोध प्रश्न मामूली नहीं है — एआई गणनाएँ फ़्लोटिंग-पॉइंट स्तर पर स्वभावतः गैर-निर्धारक होती हैं। हमारे PoAI शोध ने निर्धारक क्वांटाइज़ेशन योजनाओं से यह हल किया, जो फ़ॉरवर्ड पास को हार्डवेयर के पार पुनरुत्पादनीय बनाती हैं, और मॉडल आउटपुट पर सीमा-आधारित सहमति संभव करती हैं। यह शोध Zoo नेटवर्क की zLLM वास्तुकला में उतरा।

2024: Zen LM की शुरुआत, Jin वास्तुकला, Hanzo MCP उपकरण

Zen LM परियोजना 2024 में एक सरल थीसिस से शुरू हुई: श्रेष्ठ ओपन-वेट मॉडल उन्हें बनाने चाहिए जिन्हें उन्हें उत्पादन में चलाने का सबसे अधिक अनुभव हो। वह अनुभव हमारे पास था।

पहले Zen मॉडल Qwen3-series आधार मॉडलों के फाइन-ट्यून थे, विशिष्ट क्षमता प्रोफ़ाइल के लिए: कोड जनन, लंबे संदर्भ का तर्क, अनुदेश पालन। 2022 में बनी प्रशिक्षण पाइपलाइन बिना मूल पुनर्रचना के 70B+ पैरामीटर रन तक बढ़ी — प्रक्रिया में लगाया निवेश चुका।

Jin वास्तुकला ने हमारे बहुमोडल शोध को उत्पादन प्रणाली में ढाला। Jin पाठ, छवि पैच, और ऑडियो स्पेक्ट्रोग्राम के लिए एक एकीकृत टोकन स्थान उपयोग करता है — कोई मोडैलिटी-विशिष्ट एनकोडर नहीं जिनके अलग प्रशिक्षण और अनुमान पथ चाहिए। वास्तुकला के सरलीकरण ने सेवा जटिलता की एक पूरी श्रेणी हटा दी: एक मॉडल, एक अनुमान रनटाइम, कई मोडैलिटी।

Hanzo MCP उपकरण मॉडल संदर्भ प्रोटोकॉल के पहले सार्वजनिक कार्यान्वयन के रूप में शिप हुए। उपकरण समूह में वेब खोज, कोड निष्पादन, फ़ाइल संक्रियाएँ, स्मृति पुनर्प्राप्ति, और एजेंटों के बीच संचार है। उपलब्धता की पहली तिमाही में दस हज़ार से अधिक डेवलपरों ने MCP उपकरण जोड़े।

2025: पैमाने पर Zen परिवार, MoDE वास्तुकला, और zenlm.org

चौनवे मॉडल। 2025 के अंत तक Zen परिवार में इतने थे।

इस पैमाने के लिए ऐसी सेवा वास्तुकला चाहिए थी जो BitDelta शोध (arXiv:2402.10193) के बिना डिज़ाइन नहीं हो सकती थी: फाइन-ट्यून मॉडल डेल्टा 1-bit चिह्न निरूपणों में संपीड़ित, जिससे प्रति-रूप GPU स्मृति दसियों गीगाबाइट से एक अंक वाले गीगाबाइट तक घटती है। GPU स्मृति में साझा आधार भार और कैश परत में प्रति-मॉडल व्यवहार डेल्टा के साथ, हम 14 Zen रूपों को उस अवसंरचना पदचिह्न से सेवा दे सकते हैं जो पहले दो या तीन के लिए काफी था।

Zen MoDE — आसुत विशेषज्ञों का मिश्रण — वह वास्तुकला सफलता है जिसने 2025 को परिभाषित किया। पारंपरिक MoE मॉडल विशेषज्ञों को शून्य से प्रशिक्षित करते हैं। MoDE तीन तकनीकें जोड़ता है: आसवन से विशेषज्ञ आरंभीकरण (यादृच्छिक के बजाय), विशेषज्ञों के बीच भार सहसंबंध तोड़ने के लिए Drop-Upcycling (arXiv:2502.19261), और पूरा पुनर्प्रशिक्षण किए बिना विशेषज्ञों को बाद में विशिष्ट बनाने के लिए हमारा HMM विलय प्रोटोकॉल। परिणाम: Zen4 Max, 30B कुल पैरामीटर और हर फ़ॉरवर्ड पास में केवल 3B सक्रिय के साथ 13B-श्रेणी की गुणवत्ता प्राप्त करता है।

Abliterated रूप: अस्वीकृति हटाने का काम — शोध और व्यावसायिक उपयोग के लिए निर्दिष्ट मॉडलों पर सावधानी और जानबूझकर लगाया गया — दिखाता है कि व्यवहार गुण भार स्थान में स्थानीयकरण योग्य हैं। मॉडल में व्यवहार कहाँ रहता है, यह समझना मूल ज्ञान है, कोई बाईपास नहीं। zen4-abliterated शृंखला पहली मॉडल परिवार है जो प्रलेखित व्यवहार-स्थानीयकरण निर्देशांकों के साथ शिप होती है।

2026: Hanzo AI गेटवे और आगे क्या

फ़रवरी 2026 में गेटवे का प्रक्षेपण 2019 में शुरू हुए API गेटवे काम की परिणति है: 100+ मॉडल के लिए एक अंतबिंदु, OpenAI-संगत, तृतीय-पक्ष प्रदाताओं की कीमत पर बिना अतिरिक्त मार्जिन, और स्वामित्व स्तर के रूप में Zen मॉडल।

वर्तमान सक्रिय शोध धागे:

GT-QLoRA: MoE व्यवहार ट्यूनिंग के लिए गेट-पिघलाया क्वांटाइज़्ड निम्न-रैंक अनुकूलन। MoE मॉडलों पर मानक LoRA रूटिंग गेट जमे छोड़ देता है, जिससे फाइन-ट्यूनिंग विशेषज्ञ चयन को प्रभावित नहीं कर पाती। GT-QLoRA गेट पैरामीटर को बाध्य अद्यतनों के साथ खोलता है — रूटिंग संरचना अनुकूल हो सकती है, और विशेषज्ञ विशिष्टता बनी रहती है।

DSO (विकेंद्रीकृत अर्थ अनुकूलन): Zoo की zLLM वास्तुकला का आधार प्रोटोकॉल। अनुभव इंजेक्शन से शून्य-कंप्यूट अनुकूलन, DAO तंत्रों के शासन में। फाइन-ट्यूनिंग लागत ($15K+) और DSO लागत ($18) के बीच की खाई वास्तविक है। वास्तुकला Zoo नेटवर्क पर उत्पादन में है।

क्वांटम-सुरक्षित MPC: पोस्ट-क्वांटम आदिमों से मॉडल भार के लिए बहु-पक्ष गणना प्रोटोकॉल। यदि मॉडल भार एआई अवसंरचना की सबसे मूल्यवान बौद्धिक संपदा हैं, तो उन्हें सर्वोत्तम वित्तीय परिसंपत्तियों के समकक्ष क्रिप्टोग्राफिक सुरक्षा मिलनी चाहिए।

एआई में बारह वर्ष लंबा समय है। इतना लंबा कि प्रचार चक्र आते-जाते देखे जाएँ, पूरे प्रतिमान एक-दूसरे की जगह लेते देखे जाएँ, और पिछले वर्ष के SOTA पर बनी कंपनियाँ SOTA हिलते ही गिरती देखी जाएँ। जो बचता है वह अवसंरचना है: डेटा पाइपलाइन, सेवा प्रणालियाँ, प्रोटोकॉल कार्यान्वयन, और वह कठिन परिचालन ज्ञान जिससे एआई को वास्तव में पैमाने पर शिप और चलाया जा सकता है।

हम वह अवसंरचना 2014 से बना रहे हैं। हम समाप्त नहीं हुए।

---

Hanzo AI, Techstars '17 है। हम अग्रणी एआई और उसे चलाने की अवसंरचना बनाते हैं। hanzo.ai