Từ AI thương mại đến mô hình tiên phong: thập kỷ hạ tầng của Hanzo

Hầu hết công ty AI bắt đầu vào năm 2022. Chúng tôi bắt đầu vào năm 2014.

Khoảng cách ấy quan trọng hơn vẻ ngoài của nó. Mười hai năm quyết định hạ tầng, thí nghiệm thất bại, thiết kế giao thức, và những trực giác sản xuất đổi bằng công sức cộng lại thành thứ không mua được cũng không bắt chước được: tri thức kiến trúc sâu. Đây là câu chuyện kỹ thuật về cách Hanzo đi từ một động cơ gợi ý thương mại điện tử đến việc chạy 94+ mô hình tiên phong ở quy mô suy luận.

2014: Nền móng — Crowdstart và EARLE

Hanzo ra mắt với tên Crowdstart, một nền tảng AI thương mại với bài toán có vẻ hẹp một cách đánh lừa: dự đoán khách nào sẽ mua, ở mức giá nào, vào lúc nào — rồi hành động theo dự đoán đó một cách tự động.

Hệ thống đầu tiên có hệ quả là EARLE — Entity-based Adaptive Recommendation Learning Engine. EARLE không phải một bộ lọc cộng tác đơn giản. Nó duy trì đồ thị thực thể xuyên qua phân cấp sản phẩm, phân khúc khách hàng, và chuỗi hành vi, cập nhật trọng số cạnh theo thời gian thực khi các luồng giao dịch đến. Kho dữ liệu bên dưới được xây trên lớp khóa-giá trị phân tán của chính chúng tôi — một quyết định có chủ đích nhằm kiểm soát độ trễ ở tầng lưu bền, thay vì chấp nhận những đánh đổi của cơ sở dữ liệu được quản lý sẵn có.

Điều EARLE dạy chúng tôi: độ trễ là ràng buộc thiết kế hạng nhất, không phải một lượt tối ưu về sau. Một gợi ý đến muộn 200ms thì không được giao — nó bị bỏ.

2015: Phân tích thời gian thực ở biên

Đến năm 2015, EARLE không còn đủ. Khách hàng cần không chỉ gợi ý mà cả các đường ống phân tích hành vi đầy đủ: phân tích phễu, theo dõi cohort, quy kết doanh thu xuyên kênh tiếp thị. Chúng tôi xây một động cơ phân tích luồng với nhập sự kiện sub-50ms và độ trễ truy vấn trong khoảng mili giây một chữ số.

Công việc này lập một khuôn mà chúng tôi giữ từ đó: sở hữu đường găng. Mọi thành phần trên đường nóng — tuần tự hóa, lập chỉ mục, lập kế hoạch truy vấn — đều được viết theo đặc tả của chúng tôi. Phụ thuộc bên ngoài chỉ được chấp nhận ở vùng ngoại vi.

Bus sự kiện pub/sub mà chúng tôi xây năm 2015 để nối EARLE với lớp phân tích là tổ tiên trực tiếp của hạ tầng sự kiện nâng nền tảng Hanzo hiện nay. Giao diện đã đổi. Kiến trúc thì không.

2016: Tối ưu tiếp thị bằng thuật toán di truyền

Thuật toán di truyền cho tiếp thị nhìn lại thì hiển nhiên. Năm 2016, gần như không ai làm việc đó trong sản xuất.

Hệ thống duy trì một quần thể cấu hình chiến dịch — chiến lược đấu giá, biến thể sáng tạo, cây phân đoạn đối tượng — và tiến hóa chúng bằng áp lực chọn lọc từ kết quả chuyển đổi thật. Đột biến bị chặn: chúng tôi cần khả năng tái lập và khả năng kiểm toán, điều đột biến ngẫu nhiên thuần không thể cho. Hàm thích nghi là đa mục tiêu ngay từ đầu, cân bằng doanh thu, biên lợi nhuận, giá trị vòng đời khách hàng, và các ràng buộc phơi bày thương hiệu.

Đây là trải nghiệm đầu tiên của chúng tôi khi quản lý đánh đổi khám phá-khai thác ở quy mô sản xuất. Bài học đã nhập vào xương: thuật toán không thể thông minh hơn tín hiệu thích nghi của nó. Rác vào, rác ra không phải lời sáo trong ML — đó là một định luật kiến trúc.

2017: Techstars và ra mắt nền tảng

Techstars '17. Chúng tôi dùng chương trình không phải để kiểm chứng mà để phân phối — những mối nối tới khách thương mại doanh nghiệp, quy mô của họ sẽ thử sức những gì chúng tôi đã xây.

Nền tảng Hanzo ra mắt cuối năm 2017 như bộ AI thương mại tích hợp đầu tiên: gợi ý EARLE, động cơ tối ưu di truyền, phân tích thời gian thực, và một lớp điều phối chiến dịch mới, nối với nhau qua một bề mặt API thống nhất. Kiến trúc lấy sự kiện làm nguồn ngay từ đầu; mọi đổi trạng thái chiến dịch là một sự kiện bền, cho chúng tôi vết kiểm toán đầy đủ và khả năng phát lại lịch sử để huấn luyện lại mô hình.

Techstars '17 dạy chúng tôi điều chúng tôi đã nghi: phân phối không phải bài toán sản phẩm. Đó là bài toán hạ tầng. Không bán được cho doanh nghiệp nếu hệ thống của bạn sập.

2018: Checkout 2.0 và phát hiện gian lận bằng ML

Gian lận thanh toán là bài toán đã giải với các ngân hàng lớn. Với các nền tảng thương mại phục vụ thương nhân tầm giữa, năm 2018 nó chưa được giải.

Checkout 2.0 đưa phát hiện gian lận bằng ML vào như một thành phần thanh toán hạng nhất. Kiến trúc mô hình là một ensemble: cây tăng cường gradient cho đặc trưng dạng bảng (thành phần giỏ, khớp địa chỉ giao hàng và thanh toán, vân tay thiết bị) kết hợp với một mô hình chuỗi trên lịch sử đơn gần đây. Ensemble cố ý nông — khả năng giải thích là yêu cầu sản phẩm, không phải sở thích nghiên cứu. Thương nhân cần hiểu vì sao một giao dịch bị gắn cờ.

Hệ thống gian lận chạy ở độ trễ sub-100ms mỗi quyết định, gồm trích đặc trưng, suy luận mô hình, và áp dụng luật. Điều đó đòi hỏi đặt runtime suy luận cùng chỗ với dịch vụ thanh toán, thay vì định tuyến qua một API dự đoán riêng. Độ phức tạp vận hành cao hơn; hồ sơ độ trễ thì không thương lượng.

2019: API Gateway V1, mật mã lưới, và hệ sinh thái SDK

Ba sợi đồng thời trong năm 2019 chỉ hội tụ nhiều năm sau.

API Gateway V1 sinh từ một vấn đề thực tế: chúng tôi có mười dịch vụ nội bộ và bốn mươi tích hợp bên ngoài. Mỗi dịch vụ có câu chuyện xác thực, giới hạn tốc độ, và khả năng quan sát riêng. Chúng tôi xây một lớp gateway thống nhất — chưa phải gateway AI mà hôm nay chúng tôi giao, nhưng cùng kiến trúc nền: định tuyến yêu cầu, middleware xác thực, giới hạn tốc độ theo từng khách, nhật ký có cấu trúc. Hanzo AI Gateway năm 2026 là lần lặp lớn thứ bảy của hệ thống này.

Nghiên cứu mật mã lưới bắt đầu như việc nền. Quy trình chuẩn hóa Mật mã hậu lượng tử của NIST đang diễn ra và chúng tôi theo dõi. Câu hỏi chúng tôi đặt: nếu đang xây hạ tầng bền, mô hình đe dọa mật mã trên chân trời 15 năm là gì? Câu trả lời chỉ rõ về phía kháng lượng tử. Chúng tôi bắt đầu tích hợp CRYSTALS-Dilithium và CRYSTALS-Kyber vào hạ tầng ký thử nghiệm — công việc đổ thẳng vào hạ tầng ký hậu lượng tử trên sản xuất vào năm sau.

Hệ sinh thái SDK: các SDK Hanzo đầu tiên được giao năm 2019, bao gồm Python, TypeScript, và Go. Nguyên tắc thiết kế là diện tích bề mặt tối thiểu với khả năng lắp ghép tối đa. Từ đó chúng tôi đã giao sáu thế hệ SDK. Nguyên tắc không đổi.

2020: Mật mã hậu lượng tử trên sản xuất

Nghiên cứu lưới từ năm 2019 vào sản xuất năm 2020. Các tiền đề thiết kế rất sắc: an ninh hậu lượng tử từ gốc, một lớp ký có thể chứa logic ứng dụng như mối quan tâm hạng nhất, và các đặc tính hiệu năng khiến chữ ký kháng lượng tử khả thi ở quy mô.

Động cơ ký đưa vào các vòng cam kết theo ngưỡng, cho bảo đảm tất định trong thời gian bị chặn, thay vì dựa vào lấy mẫu lặp lại để có độ tin xác suất. Kết quả thực tế: chữ ký được kiểm trong dưới một giây ở điều kiện thường, với đặc tính suy giảm dự đoán được dưới tải đối kháng.

Mọi khóa ký dùng CRYSTALS-Dilithium ngay từ đầu. Không phải như một đường nâng cấp tùy chọn — như một yêu cầu nền. Chi phí hiệu năng của chữ ký hậu lượng tử là thật nhưng khống chế được; chúng tôi công bố các phép đo, gồm những tối ưu kiểm chữ ký theo lô đã đưa chi phí mỗi chữ ký xuống dưới 0.3ms.

2021: Nghiên cứu đa phương thức và các bản nháp MCP đầu tiên

Khả năng đã được chứng minh của kiến trúc transformer trong việc hợp nhất biểu diễn văn bản, ảnh, và âm thanh trở nên rõ với chúng tôi vào năm 2021. Chúng tôi mở một chương trình nghiên cứu đa phương thức, về sau thành kiến trúc Jin — một khung mã hóa-giải mã thống nhất cho hiểu xuyên phương thức.

Các bản nháp đầu của Model Context Protocol nảy từ một sợi song song: chúng tôi đang xây khung tác nhân và đối mặt bài toán nền tảng là quản lý trạng thái qua các tương tác nhiều lượt với những mô hình không có bộ nhớ bền. Giao thức MCP định nghĩa một giao diện có cấu trúc cho cửa sổ ngữ cảnh, truy hồi bộ nhớ, và chuyển trạng thái giữa các mô hình. Bản nháp năm 2021 còn thô. Bản triển khai sản xuất năm 2026 đã xử lý hơn một tỷ thao tác ngữ cảnh.

2022: Giao thức ASO và lần tinh chỉnh transformer đầu tiên

Hai đóng góp kỹ thuật năm 2022 đã định hình bốn năm sau đó.

Adaptive Swarm Optimization (ASO) là một giao thức tối ưu phân tán lấy cảm hứng từ hành vi bầy sinh học. Ở chỗ thuật toán di truyền giữ các cá thể quần thể rời, ASO giữ một trường mật độ liên tục trên không gian tham số, với luật cập nhật cân bằng thông tin gradient cục bộ và các ràng buộc mật độ toàn cục. Giao thức được thiết kế cho những nơi hàm mục tiêu đắt để đánh giá và các lần đánh giá phân tán trên tính toán dị thể — vừa khít với các hệ AI đa tác nhân. Công bố ASO đầu tiên xuất hiện cuối năm 2022.

Lần chạy sản xuất tinh chỉnh transformer đầu tiên: chúng tôi tinh chỉnh một transformer trọng số mở 7B tham số cho hiểu tài liệu riêng của thương mại. Lần chạy tốn $6,200 tính toán và mất 48 giờ. Mô hình thu được tốt hơn nền 11% trên bộ đánh giá của chúng tôi, và tốt hơn rõ trên phân bố tác vụ sản xuất. Quan trọng hơn, kinh nghiệm vận hành — đường ống dữ liệu, thiết lập huấn luyện phân tán, quản lý checkpoint, bộ giá đánh giá — trở thành khuôn cho mọi lần huấn luyện sau. Chất lượng quy trình thì nhân được; các lần chạy tùy tiện thì không.

2023: HMM, khung tác nhân, và nghiên cứu PoAI

Hierarchical Model Merging (HMM) là câu trả lời cho một vấn đề chúng tôi cứ gặp: chúng tôi có nhiều mô hình đã tinh chỉnh, mỗi mô hình xuất sắc trên miền hẹp của nó, và chúng tôi muốn một mô hình thống nhất thừa hưởng phần tốt nhất của tất cả. Trung bình trọng số ngây thơ làm mọi chuyên gia đều kém đi. HMM áp một chiến lược hợp nhất phân cấp, nhận ra các biểu diễn riêng miền trong không gian trọng số và giữ chúng khi hợp nhất, thay vì trung bình cho mất. Kỹ thuật cho thấy cải thiện 4-7% so với hợp nhất ngây thơ trên các đánh giá miền giữ lại.

Khung tác nhân: runtime tác nhân Hanzo đầu tiên được giao năm 2023, xây trên giao thức MCP với dùng công cụ, truy hồi bộ nhớ, và lập kế hoạch nhiều bước. Thiết kế có chủ đích: tác nhân là tiến trình có trạng thái, không phải bộ xử lý yêu cầu không trạng thái. Runtime quản lý toàn bộ vòng đời tác nhân — khởi tạo, điều phối công cụ, lưu trạng thái, phục hồi lỗi. Xây việc này ở mức giao thức chứ không như mã ứng dụng khiến các tích hợp sau trở nên thẳng.

Nghiên cứu đồng thuận Proof of AI (PoAI): tính toán AI có thể được làm cho kiểm được và dùng như một nguyên thủy đồng thuận hay không? Câu hỏi nghiên cứu không tầm thường — tính toán AI vốn không tất định ở mức dấu phẩy động. Nghiên cứu PoAI của chúng tôi xử lý điều đó bằng các sơ đồ lượng tử hóa tất định, khiến lượt tiến tái lập được trên các phần cứng khác nhau, cho phép đồng thuận theo ngưỡng trên đầu ra mô hình. Nghiên cứu đổ vào kiến trúc zLLM của mạng Zoo.

2024: Zen LM bắt đầu, kiến trúc Jin, công cụ Hanzo MCP

Dự án Zen LM bắt đầu năm 2024 với một luận điểm đơn giản: các mô hình trọng số mở tốt nhất nên do những người có nhiều kinh nghiệm sản xuất nhất khi chạy chúng xây nên. Chúng tôi có kinh nghiệm đó.

Các mô hình Zen đầu là bản tinh chỉnh của mô hình nền Qwen3-series, nhắm các hồ sơ năng lực cụ thể: sinh mã, suy luận ngữ cảnh dài, làm theo chỉ dẫn. Đường ống huấn luyện xây năm 2022 mở được tới các lần chạy 70B+ tham số mà không thiết kế lại từ gốc — vốn bỏ vào quy trình đã trả về.

Kiến trúc Jin đưa nghiên cứu đa phương thức của chúng tôi thành một hệ sản xuất. Jin dùng một không gian token thống nhất cho văn bản, mảnh ảnh, và phổ âm thanh — không có bộ mã hóa riêng từng phương thức đòi đường huấn luyện và suy luận tách biệt. Sự đơn giản hóa kiến trúc xóa cả một lớp phức tạp phục vụ: một mô hình, một runtime suy luận, nhiều phương thức.

Công cụ Hanzo MCP được giao như bản triển khai công khai đầu tiên của Model Context Protocol. Bộ công cụ gồm tìm web, thực thi mã, thao tác tệp, truy hồi bộ nhớ, và liên lạc giữa các tác nhân. Hơn mười nghìn nhà phát triển tích hợp công cụ MCP trong quý đầu tiên chúng có mặt.

2025: Họ Zen ở quy mô, kiến trúc MoDE, và zenlm.org

Chín mươi tư mô hình. Đó là những gì họ Zen gồm vào cuối năm 2025.

Quy mô ấy đòi một kiến trúc phục vụ không thể thiết kế nếu thiếu nghiên cứu BitDelta (arXiv:2402.10193): delta của mô hình đã tinh chỉnh được nén thành biểu diễn dấu 1-bit, giảm bộ nhớ GPU mỗi biến thể từ hàng chục gigabyte xuống gigabyte một chữ số. Với trọng số nền dùng chung trong bộ nhớ GPU và delta hành vi từng mô hình trong một lớp bộ nhớ đệm, chúng tôi phục vụ được 14 biến thể Zen từ một dấu chân hạ tầng trước đây chỉ đủ cho hai hoặc ba.

Zen MoDE — Mixture of Distilled Experts — là đột phá kiến trúc định nghĩa năm 2025. Mô hình MoE truyền thống huấn luyện chuyên gia từ đầu. MoDE kết hợp ba kỹ thuật: khởi tạo chuyên gia từ chưng cất (thay vì ngẫu nhiên), Drop-Upcycling (arXiv:2502.19261) để phá tương quan trọng số giữa các chuyên gia, và giao thức hợp nhất HMM của chúng tôi để chuyên biệt hóa chuyên gia sau đó mà không huấn luyện lại toàn bộ. Kết quả: Zen4 Max đạt chất lượng hạng 13B với tổng 30B tham số và chỉ 3B hoạt động mỗi lượt tiến.

Các biến thể Abliterated: công việc gỡ từ chối — áp dụng cẩn thận và có chủ đích lên các mô hình được chỉ định cho nghiên cứu và dùng chuyên môn — cho thấy các tính chất hành vi có thể định vị trong không gian trọng số. Hiểu hành vi sống ở đâu trong một mô hình là tri thức nền, không phải một đường vòng. Dòng zen4-abliterated là họ mô hình đầu tiên được giao kèm tọa độ định vị hành vi đã ghi lại.

2026: Hanzo AI Gateway và phần tiếp theo

Ra mắt gateway vào tháng Hai 2026 là đỉnh của công việc API gateway bắt đầu năm 2019: một điểm cuối cho 100+ mô hình, tương thích OpenAI, không cộng thêm trên giá của nhà cung cấp bên thứ ba, với các mô hình Zen là tầng độc quyền.

Các sợi nghiên cứu đang hoạt động:

GT-QLoRA: thích nghi hạng thấp lượng tử hóa với cổng được làm tan, để chỉnh hành vi MoE. LoRA chuẩn áp lên mô hình MoE để cổng định tuyến đóng băng, nên tinh chỉnh không chạm được việc chọn chuyên gia. GT-QLoRA mở tham số cổng bằng các cập nhật bị ràng buộc — cấu trúc định tuyến thích nghi được trong khi chuyên biệt của chuyên gia được giữ.

DSO (Decentralized Semantic Optimization): giao thức nền của kiến trúc zLLM của Zoo. Thích nghi không tính toán qua bơm kinh nghiệm, chịu sự điều hành của cơ chế DAO. Khoảng cách giữa chi phí tinh chỉnh ($15K+) và chi phí DSO ($18) là thật. Kiến trúc đang chạy sản xuất trên mạng Zoo.

MPC an toàn lượng tử: các giao thức tính toán nhiều bên cho trọng số mô hình, dùng nguyên thủy hậu lượng tử. Nếu trọng số mô hình là tài sản trí tuệ quý nhất trong hạ tầng AI, chúng đáng được bảo vệ mật mã ngang với các tài sản tài chính tốt nhất.

Mười hai năm là thời gian dài trong AI. Đủ dài để thấy các vòng thổi phồng đến rồi đi, thấy những hệ hình thay thế lẫn nhau, thấy các công ty xây trên SOTA của năm ngoái sụp khi SOTA dịch chuyển. Thứ còn lại là hạ tầng: đường ống dữ liệu, hệ thống phục vụ, bản triển khai giao thức, và tri thức vận hành đổi bằng công sức, thứ khiến việc thực sự giao và chạy AI ở quy mô trở nên có thể.

Chúng tôi xây hạ tầng đó từ năm 2014. Chúng tôi chưa xong.

---

Hanzo AI là Techstars '17. Chúng tôi xây AI tiên phong và hạ tầng để chạy nó. hanzo.ai