Kai 1: рішення, не дописування тексту

Більшості кроків у промисловому програмному забезпеченні абзац не потрібен. Їм потрібна відповідь, на яку програма може спертися: який інструмент викликати, чи вистачає свідчень, наскільки серйозний ризик і чи мусить людина поставити підпис.

Сьогодні ми презентуємо Kai 1, модель рішень Hanzo. Передайте Kai факти ситуації та запитання з переліченими варіантами. Kai повертає типізовану відповідь (вибір, оцінку, так або ні, або каліброване «не певен, передаю далі») з ймовірністю для кожного варіанта.

Kai 1 вже працює в Hanzo API. Ваги закриті: Kai віддається лише через API.

Kai читає вісім видів свідчень про транспортний засіб і повертає «готово», «потрібна перевірка» або «не готово», кожне з ймовірністю, або передає рішення людині. — Малюнок 1 · Один спільний стан, одне запитання з переліком варіантів, одна типізована відповідь із ймовірністю для кожного варіанта. Ймовірності наведено для ілюстрації.

Мовні моделі міркують. Kai ухвалює.

Коли ви просите мовну модель ухвалити рішення, у відповідь надходить текст. Його треба розібрати, повірити числу впевненості, яке модель вигадала, і сподіватися, що відповідь лишиться в заданих межах.

Kai створено для кроків, де цього замало. Відповіді обмежені, ймовірності калібровані, і розбирати нічого. Кожна відповідь Kai належить до одного з чотирьох типів:

Вибір: один варіант із заданого переліку, з ймовірністю для кожного
Оцінка: бал за рівнями, які визначаєте ви
Предикат: так або ні разом із ймовірністю
Передання: Kai недостатньо впевнений і віддає рішення людині або правилу

Свідчення лишаються прив’язаними

Рішенню байдуже, чи свідчення почалися як текст, зображення або показник датчика. Kai спроєктовано так, щоб приймати змішані свідчення і тримати їхнє походження біля кожної відповіді.

Число без походження — це просто число.

П’ятнадцять видів свідчень (текст, код, зображення, відео, аудіо, радар, лідар, тепловізор, датчики, телеметрія, часові ряди, граф, SysML, симуляція та документи) проходять крізь кодувальники модальностей в один спільний стан свідчень, який живить Kai. — Малюнок 2 · Текст, зображення, показники датчиків та інше кодуються в один спільний стан свідчень, який читає Kai.

Багато рішень за один прохід

Цикли агентів ставлять по одному запитанню за раз. Kai спроєктовано так, щоб виконувати цілу програму рішень одразу: один спільний стан, багато рішень, залежності прописані явно. Впевнені відповіді фіксуються першими, і додаткову роботу отримують лише невпевнені.

Мета така, щоб програмі з тисячами рішень не доводилося робити тисячі послідовних викликів моделі.

Сітка зі 100 вузлів рішень, усі спочатку замасковані. 87 розв’язуються на першому проході, 11 на другому, а прохід обмежень розв’язує останні 2 конфлікти. — Малюнок 3 · Впевнені рішення закріплюються на першому проході; уточнюються лише невпевнені. Числа наведено для ілюстрації.

Кожне рішення можна відтворити

Кожне рішення Kai записує версію програми, відбитки свідчень, ревізію моделі, повний розподіл імовірностей, погодження та трасу виконання. Коли хтось питає, чому система вчинила саме так, це можна показати.

Десять видів свідчень про транспортний засіб 17, від огляду камерою та телеметрії CAN до архітектури SysML і вимог, стікаються в програму рішень, далі в Kai, далі в перевірки політики та розв’язувача, далі в схвалення людиною і завершуються пакетом рішення. — Малюнок 4 · Від свідчень до пакета рішення: запис, завдяки якому рішення можна відтворити. Ілюстративний приклад.

Де доречний Kai

Агенти: вибір моделі та інструмента, коли продовжувати чи зупинятися, коли запитати людину
Бізнес-процеси: оцінювання лідів, виявлення наміру, наступна найкраща дія, ескалація
Фізичні системи: транспорт, робототехніка, виробництво, енергетика та інфраструктура, де рішення ухвалюють за даними датчиків

Частина стека Hanzo

Enso скеровує кожне завдання: написання йде до Zen6, рішення йдуть до Kai 1. — Малюнок 5 · Стек Hanzo. Zen пише, Kai ухвалює, а Enso обирає, кого викликати.

Породження тексту й ухвалення рішень — різні роботи. Zen6 — наша родина генеративних моделей із відкритими вагами. Kai 1 ухвалює обмежені, калібровані рішення. Enso скеровує кожне завдання до тієї моделі, яка для нього потрібна.

Де це працює

Kai працює в Hanzo API за адресою POST https://api.hanzo.ai/v1/decisions, за ціною $0.021 за мільйон вхідних токенів, а вихід безкоштовний. Ваги не оприлюднюють, і самостійне розміщення не пропонують.

Що далі

Ми працюємо над сімома відкритими дослідницькими запитаннями й оприлюднимо результати лише тоді, коли їх можна буде відтворити:

Рішення на надзвичайно великих наборах варіантів
Багатомовні рішення
Декодування зі спільним станом
Дифузія рішень (уточнення лише невпевнених відповідей)
Мультимодальні свідчення
Калібрування і розуміння, коли варто утриматися
Узгодженість пов’язаних рішень

Перші результати Kai 1 оприлюднено. На 12 головних наборах замороженого випробувального стенда рішень Kai 1 має в середньому 85.7% точності проти 78.0% у Jev. Він точніший на 11 із 12 наборів, відстає на jailbreak (91.75% проти 94.0%), а похибка калібрування нижча на 8 із 12. Ці прогони вимірювали на CUDA; відповіді в робочому середовищі видаються на CPU. Kai 1 поки не конкурує на залежних програмах із кількох запитань, на запитаннях так або ні із запереченням, за 150 і більше варіантів, а також на калібруванні типізованих рішень і jailbreak, і за 1,000 і більше варіантів його точність близька до нуля. Кожна таблиця і прогін, з якого взято число: hanzo.ai/kai і документація Kai.

Kai 1 · Hanzo API

Досить просити одну модель робити все

Викличте Kai через Hanzo API вже сьогодні.

Дослідити Kai →Почати будувати з Hanzo Познайомитися з авторкою ↗