Deltag i Hanzo-betaen og få 50 % rabat på enhver betalt plan

Kai 1: Beslutninger, ikke fuldførelser

Kai er Hanzos beslutningsmodel og udbydes gennem Hanzo API. Giv den en eksplicit tilstand og et spørgsmål med oplistede svarmuligheder, så returnerer den et typet, kalibreret svar — et valg, en score, et ja eller nej, eller en begrundet udsættelse.

På denne side

De fleste trin i produktionssoftware behøver ikke et afsnit. De behøver et svar, som softwaren kan handle på: hvilket værktøj der skal kaldes, om beviset er nok, hvor alvorlig en risiko er, og om et menneske skal godkende.

I dag introducerer vi Kai 1, Hanzos beslutningsmodel. Giv Kai fakta om en situation og et spørgsmål med oplistede muligheder. Kai returnerer et typet svar (et valg, en score, et ja eller nej, eller et kalibreret «ikke sikker, udsæt») med en sandsynlighed for hver mulighed.

Kai 1 er live på Hanzo API. Vægtene er lukkede: Kai udbydes kun via API.

Kai læser otte slags beviser om et køretøj og returnerer klar, kræver gennemgang eller ikke klar, hver med en sandsynlighed, eller overlader det til et menneske.
Figur 1 · Én fælles tilstand, ét oplistet spørgsmål, ét typet svar med en sandsynlighed for hver mulighed. Sandsynlighederne er illustrative.

Sprogmodeller ræsonnerer. Kai beslutter.

Når du beder en sprogmodel om at træffe et valg, får du tekst tilbage. Du skal parse den, stole på et sikkerhedstal, som modellen har fundet på, og håbe, at outputtet holder sig inden for rammerne.

Kai er bygget til de trin, hvor det ikke er godt nok. Svarene er afgrænsede, sandsynlighederne er kalibrerede, og der er intet at parse. Hvert Kai-svar er en af fire typer:

  • Valg: én mulighed fra et oplistet sæt, med en sandsynlighed for hver
  • Score: en vurdering mod niveauer, du selv definerer
  • Prædikat: et ja eller nej med sin sandsynlighed
  • Udsættelse: Kai er ikke sikker nok og giver afgørelsen til en person eller en regel

Beviset bliver hængende

En beslutning bør være ligeglad med, om beviset begyndte som tekst, et billede eller en sensoraflæsning. Kai er designet til at tage blandet bevis og holde dets oprindelse knyttet til hvert svar.

Et tal uden herkomst er bare et tal.

Femten slags beviser (tekst, kode, billede, video, lyd, radar, lidar, termisk, sensorer, telemetri, tidsserier, graf, SysML, simulering og dokumenter) passerer gennem modalitetskodere til én fælles bevistilstand, som føder Kai.
Figur 2 · Tekst, billeder, sensoraflæsninger og mere kodes ind i én fælles bevistilstand, som Kai læser.

Mange beslutninger, én gennemgang

Agentløkker stiller ét spørgsmål ad gangen. Kai er designet til at køre et helt beslutningsprogram på én gang: én fælles tilstand, mange beslutninger, med afhængigheder skrevet ud. Sikre svar låses først, og kun de usikre får mere arbejde.

Målet er, at et program med tusindvis af beslutninger ikke skal bruge tusindvis af serielle modelkald.

Et gitter af 100 beslutningsknuder, der alle starter maskerede. 87 afgøres i første gennemgang, 11 i en anden, og en begrænsningsgennemgang løser de sidste 2 konflikter.
Figur 3 · Sikre beslutninger falder på plads i første gennemgang; kun de usikre forfines. Tallene er illustrative.

Enhver beslutning kan afspilles igen

Hver Kai-beslutning registrerer programversionen, bevisernes fingeraftryk, modelrevisionen, den fulde sandsynlighedsfordeling, godkendelser og udførelsessporet. Når nogen spørger, hvorfor systemet gjorde noget, kan du vise dem det.

Ti slags beviser om køretøj 17, fra kamerainspektion og CAN-telemetri til SysML-arkitektur og krav, flyder ind i et beslutningsprogram, derefter Kai, derefter politik- og løsertjek, derefter menneskelig godkendelse og ender i en beslutningspakke.
Figur 4 · Fra bevis til en beslutningspakke: den post, der lader en beslutning blive afspillet igen. Illustrativt eksempel.

Hvor Kai passer ind

  • Agenter: valg af model og værktøj, hvornår der skal fortsættes eller stoppes, hvornår et menneske skal spørges
  • Forretningsarbejdsgange: leadscoring, hensigtsgenkendelse, næste bedste handling, eskalering
  • Fysiske systemer: køretøjer, robotteknik, fremstilling, energi og infrastruktur, hvor beslutninger kører på sensordata

En del af Hanzo-stakken

Enso dirigerer hver opgave: skrivning går til Zen6, beslutninger går til Kai 1.
Figur 5 · Hanzo-stakken. Zen skriver, Kai beslutter, og Enso vælger, hvilken der skal kaldes.

Generering og beslutning er forskellige opgaver. Zen6 er vores familie af genereringsmodeller med åbne vægte. Kai 1 træffer afgrænsede, kalibrerede beslutninger. Enso dirigerer hver opgave til den, der skal bruges.

Hvor det kører

Kai kører på Hanzo API, på POST https://api.hanzo.ai/v1/decisions, for $0.021 pr. million inputtokens, og output er gratis. Vægtene er ikke offentliggjort, og selvhosting tilbydes ikke.

Hvad der kommer

Vi arbejder på syv åbne forskningsspørgsmål, og vi offentliggør kun resultater, når de kan genskabes:

  1. Beslutninger over ekstremt store mængder af muligheder
  2. Flersprogede beslutninger
  3. Afkodning med fælles tilstand
  4. Beslutningsdiffusion (kun usikre svar forfines)
  5. Multimodalt bevis
  6. Kalibrering og viden om, hvornår man skal afstå
  7. Konsistens på tværs af forbundne beslutninger

Kai 1's første resultater er offentliggjort. På de 12 hovedsuiter i en fastfrosset beslutningstestramme ligger Kai 1 i gennemsnit på 85.7% nøjagtighed mod Jevs 78.0%. Den er mere nøjagtig på 11 af 12 suiter, bagud på jailbreak (91.75% mod 94.0%), og kalibreringsfejlen er lavere på 8 af 12. De kørsler blev målt på CUDA; produktionssvar kører på CPU. Kai 1 er endnu ikke konkurrencedygtig på afhængige programmer med flere spørgsmål, på negerede ja/nej-spørgsmål, ved 150 eller flere muligheder eller på kalibrering af typede beslutninger og jailbreak, og ved 1,000 eller flere muligheder er nøjagtigheden tæt på nul. Hver tabel, med den kørsel hvert tal kommer fra: hanzo.ai/kai og Kai-dokumentationen.


Kai 1 · Hanzo API

Hold op med at bede én model om at gøre alt

Kald Kai gennem Hanzo API i dag.

Kommentarer

Log ind med dit Hanzo ID for at kommentere.

Indlæser kommentarer…

Læs mere