Blog - Jak działa Jev

Model językowy pisze odpowiedź. Jev jej nie pisze.

To flagowy model System One od TypeSafe. Dostaje stan — tekst, obiekt JSON albo tablicę tekstów — i pytania, które sam opisujesz w kodzie. Zwraca typowane odpowiedzi i prawdopodobieństwa. Nie pisze maila, nie tłumaczy toku rozumowania, nie generuje kodu.

Nazwa nawiązuje do Daniela Kahnemana: System 1 to szybki osąd, System 2 to wolne, rozłożone na czynniki rozumowanie. Jev jest od tego pierwszego. Jedno pytanie ma być takim osądem, jaki ktoś ogarnięty w temacie wydaje w sekundę, gdy ma właściwy kontekst.

Czym różni się od LLM

Rozumie język naturalny, tak jak model czatowy. Na tym podobieństwo się kończy.

• Odpowiedź mieści się w opcjach, które podałeś. Nie trzeba wyłuskiwać decyzji z akapitu.
• Prawdopodobieństwa są trenowane tak, żeby na zbiorze predykcji oddawały niepewność. Kalibracja nie gwarantuje, że pojedyncza odpowiedź jest prawdziwa.
• Wejście to na razie tylko tekst. Obrazy, audio i wideo nie wchodzą.

Co wysyłasz

Jedno wywołanie: stan, nazwa modelu (w dokumentacji zwykle jev-latest) i mapa pytań. Każde pytanie ma własne id, type i instructions. Id jest dla Twojego kodu — model go nie widzi, więc całe pytanie musi stać w instructions.

Trzy kształty odpowiedzi

Choice pasuje, gdy opcje nie mają kolejności: billing, techniczny, konto. Dorzuć „inne”, jeśli lista może nie pokryć wejścia.

Score pasuje, gdy sam opisujesz poziomy: spokojny, zirytowany, wściekły. Wynik 1.4 znaczy „między pierwszym a drugim poziomem, bliżej drugiego”, a nie ocenę szkolną.

Noul to czyste tak/nie. 0.95 to mocne tak, 0.05 mocne nie, okolice 0.5 to remis. Nie ma osobnego pola pewności — tą pewnością jest sama liczba. 0.5 nie znaczy „średni poziom umiejętności”. Jeśli chcesz mierzyć poziom, zrób Score z nazwanymi stopniami.

Wiele pytań naraz

Pytania w jednym requeście widzą ten sam stan, lecą równolegle i nie podglądają swoich odpowiedzi. Dodanie kolejnego prawie nie wydłuża czasu. Kosztuje tokeny pytania, nie drugie czytanie całego stanu.

Dlatego lepiej pytać o czynniki osobno i złożyć wynik w kodzie, niż prosić model: „przeanalizuj i zdecyduj”. Priorytet zgłoszenia może być wagą trzech Score: jak poważny jest błąd, jak zdenerwowany jest klient, ile inżynier ma z czego zacząć. Wagi zmieniasz w kodzie, bez przepisywania promptu.

Drugie wywołanie ma sens dopiero wtedy, gdy bez pierwszej odpowiedzi nie umiesz zbudować kolejnego stanu — na przykład musisz dociągnąć dane albo lista opcji zależy od poprzedniego Choice.

Jak to wygląda na zgłoszeniu

Stan: „Ściągnięto mi dwa razy za zamówienie A-104. Proszę o zwrot.” Obok polityka: podwójne obciążenie kwalifikuje się do zwrotu.

Kod nie parsuje zdania. Porównuje liczby i etykiety. Niskie confidence albo Noul blisko 0.5 to sygnał, żeby oddać sprawę człowiekowi albo wolniejszemu modelowi, zamiast działać automatycznie.

Gdy stan jest JSON-em z kilkoma częściami, w instructions wskazuje się ścieżkę, na przykład `ticket.messages[0].text`. Model wie wtedy, który fragment oceniać.

Kiedy to nie ten model

Jev nie napisze odpowiedzi do klienta i nie ogarnie zadania w stylu „przeanalizuj całość i zaproponuj plan”. Takie zdanie trzeba rozbić na małe osądy albo oddać modelowi, który generuje tekst.

Nie zobaczy zrzutu ekranu. Nie wytłumaczy, czemu tak uznał. Jeśli potrzebujesz uzasadnienia dla człowieka, musisz je złożyć sam z odpowiedzi, które dostałeś.

Po co to w produkcie

Tam, gdzie decyzja ma wpaść w if, próg albo kolejkę: routing zgłoszeń, wykrycie prośby o zwrot, flaga pilności, ocena tonu. LLM zostaje od rozmowy i od rzeczy, które naprawdę wymagają dłuższego rozumowania. Jev jest od szybkiego, ograniczonego osądu, na którym da się postawić zwykły kod.