Typesafe zaprezentował właśnie nowy model z zupełnie nowej klasy modeli. Tak przynajmniej przedstawia to firma.

Model nazywa się Jev, a klasa modeli to System One. Według twórców ma być to zupełnie inne podejście względem tego, co już do tej pory znamy. Sami jednak już teraz wspomnę, że tak naprawdę podobne rzeczy już są na rynku (o tym niżej), choć może nieopakowane w jedną wspólną paczkę.

TypeSafe nazywa istniejące już modele, takie jak OpenAI czy modele od Antropic, modelami systemu drugiego. To nawiązanie do dwóch sposobów myślenia, opisanego w książce “Pułapki myślenia”. Według tej książki w naszym mózgu są dwa sposoby na podejmowanie decyzji. Szybki, intuicyjny jest to tak zwany system pierwszy oraz system drugi wolniejszy, który pozwala na dokładne przemyślenie problemu. Open AI i modele językowe, które do tej pory znamy, służą do dokładnego przemyśliwania zadań jakie im damy.

Według ludzi z TypeSafe nie ma w tym nic złego, przy czym trzeba pamiętać, że nie do każdy zadań trzeba wszystko dokładnie przemyśleć. Jeśli chcemy, aby sztuczna inteligencja przygotowała nam jakieś opracowanie, jakiś kod źródłowy programu, to modele drugiego systemu nadal się do tego idealnie sprawdzają.

Jednak w sytuacjach, kiedy po prostu potrzebujemy podjęcia decyzji, zaklasyfikowania czegoś, uruchomianie całego systemu, który produkuje token za tokenem, i na tej bazie raz podejmuje decyzję, ale potem też wytwarza przygotowaną dłuższą odpowiedź, nie ma większego sensu.

I stąd właśnie wziął się Jev. Gdy naszym zadaniem jest na przykład: “Masz tutaj treść e-maila od klienta, powiedz mi, czy właśnie on zażądał zwrotu pieniędzy.” albo “Masz tutaj pull request ze zmianami w kodzie oraz specyfikacje, na bazie, której ten pull request został stworzony. I powiedz mi, czy specyfikacja jest w pełni obsłużona.” to w takich przypadkach, choć obecnie dostępne na rynku modele potrafią na to odpowiedzieć, jest to nieefektywne i zbyt kosztowne.

Jev jako model pierwszego systemu po prostu zwróci na takie zapytania ustrukturyzowaną odpowiedź, gdzie każdy parametr odpowiedzi będzie miał odpowiednią wagę pewności.

W przypadku pytania o e-mail Jev odpowie po prostu:

refund_requested: true
confidence: 0.97

Jest to o wiele mniej niż zwracają nam obecnie modele, które już znamy. Ale ma to swoje istotne zalety.

Przede wszystkim taka odpowiedź jest błyskawiczna. Jak podają twórcy według ich benchmarku, porównując to z prośbą o tak samo ustrukturyzowaną odpowiedź z modeli drugiego systemu, jest 400 razy szybsze.

Po drugie koszty. Input tokeny są kilka razy tańsze niż w modelach OpenAI, czy Anthropic, czy Gemini. Natomiast output tokeny są po prostu darmowe: Jev nie wykonuje tutaj żadnego łańcucha generowania tokenów, tak jak to jest w poprzednio wymienionych modelach.

Zastosowaniem takich modeli pierwszego systemu jest wpięcie ich bezpośrednio w kod aplikacji. To jest właśnie celem firmy TypeSafe, chcą, aby sztuczna inteligencja w końcu dostarczyła to, co obiecano: Sztuczna inteligencja ma automatyzować i przyspieszeć procesy. Na tę chwilę z tą automatyzacją bywa różnie, najczęściej automatyzuje wytwarzanie kodu, który wciąż jest deterministyczny i nieoparty na sztucznej inteligencji. Oczywiście potrafi łączyć się ze sztuczną inteligencją, prosić o ustrukturyzowaną odpowiedź, ale wciąż jest to nieefektywne drogie, trwające dłużej i narażone na halucynacje. Jev ma adresować te wszystkie problemy.

Dostęp do tego modelu nie jest jeszcze publiczny. Można zobaczyć filmy demonstracyjne na stronie ogłaszające jego utworzenie i zapisać się na listy oczekujących.

Jednak nie trzeba koniecznie na to czekać. Jak już wspomniałem wcześniej, są na rynku gotowe rozwiązania, które robią to samo. Zapewne drożej i wolniej, ale opierają się na dowolnie przez nas wybranych modelach, także tych mniejszych i tańszych.

Klasyfikatory treści są tak samo stare, jak modele, które mamy już na rynku. Ot choćby taki https://github.com/Knowledgator/GLiClass.

A jeżeli chcemy wpiąć sztuczną inteligencję w logikę naszego programu, tak aby zachowywała się ona jak kolejna funkcja w naszym programie, to dobrym przykładem jest DSPy

Wpis został napisany przez żywego człowieka, ale wykorzystałem AI do transkrybcji mojej mowy na tekst. Starałem się poprawić wszystkie literówki, ale jeśli wciąż coś jest nie tak, wybacz :)