프로그램이 곧바로 쓰는 답만 내놓는 AI 'Jev' 공개

TypeSafe AI가 9월 15일(현지시간) 새 AI 모델 Jev를 공개했다. 사람이 읽을 문장을 쓰는 대신, 소프트웨어가 곧바로 쓸 판단만 돌려주는 모델이다. 회사가 System One이라고 부르는 새 갈래의 첫 제품이다. 프로그램이 상황 정보와 원하는 답의 형태를 정해 보내면, Jev는 선택 결과나 점수, 참일 확률을 돌려준다. 회사는 공개 당일 미리 써 보는 기회를 열었다. 대기 명단에 이름을 올린 개발자부터 순서대로 받고 있다.

글 대신 선택지로 답하는 AI

Jev는 자유로운 문장을 만들지 않는다. 글을 읽고 미리 정해 둔 선택지나 숫자로만 답한다. 여러 질문을 한 번에 보내 동시에 처리할 수도 있다. 선택과 점수에는 그 결과가 맞을 확률과 확신 정도가 함께 붙는다. 서비스에 붙여 쓸 때 중요한 것은 AI의 설명을 사람이 읽는 일이 아니다. 그 결과를 프로그램의 다음 단계에 바로 넣어 쓰는 일이다.

이 차이를 잘 보여주는 사례가 사이먼 윌리슨이 공개한 연결 도구 llm-typesafe다. 소개된 예제는 고객 메시지에 환불 요청이 적혀 있는지 묻고, 그렇다고 볼 확률을 숫자로 받는다. 고객 응대에서 어떤 요청인지 가려내는 단계에 해당한다. 윌리슨도 Jev를 판단에 초점을 맞춘 모델이라고 설명했다.

0.5초면 답하는 속도, 실제로도 그럴까

Jev는 눈 깜짝할 새에 답한다. 회사가 밝힌 응답 속도는 0.07~0.5초다. 요금은 입력에만 매긴다. 글자 조각을 세는 단위인 100만 토큰당 0.042달러이고, 출력에는 요금을 받지 않는다. 짧은 판단을 수없이 반복하는 소프트웨어에서 기다리는 시간과 호출 비용을 줄이겠다는 뜻이다. 회사는 새 모델 구조와 여러 결과를 한 번에 구하는 방식을 적용했다고 밝혔다. 확신 정도를 실제 정답률에 맞추는 학습도 거쳤다고 설명했다.

다만 193.6배의 속도 차이와 444.6배의 비용 차이는 회사가 직접 잰 결과다. 특정 조건에서 나온 숫자여서 모든 서비스에 그대로 적용할 수는 없다. 회사도 실제 사용에서 얻을 개선폭의 최대치에 가까울 수 있다고 설명했다. 도입을 따져 볼 때는 이 배수보다 자기 서비스의 질문에서 걸리는 시간과 비용을 재 보는 편이 낫다.

벌써 나온 활용 사례

공개 뒤 반응은 기존 도구에 Jev를 붙이거나, 비슷한 판단 방식을 직접 실험하는 쪽으로 이어졌다. llm-typesafe는 기존 대화형 AI 도구에서 Jev를 쓸 수 있게 해 준다. GitHub에서는 simple-jev가 별 513개, jev-align이 286개를 받았다. 관련 자료를 모아 둔 목록도 여러 개 생겼다. 별 수는 관심의 크기를 보여주는 숫자일 뿐이다. 성능이나 완성도를 증명하지는 않는다.

한국어를 앞세운 사례도 나왔다. 9월 24일 GeekNews에 소개된 Malkuth는 여러 언어와 한국어 분류에 특화한 모델을 내세운다. 개발자 설명에 따르면 글과 질문, 선택지를 받아 선택지마다 확률을 돌려준다. 크기가 다른 두 가지 모델을 내놓았고, TypeSafe의 연결 방식과도 맞물려 쓸 수 있다고 소개했다. Jev의 판단 방식을 한국어 작업에 옮겨 보려는 시도다.

그래서 믿고 써도 될까

Jev가 정해진 형식으로 답한다는 점과 정답을 낸다는 점은 구분해야 한다. 형식 오류가 없다는 회사의 설명이 판단이 언제나 옳다는 뜻은 아니다. 회사 문서도 질문을 좁고 구체적으로 나누라고 권한다. 길게 생각해야 하는 일이나 여러 판단을 묶어 결론을 내는 일은 프로그램 코드에서 처리하라는 설명이다.

Jev가 던지는 변화는 AI에 맡길 일을 작고 분명한 판단으로 쪼개는 접근이다. 이용자에게 중요한 것은 그 판단이 실제 서비스에서 얼마나 빠르고 정확하게 이어지느냐다. 국내 활용을 가늠할 기준도 결국 한국어 질문에서의 정확도와 확신 정도다. Malkuth 같은 실험이 실제 업무에 쓸 만한지도 이 기준으로 살펴봐야 한다.