ChatGPT를 만드는 데 참여한 연구자가, 이번에는 말을 하지 않는 AI를 내놓았습니다.
이름은 Jev. 글을 써주지도, 질문에 긴 설명을 붙이지도 않습니다. 대신 주어진 상황에서 하나를 고르고, 점수를 매기고, 그 판단을 얼마나 확신하는지 돌려줍니다. TypeSafe AI가 9월 15일 공개한 모델입니다. 공식 발표
처음 들으면 오히려 기능이 줄어든 것 같습니다. AI가 글도 쓰고 코드도 만드는 시대에, 왜 굳이 말하는 능력을 포기했을까요?
이 질문은 AI가 앞으로 어디에 쓰일지와 연결됩니다. 우리가 직접 대화하는 화면을 넘어, 매일 쓰는 서비스가 상황을 알아서 판단하는 곳까지 AI가 들어갈 수 있을까요?
채팅창 밖에서 필요한 AI
쇼핑몰에 이런 문의가 들어왔다고 해보겠습니다.
“결제가 두 번 됐어요. 내일까지 선물해야 하는데 주문은 제대로 된 건가요?”
챗봇이라면 고객에게 답변을 작성할 수 있습니다. 하지만 실제 업무에서는 그 전에 할 일이 있습니다. 결제 문제로 분류하고, 배송이 급하다는 점을 알아채고, 담당자가 먼저 볼 수 있게 순서를 바꿔야 합니다.
이때마다 긴 답변이 필요한 건 아닙니다. 프로그램에는 ‘결제 담당’, ‘긴급’, ‘확인 필요’처럼 다음 행동을 정할 값이 필요합니다.
Jev는 이런 용도로 만들어졌습니다. 개발자가 자료와 질문, 가능한 선택지를 주면 소프트웨어가 바로 사용할 수 있는 판단값을 반환합니다. 같은 자료에 여러 질문을 보내 함께 평가할 수도 있습니다. Jev 공식 문서
사용자가 “이 문의를 분류해 줘”라고 입력하지 않아도 됩니다. 문의가 접수되는 순간 서비스 안에서 판단이 일어나고, 사용자는 일이 더 빨리 처리됐다는 결과를 경험하는 겁니다.
AI 기능을 추가한다고 꼭 화면에 채팅창을 하나 더 붙일 필요는 없습니다. 서비스가 매번 사람에게 물어보던 작은 판단을 내부에서 처리하는 방식도 있습니다.
Jev가 ‘System One’이라는 이름을 붙인 이유
사람도 모든 일에 같은 방식으로 생각하지는 않습니다.
친한 사람의 목소리는 듣자마자 알아봅니다. 반면 새로운 집의 대출 조건을 비교하려면 숫자를 적고 계산해 봐야 합니다. 전자는 빠르고 익숙한 판단에, 후자는 시간을 들여 검토하는 사고에 가깝습니다.
Daniel Kahneman이 대중화한 System 1과 System 2는 이런 차이를 설명할 때 쓰는 개념입니다. 대략 System 1은 직관적이고 자동적인 사고, System 2는 주의를 기울여 단계적으로 검토하는 사고를 가리킵니다. 실제 뇌가 두 개의 독립된 장치로 나뉜다는 뜻은 아닙니다. 관련 인지과학 연구
TypeSafe는 여기서 이름을 가져와 Jev를 ‘System One 모델’이라고 부릅니다. 범위가 정해진 판단을 빠르게 내리는 데 집중하겠다는 뜻입니다.
빠른 판단에도 지식이 필요합니다. “내일까지 선물해야 한다”는 문장에는 ‘긴급’이라는 단어가 없지만, 상황을 이해하면 서둘러 처리해야 한다는 뜻을 읽을 수 있습니다. 이런 의미를 매번 사람이 규칙으로 적어두기는 어렵습니다.
그래서 Jev를 보며 이런 질문을 하게 됩니다. 충분한 지식을 가진 AI가 이런 작은 판단을 아주 빠르게 내려줄 수 있다면, 지금까지 사람이 클릭하고 분류하던 일 중 얼마나 많은 것을 바꿀 수 있을까요?
빨라지고 저렴해지면 달라지는 제품
TypeSafe가 공개한 Jev의 응답시간은 70~500밀리초, 초로 바꾸면 0.07~0.5초입니다. 입력 100만 토큰의 가격은 0.042달러이며 출력은 무료라고 발표했습니다. 실제 속도는 접속 위치와 입력 조건에 따라 달라집니다. 가격과 측정 조건
제품을 만드는 입장에서 이 숫자를 보면 어떨까요?
사용자가 버튼을 누를 때마다 몇 초를 기다려야 한다면, AI 기능은 별도의 작업이 되기 쉽습니다. 판단에 걸리는 시간이 짧다면 사용자가 하던 일을 멈추지 않도록 AI를 넣어볼 수 있습니다. 실제 서비스에서는 네트워크와 다른 처리 시간도 더해지니 전체 흐름을 확인해야 합니다.
비용도 마찬가지입니다. 고객 문의 한 건을 처리할 때 부서, 긴급도, 추가 확인 필요 여부를 각각 판단한다고 생각해보겠습니다. 판단을 더 자주 해도 부담이 작아진다면, 예전에는 비용 때문에 생략했던 확인을 추가할 여지가 생깁니다.
제품이 어떻게 달라질지 상상해보겠습니다.
- 고객지원 도구가 급한 문의를 먼저 올리고, 필요한 주문 정보를 함께 보여줍니다.
- 문서 접수 서비스가 누락 가능성이 있는 항목을 제출 전에 알려줍니다.
- 영업 도구가 새 문의의 내용을 읽고, 사람이 먼저 살펴볼 연락을 골라줍니다.
빠르고 저렴한 판단 모델이 충분한 정확도를 갖췄을 때 시도할 수 있는 설계입니다. 제품을 만드는 팀은 모델 성능의 변화가 사용자의 기다림과 반복 작업을 얼마나 줄여줄지 살펴볼 만합니다.
오래된 분류 문제, 새롭게 확인할 가능성
이쯤에서 “스팸 메일도 원래 AI가 분류하지 않았나?”라는 생각이 들 수 있습니다. 맞습니다. 텍스트를 읽고 종류를 나누는 모델은 오래전부터 있었고, 자연어로 분류 기준을 제시하는 연구도 Jev 이전부터 이어졌습니다. Zero-shot 텍스트 분류 연구
그래서 Jev를 지능의 완전히 새로운 발명으로 단정할 필요는 없습니다. 여러 업무에 이런 판단을 적용하기가 얼마나 쉬워졌는지를 살펴보면 됩니다. 판단할 질문을 바꾸고 여러 항목을 함께 확인할 수 있는 데다 호출 비용까지 낮다면, 개발자가 시도할 만한 범위도 넓어집니다.
물론 빠른 답이 항상 맞는 답은 아닙니다. Jev가 정해진 선택지 안에서 답하더라도, 결제 문의를 배송 문의로 잘못 고를 수 있습니다. 함께 반환하는 확률 역시 우리 업무에서 얼마나 잘 맞는지 확인해야 합니다.
따라서 이 변화가 곧바로 “사람 없는 회사”를 의미하지는 않습니다. 어떤 판단을 맡기고 틀렸을 때 어디서 사람이 확인할지를 더 세밀하게 설계할 수 있다는 얘기입니다.
서비스 안으로 들어오는 작은 판단들
Jev를 보며 앞으로의 AI 제품을 생각해보게 됩니다.
지금 사용하는 서비스에서, 사람이 상황을 읽고 다음 버튼을 고르는 순간은 어디에 있을까요?
그동안 너무 작거나 너무 자주 반복돼서 별도 자동화를 만들기 어려웠던 일들이 있을 겁니다. 메일을 읽고 담당자를 지정하거나, 서류를 훑고 추가 자료를 요청하거나, 접수된 일을 보고 처리 순서를 바꾸는 순간들입니다. 이런 곳에서 판단의 속도와 비용이 충분히 낮아지면 제품을 설계하는 선택지도 달라집니다.
더 많은 일을 한 번에 맡기는 AI와 함께, 서비스 곳곳에서 작고 빠른 판단을 담당하는 AI도 살펴볼 필요가 있습니다. 두 방식은 한 제품 안에서 함께 쓰일 수 있습니다.
새 모델이 나올 때 “어느 모델이 더 똑똑한가”를 묻는 데서 한 걸음 더 가보고 싶습니다. 이 능력이 생겼기 때문에, 이제 사용자에게 시키지 않아도 되는 일은 무엇일까요?
Jev를 보고 제품팀이 먼저 적어볼 것은 모델 교체 계획보다 그 반복 작업의 목록일지 모릅니다.
핵심 요약
1
Jev는 상황을 읽고 선택과 점수, 확률을 반환하도록 설계된 AI 모델입니다.
2
빠르고 저렴한 판단이 가능해지면 서비스 안에서 자동화할 수 있는 작은 일들이 늘어날 수 있습니다.
3
빠르고 저렴한 AI 판단은 사용자가 직접 분류하고 확인하던 반복 작업을 줄이는 데 활용될 수 있습니다.