생성이 아니라 판단: 의사결정 전용 모델 ‘Jev’의 구조화 출력 아키텍처 해부

TL;DR

Jev는 TypeSafe AI가 공개한 의사결정 전용 모델로, LLM의 토큰 생성 패러다임을 분류 로짓 기반 단일 포워드 패스로 전환해 JSON Schema를 준수하는 구조화 출력과 보정된 신뢰도(Calibrated Confidence)를 70~500ms 내에 반환한다. 기존 Function Calling + 가드레일 라이브러리 조합의 재시도 루프와 다중 호출 오버헤드를 모델 서빙 단에서 원천 제거하는 것이 핵심이다. 단, 생성 능력을 의도적으로 제거한 좁은 태스크 전용 모델이므로 도입 전 적용 범위 검토가 필수다.

배경: “생성 후 검증” 패러다임의 숨은 비용

LLM으로 구조화 출력을 뽑는 표준 방식은 정해져 있다. 프롬프트에 JSON Schema를 명시하고, 응답을 파싱하고, 실패하면 재호출한다. Instructor나 Guardrails AI 같은 라이브러리가 이 루프를 추상화해 주지만 근본 구조는 그대로다 — 모델은 여전히 자유 텍스트를 생성하고 있으며, 스키마 준수는 사후 검증의 몫이다.

이 구조의 비용은 세 가지로 나타난다. 첫째, 재시도마다 호출 횟수와 지연시간이 선형 증가한다. 둘째, 스키마 설명용 프롬프트 토큰이 매 호출마다 과금된다. 셋째, 파싱 실패율을 낮추기 위한 프롬프트 엔지니어링에 리소스가 소진된다. 에이전트 파이프라인에서 분류·라우팅·추출 노드가 수십 개 직렬로 연