디시전 AI 전쟁 — Jev 이후 2주, 무엇이 바뀌었나

1. 기사 요지

• 무슨 일인가. 타입세이프AI의 Jev는 글을 만들어 내지 않고, 주어진 선택지 중 하나를 고르거나 참·거짓 확률, 점수만 돌려주는 모델입니다. 공개 후 약 2주 만에 오픈AI·AWS·클라우드플레어를 포함한 여러 회사가 같은 종류의 모델을 내놓았습니다. 기사는 이 종류를 ‘디시전 AI(판단 전용 AI)’라고 부릅니다.
• 왜 주목받나. AI 에이전트(스스로 여러 단계를 수행하는 AI)는 “다음에 무엇을 할까”, “이 요청은 어디로 보낼까” 같은 작은 판단을 수없이 반복합니다. 이 판단마다 큰 언어모델(LLM)을 부르면 느리고 비쌉니다. 판단만 따로 떼어 작고 빠른 모델에 맡기자는 구상입니다.
• 기사가 전한 Jev 수치. 응답 70~500ms(1ms = 1,000분의 1초). 큰 모델의 3~329초와 비교해 40~200배 빠르다고 소개. 타입세이프AI 주장으로는 최상위 모델 대비 193.6배 빠르고 444.6배 저렴. 출력 토큰은 무료이고 입력만 과금. 둠(Doom) 게임 시연에서 초당 10회 질의, 시간당 약 7달러.
• 기사의 전망. 에이전트 구조가 판단 모델 · 추론 모델(LLM) · 도구로 나뉘어 갈 것이라는 전문가 의견을 전합니다.
• 기사에 없는 것. 한계·우려·비판은 다루지 않았습니다. 아래 3절에서 따로 보충했습니다.

2. 경쟁 모델 9종 — 2주간의 일정

공개일은 기사 기준. JEV-27B는 기사 9월 27일, 제3자 보도 9월 28일로 하루 차이가 있습니다.

3. 사실 확인 — 기사 내용과 다른 출처 대조

기사 한 편만 믿지 않고 각 사 공식 글과 제3자 보도로 대조했습니다. 기사 본문은 자동 요약 도구를 거쳐 읽었으므로, “기사와 다름”으로 적은 항목은 요약 과정의 오류일 가능성도 함께 열어 둡니다.

기사가 다루지 않은 약점

4. 앞선 jev 보고서에서 고쳐야 할 판단

5. 자비스 사본 두 개에 미치는 영향 (코드 확인)

두 사본 모두 호환 서버로 돌릴 길은 있습니다. 다만 Clef가 실제로 같은 응답을 주는지, 판단 품질이 브라우저 조작에 충분한지는 돌려 보지 않았습니다. 브라우저 조작은 “지금 눌러야 하나, 기다려야 하나” 같은 판단이 핵심인데, 이 종류의 판단은 Clef가 Jev에 진 영역입니다.

6. 후보 비교 — 자비스 시험용으로 무엇이 맞나

적합도는 문서 조사만으로 매긴 잠정 판단입니다. 이 PC의 그래픽카드 사양을 확인하지 않았으므로 “내 PC 실행” 후보의 실제 가능 여부는 미정입니다.

7. 모델별 사용법

각 모델의 공식 문서·저장소·해설 글에 적힌 내용을 옮겼습니다. 자비스에서 실제로 실행해 본 것은 하나도 없으므로, 명령이 그대로 통하는지는 시험 단계에서 확인해야 합니다. 문서에서 찾지 못한 항목은 “확인 못 함”으로 적었습니다.

공통 — 디시전 모델에 묻는 방법

어느 모델이든 기본 구조는 같습니다. 상황(state)과 질문 목록(questions)을 보내면, 질문마다 정해진 형식의 답과 확률이 돌아옵니다. 글은 한 글자도 만들어 내지 않습니다.

{
  "model": "모델 이름",
  "state": "판단할 대상 (글 또는 JSON)",
  "questions": {
    "is_error": { "type": "noul",   "instructions": "화면에 오류 메시지가 있는가" },
    "status":   { "type": "choice", "instructions": "좌석 상태를 고르라",
                  "criteria": { "WAIT": "입력 대기", "CONFIRM": "확인창", "OTHER": "기타/모름" } }
  }
}
→ 응답: { "answers": { "is_error": {...확률}, "status": { "choice": "WAIT", "probabilities": {...} } } }

위 형식은 Jev 형식입니다. 자비스 사본 jev-ultrafast/jev_ultrafast/model.py가 실제로 보내는 모양과 Liquid d1 문서에서 확인했습니다. 질문을 여러 개 묶어 한 번에 보내는 것이 핵심 사용 요령입니다(호출마다 고정 지연이 있기 때문).

① Jev (타입세이프AI) — 유료 호출

• 준비. 타입세이프AI에서 API 키 발급(조기 접근·대기 명단). 환경변수 TYPESAFE_API_KEY에 넣음.
• 호출. https://api.typesafe.ai/v1/systemone에 위 형식으로 POST. 모델 이름은 jev-latest(자비스 사본 기본값) 또는 판 고정 이름.
• 도구. 파이썬 typesafe-sdk, 타입스크립트 @typesafe-ai/sdk. OpenRouter 같은 중개 서비스로도 호출 가능.
• 자비스 사본. jev-ultrafast는 .env에 TYPESAFE_API_KEY와 글자 입력용 TEXT_MODEL_API_KEY를 넣으면 동작. aside-jev도 같은 키를 읽음.
• 한도. 선택지 최대 255개, 점수 2~10단계, 분당 1,200요청(변동 가능), 글만 입력 가능. 가격은 입력 100만 토큰당 $0.042, 출력 무료.

② Strands Decider 2B (AWS) — 내 PC 실행

pip install strands-decider

from strands_decider.modeling import StrandsDeciderModel
model = StrandsDeciderModel.load("StrandsAgents/strands-decider-2B-hobson-v19")

• 준비. 파이썬만 있으면 됨. 첫 실행 때 모델 파일을 허깅페이스에서 자동으로 내려받음.
• 장치 선택. --device cuda(엔비디아 GPU) · mps(애플 맥) · cpu 중 지정. 생략하면 가장 좋은 장치를 자동 선택.
• 코드·예제. github.com/strands-labs/strands-decider에 학습 코드·평가·예제 공개. Strands Agents(AWS의 에이전트 도구)에 붙이는 예제는 examples/strands 폴더.
• 윈도우. WSL2(윈도우 안의 리눅스) 기준 설치 안내 글이 따로 있음. 윈도우 직접 실행 여부는 확인 못 함.
• 주의. Jev 호출 형식과 호환되는지는 확인 못 함. 어려운 판단은 정확도 0.505라 쉬운 판단에만.

③ Clef / Clef-flash (클라우드플레어) — 호출 또는 내 PC 실행

• 호출 방식. 클라우드플레어 계정 필요. 모델 이름 @cf/cloudflare/clef, @cf/cloudflare/clef-flash. 호출 경로는 세 가지: Workers 안에서 env.AI.run(), REST /ai/run, AI Gateway.
• Jev에서 옮기기. 호출 형식이 같아 접속 주소만 바꾸면 된다고 안내. aside-jev는 환경변수 TYPESAFE_BASE_URL만 바꾸면 되고, jev-ultrafast는 주소 한 줄 수정 필요(5절).
• 입력. 글·JSON·이미지(최대 4장, PNG·JPEG·WebP, 장당 4MiB)·영상. 한 요청에 질문 1~64개. 문맥 65,536 토큰.
• 가격. 입력 100만 토큰당 Clef $0.24, Clef-flash $0.09. 하루 무료 한도(10,000 뉴런)가 있음.
• 내 PC 실행. 허깅페이스 Cloudflare/clef, Cloudflare/clef-flash. 실행 도구는 Transformers·vLLM·SGLang·Docker. Clef(27B)는 GPU 메모리 약 54GB 필요, Clef-flash(9B)는 그보다 적지만 정확한 값은 확인 못 함.
• 주의. 커뮤니티가 만든 압축판(GGUF)에는 판단용 부분이 빠져 있어 쓸 수 없음. PyTorch로 실행해야 함.

④ Liquid AI d1 — 무료 호출

curl https://api.liquid.ai/decisions/v1/systemone \
  -H "Authorization: Bearer $LIQUID_API_KEY" \
  -d '{"model":"d1:free","state":"...","questions":{"q1":{"type":"noul","instructions":"..."}}}'

• 준비. Liquid AI에서 키 발급(liquid_로 시작). 환경변수 LIQUID_API_KEY.
• 형식. Jev와 같은 모양(상황 + 질문 목록 → 질문별 답). Liquid 문서가 타입세이프 SDK(typesafe-sdk)를 그대로 쓰도록 안내하므로, 주소와 키만 바꿔 연결할 수 있어 보임.
• 가격. d1:free는 현재 무료. 무료 한도와 정식 가격은 확인 못 함.
• 주의. 판정할 글이 Liquid 서버로 나감. 내 PC 실행판은 예고만 됨.

⑤ Laya (ConvAI Innovations) — 내 PC 실행, GPU 불필요

pip install laya

from laya import Router
router = Router()   # 첫 사용 때 모델을 내려받고, 요청마다 알맞은 모델을 자동 선택

• 모델 3종. 영어용 421M, 100개 이상 언어용 322M(convaiinnovations/laya-multilingual), 판단 특화 421M. Router가 요청 언어를 보고 골라 줌. 한국어는 다국어용이 대상.
• 속도. 한 번 판단에 약 33ms(제조사 발표).
• 주의. 공개 모델 목록에 “기준 성능 미달”, “추가 학습을 전제로 한 모델이며 준비 없이 쓰는 용도가 아님”이라는 경고가 있음.

⑥ GLiNER2.5-Decide · GLiDE (파스티노) — 내 PC 실행, CPU 가능

pip install gliner2

from gliner2 import AutoExtractor
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-multi-Decide")

• 모델. fastino/GLiNER2.5-Decide(영어), fastino/GLiNER2.5-multi-Decide(다국어). 340M로 CPU에서 동작.
• 돌려주는 값. 답, 확률, 확신도에 더해 “조건을 만족하는 답이 있는지” 정보까지 줌.
• Claude Code 연결. 파스티노가 Cursor·Claude Code·Codex용 에이전트 스킬을 공개했다고 밝힘. 스킬 설치는 자비스 규칙상 승인 후 진행.
• GLiDE. 어려운 판단에만 계산을 더 쓰는 상위 모델. 구체적인 설치·호출 방법은 확인 못 함.

⑦ JEV-27B · JEV-9B (AutoTrust AI) — 고성능 GPU 서버용

hf download autotrust/JEV-27B --local-dir JEV-27B
# vLLM으로 띄운 뒤 POST /v1/decide 로 호출 (kind, state, question, options)

• 특징. 하나의 모델이 빠른 판단(/v1/decide)과 일반 글 생성을 모두 함. 판단 형식은 noul·choice(2~256개)·score(0~5).
• 필요 장비. 모델 약 52GB + 작업 메모리 17GB. 80GB급 GPU 권장. 개인 PC로는 어려움. JEV-9B는 더 가볍고 빠르지만(약 90ms 대 137ms) 낯선 입력에 약함.
• 주의. Jev 호출 형식과 호환되지 않음(질문을 한 번에 하나씩 보냄). 선택지 순서를 바꾸면 답이 약 7% 바뀜. 영어 중심 학습. 계산·날짜·개수에 약함.

⑧ CLM-8B — 리눅스 + 엔비디아 GPU

git clone https://github.com/Contrastive-LM/CLM.git && cd CLM
pip install -r requirements.txt

• 필요 환경. 리눅스, 파이썬 3.10 이상, 엔비디아 GPU, vLLM. 윈도우에서는 WSL2가 필요할 것으로 보임(확인 못 함).
• 형식. 타입세이프와 호환되는 호출 모양이라고 소개.
• 빠른 이유와 쓸모. 선택지를 미리 계산해 저장해 두고 상황만 새로 계산함. 그래서 선택지가 늘 같은 반복 판단(요청 분류, 게임 조작)에서 가장 빠름. 선택지가 매번 바뀌는 브라우저 조작에서는 이점이 줄어듦.
• 주의. 확률 값은 검증 없이 믿지 말라고 제작자가 밝힘 → 확신도 기준으로 넘기는 자비스 방식에는 별도 검증이 필요.

⑨ 오픈AI Decisions API — 아직 사용 불가

• 제한적 미리보기 단계이고 문서·호출 형식·가격이 공개되지 않아 사용법을 적을 수 없습니다. 발표 내용은 “정해진 답이 있는 질문을 주면 글 대신 확률을 돌려주며, 글과 이미지를 상황으로 받는다”까지입니다.

한눈에 보기

8. 권고

1. 0단계는 그대로 먼저. 경보·스케줄·heartbeat 같은 기계적 메시지를 가벼운 모델로 분리하고, 서브에이전트 모델을 명시하고, 난이도 판정기를 고치는 일은 판단 모델과 무관하게 효과가 가장 큽니다(효과성 검토 결론).
2. 기록만 하는 시험을 “여러 후보 나란히”로 바꿈. 같은 입력(CSO 경보 판정, 좌석 화면 상태 판정)을 후보 2~3개에 동시에 보내 기존 판단과의 일치율, 확신도 구간별 정확도, 지연을 비교합니다. Jev 키가 없어도 공개 모델로 시작할 수 있습니다.
3. 호출 형식은 Jev 형식으로 통일. Clef가 같은 형식을 쓰고 공개 복제 모델 다수도 같은 형식을 따릅니다. 자비스 쪽 코드를 이 형식에 맞춰 두면 나중에 모델만 갈아 끼울 수 있습니다.
4. 모델을 바꿀 때마다 확신도 기준을 다시 잼. 0.99 기준과 “기타/모름” 선택지는 Jev 측정에서 나온 값입니다. 다른 모델은 확률이 맞는 정도가 다르므로 그대로 옮겨 쓰지 않습니다.
5. 서두를 이유는 없음. 2주 만에 9종이 나왔고 오픈AI는 아직 문서도 없습니다. 가격·성능 순위가 몇 주 안에 다시 바뀔 수 있어, 지금 한 회사에 유료로 묶일 필요가 줄었습니다.