싸진 판단은 어디서 정직한가
판단 단가가 250배 떨어진 날, 신뢰도 곡선이 중간에서 뒤집혔다 — 인지과학(이중과정) × 경제학(제번스 역설) × 측정심리학(캘리브레이션)
노트핵심 문장
지능이 싸지면 쓸 곳이 폭발한다는 제번스의 예측은, 싼 판단이 모든 구간에서 고르게 정확할 때만 성립한다. 실측해 보니 그렇지 않았다. 판단 단가가 250배 떨어진 모델은 확신의 양 끝에서만 정직했고 중간에서는 신뢰도 순서가 뒤집혔다. 그러므로 싼 판단의 확산은 성능의 함수가 아니라 “중간값을 버리는 설계”의 함수다.
1 같은 주에 두 개가 왔다
2026년 9월, 판단을 파는 두 가지 방식이 같은 달에 공개됐다.
하나는 Meta Muse(9월 8일). 메일·일정·결제에 연결돼 사람 대신 일을 처리하는 개인 에이전트다. 무료·월 20달러·월 100달러 세 단계로 팔린다. 출시 2주 만에 250만 다운로드를 넘겼다.
다른 하나는 Jev(9월 15일, TypeSafe AI). 글을 쓰지 못한다. 대신 미리 정해둔 보기 중 하나를 고르고, 거기에 확률을 붙여 돌려준다. 입력 100만 토큰에 0.042달러, 출력은 무료다.
두 모델의 이름이 이 글의 출발점이다. System은 카너먼의 시스템 1 — 힘을 들이지 않고 저절로 작동하는 직관 — 에서 왔다. Jev는 경제학자 제번스에서 왔다. 증기기관의 효율이 올라가자 석탄 소비가 오히려 늘었다는 그 역설이다.
만든 쪽이 스스로 붙인 이 두 이름은 하나의 주장을 담고 있다. 판단이 시스템 1처럼 싸지면, 판단의 총량이 폭발한다.
검증할 수 있는 주장이다. 그래서 실측했다.
2 실측 설계
과제는 한국어·영어가 섞인 실제 수신 메일 120건의 스팸 판정이다. 정답 라벨은 메일 서비스가 자체적으로 분류한 폴더(정상함 60건 / 스팸함 60건)를 썼다.
모델에 보낸 것은 발신 도메인, 제목, 본문 앞 500자뿐이다. 소속 기관 발신은 사전에 제외했다. 합성 예문은 한 건도 쓰지 않았다 — 이 주의가 결론을 갈랐다는 점은 뒤에서 다시 다룬다.
속도와 가격은 광고 그대로였다. 120건 전체를 처리하는 데 든 돈은 0.2센트 미만, 건당 중앙값 418밀리초였다. 여기까지는 제번스의 전제가 성립한다. 판단은 실제로 싸졌다.
3 정확도: 동전보다 12점
62%다. 동전보다 12점 높다.
업무에 그대로 쓸 수 있는 숫자가 아니다. 그런데 이 숫자보다 중요한 것이 두 가지 더 있었다.
3.1 실패의 방향이 바뀌었다
선행 모델은 정상 메일 75%를 정크로 버렸다. 입찰 결과 통지와 보증금 환불 안내까지 확신 1.00으로 버렸다. 원인을 추적하니 스팸이 아니라 언어를 탐지하고 있었다 — 한국어면 정크로 판정하는 규칙과의 일치율이 정답과의 일치율보다 높았다.
Jev에는 그 편향이 없다. 한국어 62% / 영어 61%. 언어로 가르지 않는다. 선행 모델이 버렸던 그 입찰 결과 메일도 정상 거래 통지로 제대로 분류했다.
대신 반대로 틀린다. 스팸 60건 중 32건을 정상으로 통과시켰다. 관대한 쪽이다. 중요한 메일을 잃지는 않는다.
4 경계에서 나온 것: 신뢰도가 중간에서 뒤집힌다
여기서부터가 이 글의 본론이다.
Jev를 파는 쪽의 핵심 주장은 속도가 아니라 캘리브레이션이다. 대형 언어모델은 사람이 좋아할 답을 쓰도록 학습됐지만, Jev는 다른 학습법으로 “0.9라고 답한 것이 실제로 90% 맞도록” 맞춰 놨다고 한다.
이것이 사실이라면 정확도 62%는 문제가 되지 않는다. 확신할 때만 쓰고 나머지는 넘기면 되기 때문이다. 그래서 따로 쟀다.
양 끝은 놀랍도록 정확하다. 0.2 이하라고 답한 것들은 실제로 8%만 스팸이었고, 0.8 이상이라고 답한 것들은 100% 스팸이었다. 광고한 그대로다.
그런데 중간이 무너져 있다.
| 모델이 답한 확률 | 실제 스팸 비율 | 판정 |
|---|---|---|
| 0.0 ~ 0.2 | 8% | 정직 |
| 0.2 ~ 0.4 | 58% | 역전 |
| 0.4 ~ 0.6 | 17% | 역전 |
| 0.6 ~ 0.8 | 62% | 정직 |
| 0.8 ~ 1.0 | 100% | 정직 |
0.3이라고 답한 것이 0.5라고 답한 것보다 세 배 이상 더 스팸이다. 순서가 뒤집혀 있다. 이 구간에서 신뢰도는 정보가 아니라 잡음이다.
그리고 이 구간이 전체의 62%를 차지한다.
절반을 넘겨야 82%에 닿는다. 더 중요한 것은 노란 선이 거의 평평하다는 점이다. 확신이 약한 것들을 걷어내도 남은 것들의 정확도가 오르지 않는다. 걷어낸 기준이 틀릴 것들을 실제로 골라내지 못했다는 뜻이다.
5 세 분야가 각각 말하는 것
5.1 인지과학: 시스템 1은 자기 불확실성을 모른다
카너먼의 이중과정 이론에서 시스템 1의 특징은 빠름이 아니라 자동성이다. 그리고 그 대가로, 시스템 1은 자신이 언제 틀리는지를 스스로 신호하지 못한다. 판단을 멈추고 시스템 2를 부르는 결정은 시스템 1 안에서 나오지 않는다.
측정된 곡선은 이 구조를 거의 그대로 재현한다. 다만 부분적으로 그렇다. 양 끝에서는 정직하고 중간에서만 무너진다. 즉 이 모델은 “확신할 때는 자기를 알고, 애매할 때는 자기를 모른다.”
이것은 시스템 1의 완전한 재현도, 실패도 아니다. 자기 인식이 균일하지 않은 시스템 1이다.
5.2 측정심리학: 평균 캘리브레이션은 구간 캘리브레이션을 보장하지 않는다
예보의 신뢰도를 평가할 때 쓰는 기본 도구가 캘리브레이션 곡선이다. 그리고 이 분야가 오래전부터 아는 사실이 있다. 총합으로 잘 맞춰진 모델도 구간별로는 얼마든지 비단조일 수 있다.
전체 평균만 보면 이 모델은 “대체로 캘리브레이션됐다”고 보고될 수 있다. 실제로 양 끝의 표본 24건은 거의 완벽하다. 그러나 구간을 쪼개면 중간 62%가 뒤집혀 있다.
평균을 보고 임계값 0.5를 설계하면 반드시 실패한다. 오늘 측정한 62%가 정확히 그 실패다.
5.3 경제학: 제번스 역설에는 전제가 있다
제번스의 관찰은 효율이 오르면 총소비가 는다는 것이었다. 석탄 기관의 효율이 좋아지자 석탄을 더 캤다.
그러나 석탄 기관에는 이 글이 발견한 문제가 없었다. 효율이 오른 기관은 모든 작업 구간에서 고르게 일했다. 싼 판단은 다르다. 싸졌지만 고르지 않다.
양 끝단은 정확하지만 전체의 일부다. 중간은 다수지만 쓸 수 없다.
그러므로 제번스 역설의 전제를 다시 써야 한다.
6 경계에서만 나오는 명제
싼 판단의 확산은 정확도가 아니라 “버리는 설계”에 의해 결정된다.
판단 단가가 250배 떨어져도, 그 판단이 신뢰 구간 전체에서 고르게 정직하지 않다면 총소비는 늘지 않는다. 늘리려면 모델이 애매하다고 말한 구간을 통째로 포기하는 구조를 먼저 만들어야 한다. 제번스 역설은 효율의 함수가 아니라 선별 비용의 함수다.
세 분야 중 하나만으로는 이 명제에 닿지 않는다.
- 인지과학만으로는 “시스템 1은 원래 그렇다”에서 멈춘다. 얼마나, 어느 구간에서 그런지 말하지 못한다.
- 측정심리학만으로는 비단조 캘리브레이션이라는 기술적 결함을 보고하고 끝난다. 그것이 왜 경제적으로 중요한지 말하지 않는다.
- 경제학만으로는 가격이 떨어졌으니 소비가 는다고 예측한다. 실제로는 늘지 않을 수 있다는 조건을 보지 못한다.
세 개를 겹쳐야 비로소 이렇게 말할 수 있다. 효율은 충분조건이 아니다. 자기 불확실성을 정직하게 신고하는 구간의 넓이가 곧 확산의 상한이다.
7 설계로 옮기면
측정이 지시하는 규칙은 단순하다.
- 임계값을 0.5로 두지 않는다. 그 자리가 가장 부정확하다.
- 양 끝단만 자동화한다. 0.85 이상과 0.15 이하.
- 중간은 통째로 사람 또는 대형모델에 넘긴다. 선별하려 애쓰지 않는다 — 선별 기준 자체가 그 구간에서 무너져 있다.
- 입력과 확률을 전부 기록한다. 이 모델은 이유를 남기지 않는다. 기록이 없으면 왜 걸러졌는지 영원히 알 수 없다.
8 왜 실데이터여야 했는가
이 실험에서 가장 중요한 방법론적 선택은 모델이 아니라 표본이었다.
앞선 실험에서 같은 계열의 공개 모델을 합성 예문으로 평가한 적이 있다. 그때 결론은 “양호함”이었다. 직접 작성한 정상 메일 예문은 짧고 깨끗해서 우연히 통과했기 때문이다.
실제 수신함을 열자 결론이 뒤집혔다. 진짜 메일에는 헤더 잔해와 광고 문구와 깨진 HTML이 섞여 있고, 무엇보다 “내가 이것을 구독한 적이 있는가”라는 정보가 메일 안에 없다.
오탐 목록을 보면 분명해진다. 추석 멤버스데이 안내, 온톨로지 강의 광고, 채용 알림, 의족 기술 뉴스레터 — 객관적으로는 전부 마케팅이 맞다. 모델이 틀린 것이 아니다. 정답이 본문 바깥에 있었을 뿐이다.
이것이 싼 판단이 잘하는 일과 못하는 일을 가르는 선이다. 답이 텍스트 표면에 있으면 된다. 맥락이나 개인 이력이 답을 정하면 안 된다.
경고반대 해석과 한계
1. 과제 하나의 결과다. 스팸 판정은 개인 이력이 답을 정하는 과제다. 이 과제에서의 비단조 캘리브레이션이 분류·라우팅·점수 매기기 전반으로 일반화된다는 근거는 없다. 표면 단서가 충분한 과제에서는 중간 구간도 정직할 수 있다.
2. 표본이 작다. 120건이고, 구간별로는 12~52건이다. 0.8 이상 구간의 “100%”는 12건 위에 서 있다. 구간 경계를 조금만 옮겨도 그림이 달라질 수 있다. 재현이 필요하다.
3. 정답 라벨 자체가 완벽하지 않다. 메일 서비스의 자동 분류를 정답으로 삼았다. 그 분류도 틀린다. 특히 정상함에 들어온 광고 메일은 서비스가 통과시킨 것일 뿐 “원하는 메일”이라는 뜻이 아니다. 모델과 정답이 같은 종류의 실수를 하고 있을 가능성을 배제하지 못했다.
4. 제번스 해석은 과잉일 수 있다. 역설의 원래 맥락은 산업 전체의 연료 수요였다. 개별 모델의 캘리브레이션 곡선을 거기에 대응시키는 것은 유비이지 증명이 아니다. 판단 단가 하락이 실제로 총 판단량을 늘리는지는 이 실험으로 확인되지 않는다. 그것은 앞으로 몇 년의 채택 데이터가 답할 문제다.
5. 반대 방향의 해석. 중간 구간이 뒤집힌 것을 결함이 아니라 정보로 볼 수도 있다. 모델이 0.3~0.5를 답한다는 것 자체가 “이 입력에는 판단 근거가 없다”는 신호일 수 있고, 그렇다면 그 구간의 정확도가 낮은 것은 모델이 정직한 결과다. 이 해석이 맞다면 고쳐야 할 것은 모델이 아니라 질문이다.
9 남는 질문
Muse는 판단을 사람 대신 실행하는 쪽으로 갔고, Jev는 판단만 값싸게 공급하는 쪽으로 갔다. 두 방향은 결국 만난다. 실행하려면 판단이 필요하고, 싼 판단은 실행될 곳을 찾는다.
그때 남는 질문은 정확도가 아니다.
애매하다고 말할 줄 아는 구간이 얼마나 넓은가. 이 글의 측정으로는 20%였다. 그 숫자가 늘어나는 속도가, 앞으로 사람이 판단에서 물러나도 되는 속도다.
10 참고 문헌
- Kahneman, D. Thinking, Fast and Slow. Farrar, Straus and Giroux, 2011. — 이중과정 이론, 시스템 1의 자동성과 자기 불확실성 인식의 부재.
- Jevons, W. S. The Coal Question. Macmillan, 1865. — 효율 향상이 총소비를 증가시키는 역설.
- Murphy, A. H. “A New Vector Partition of the Probability Score.” Journal of Applied Meteorology, 1973. — 신뢰도 점수의 캘리브레이션·분해능 분해.
- DeGroot, M. H. & Fienberg, S. E. “The Comparison and Evaluation of Forecasters.” The Statistician, 1983. — 예보자 캘리브레이션 평가 틀.
- TypeSafe AI, Jev 모델 공개 문서 및 OpenRouter 제공 명세(2026-09). — 가격·응답 규격·학습 방식 설명.
- Meta, “Introducing Muse: personal AI agent” (2026-09-08) 및 후속 공개 발표(2026-09-23). — 가격 등급, 연동 서비스, 웨어러블 계획.
- 본 실험 원자료:
output/data/sp25_jev_bench.json(실제 수신 메일 120건, 제목·발신자 등 식별 정보 제거 후 라벨·확률만 공개).