꺼지지 않는 스위치
판단 점수의 꼬리 두께가 자동화의 경계를 정한다 — 반도체 소자물리(스위칭 특성) × 정보이론(결정 정보) × 조직설계(위임 가능성)
노트핵심 문장
자동화의 경계는 모델이 얼마나 정확한가가 아니라 얼마나 끝까지 가는가로 정해진다. 판단 점수의 꼬리 두께를 재 보니 과제의 사실성에 비례했고, 취향을 묻는 질문에서는 정확히 0%였다 — 게이트 전압을 흔들어도 전류가 변하지 않는 소자와 같다. 그런데 꼬리가 두꺼운 과제는 이미 정규식으로 해결된다. 그래서 값싼 판단이 실제로 일을 대신할 수 있는 구간은 “규칙으로는 안 되고 취향은 아닌” 좁은 띠뿐이다.
1 평균 정확도는 소자 사양이 아니다
트랜지스터를 살 때 “평균 전류”를 보고 고르는 사람은 없다. 보는 것은 두 가지다. 온·오프 전류비가 얼마인지, 그리고 게이트 전압을 조금 흔들었을 때 전류가 몇 자리수 변하는지(서브스레숄드 스윙, mV/decade)다.
이유는 간단하다. 스위치의 쓸모는 세기가 아니라 확실히 꺼지는가에 있다. 평균 전류가 아무리 좋아도 완전히 꺼지지 않는 소자는 누설로 회로를 망친다.
판단을 파는 모델에도 같은 질문을 해야 한다. 그런데 우리는 습관적으로 평균만 본다. “정확도 80%”는 소자 사양이 아니다. 필요한 건 이것이다.
이 모델은 얼마나 자주 확실해지는가.
이 글은 그것을 실측한다. 재는 대상은 앞선 편(SP25)에서 다룬 판단 전용 모델 Jev(TypeSafe AI, 입력 100만 토큰 0.042달러·출력 무료)다. 물어본 내용은 다르다. SP25는 “맞히는가”를 물었고, 이 글은 “확실해지는가”를 묻는다.
2 게이트 구조가 요구하는 것
값싼 판단을 실무에 넣는 가장 자연스러운 설계는 문턱 두 개를 세우는 것이다.
점수 ≤ 0.10 → 자동으로 아니라고 처리
점수 ≥ 0.90 → 자동으로 그렇다고 처리
그 사이 → 비싼 추론 모델(또는 사람)에게 넘긴다디지털 회로의 논리 레벨과 같은 구조다. 확실한 구간만 자동으로 흘리고 중간 전압은 버린다. 이 설계의 경제성은 하나의 숫자에 전부 달려 있다.
자동 구간에 몇 %가 들어오는가.
10%만 들어오면 90%를 여전히 비싼 모델에 보내면서 값싼 모델 비용까지 더 내는 것이다. 순수 손실이다. 그래서 게이트를 설계하기 전에 꼬리 두께를 재야 한다. 정확도보다 먼저 재야 한다.
3 측정 1 — 메일 판단에서는 꼬리가 없었다
먼저 SP25에서 쓴 실측 자료를 다시 본다. 실제 받은 메일 120건(정상 60·스팸 60)에 “이것은 원치 않은 대량 광고·사기인가”를 물어 확률을 받았다.
자동 구간에 들어온 것은 6건, 5%였다. 그 6건은 오류가 0건이었다 — 확실할 때는 맞았다. 문제는 확실해지는 일이 거의 없었다는 것이다.
3.1 문턱을 넓히면 누설이 터진다
커버리지가 부족하면 문턱을 완화하고 싶어진다. 실측 자료로 그 곡선을 그릴 수 있다.
0.15까지는 오류가 0인데 자동 처리율이 9%다. 0.20에서 20%·4.2%, 0.25에서 33%·22.5%, 0.30에서 54%·36.9%. 절벽이다.
3.2 더 나쁜 것 — 점수가 순서를 지키지 않는다
문턱 게이트는 암묵적으로 점수가 커지면 그럴 확률도 커진다고 가정한다. 실측은 그 가정을 깨뜨린다.
양 끝은 정직하다. 0.8~1.0은 실제 100% 정크고, 0~0.2는 8%다. 중간이 뒤죽박죽이다. 그래서 문턱을 안쪽으로 밀 때 오류가 선형으로 늘지 않고 절벽처럼 떨어진다. 순서가 없는 구간을 자동 처리에 포함시키는 것이기 때문이다.
4 측정 2 — 꼬리 두께는 과제의 성질이다
여기서 자연스러운 의심이 생긴다. 이건 모델의 결함일까, 아니면 질문의 성질일까.
“이 메일이 원치 않은 광고인가”는 겉보기에 사실 판단 같지만 실은 그렇지 않다. 누가 원치 않는지에 답이 달려 있다. 같은 뉴스레터가 어떤 사람에게는 쓰레기고 어떤 사람에게는 구독물이다. 모델은 받는 사람의 취향을 모른다.
그렇다면 취향이 개입하지 않는 질문에서는 꼬리가 두꺼워질 것이다. 이 가설은 정답 라벨 없이 검증할 수 있다. 꼬리 두께는 점수 분포의 성질이고, 분포는 정답을 몰라도 관찰된다. 라벨링에 돈을 쓰기 전에 후보를 죽일 수 있다는 뜻이다.
4.1 설계
이미 공개된 이 저널의 문단 24개(14편에서 균등 추출, 200~700자)를 코퍼스로 썼다. 공개물이라 유출 위험이 없고, 한 번 호출로 다섯 질문을 동시에 물어 비용을 1/5로 줄였다.
질문은 사실성의 정도를 달리 배치했다.
| 질문 | 유형 | 왜 넣었나 |
|---|---|---|
| 숫자가 있는가 | 사실·기계적 | 앵커. 정규식으로 정답이 공짜다. 이마저 꼬리가 없으면 게이트 자체가 불가능 |
| 방법 서술인가 | 사실·의미적 | 문장을 읽어야 알지만 답은 글 안에 있다 |
| 반대해석이 있는가 | 사실·의미적 | 이 저널의 발행 체크리스트 항목이다 |
| 중요한가 | 선호 | 대조군. 독자와 필자의 목적에 달려 있다 |
| 줄여야 하는가 | 선호 | 대조군 |
판정 규칙은 데이터를 보기 전에 정해 기록했다. 꼬리 40% 이상이면 양방향 게이트를 만들고, 15~40%면 한쪽만 자동화하는 선별검사로 쓰고, 15% 미만이면 기각한다. 이 순서를 지키는 것이 SP25에서 얻은 교훈이다.
4.2 결과
앵커는 통과했다. “숫자가 있는가”는 꼬리 83%, 꼬리 구간 오류 0건, 전체 일치율 96%였다. 분포는 0.04에서 0.99까지 갔다. 이 모델은 확실해질 능력이 있다.
의미적 사실은 중간이었다. “방법 서술인가” 33%, “반대해석이 있는가” 29%.
선호형 두 질문은 0%였다. 24문단 중 단 하나도 자동 구간에 들어오지 않았다.
4.3 분포를 보면 이유가 보인다
“중요한가”는 0.48~0.78 사이에만 나타난다. “줄여야 하는가”는 0.22~0.36이다. 24개의 서로 다른 문단을 넣었는데 출력이 0.14 폭 안에서만 움직였다. 이것은 불확실한 판단이 아니다. 판단을 하지 않고 있는 것이다.
소자로 옮기면 이렇다. 게이트 전압을 넓게 흔들었는데 드레인 전류가 한 자리수도 변하지 않는다. 그런 물건은 증폭기로도 스위치로도 쓸 수 없다.
5 경계에서 나오는 명제
세 분야가 각각 다른 것을 설명한다. 하나만으로는 답이 안 나온다.
소자물리는 무엇을 재야 하는지 알려준다. 평균이 아니라 온·오프비와 스윙이다. 그리고 문턱을 완화할 때 오류가 선형이 아니라 지수적으로 늘어나는 이유를 알려준다 — 누설은 원래 그런 모양이다. 측정 1의 절벽은 새로운 현상이 아니라 잘 알려진 곡선이었다.
정보이론은 중간에 몰린 분포가 왜 쓸모없는지 설명한다. 엔트로피가 최대에 가까운 점수는 결정 정보를 거의 싣지 않는다. 그리고 단조성 위반은 더 강한 진술이다 — 그 구간에서 점수는 순서 통계량조차 아니다. AUC나 임계값 최적화 같은 도구가 전제하는 것이 없다.
조직설계는 왜 하필 선호형에서 0%가 나오는지 설명한다. 위임 연구의 오래된 결론은 위임이 결과를 검증할 수 있을 때만 작동한다는 것이다. “이 문단이 중요한가”는 위탁한 사람만 검증할 수 있다. 정답이 위탁자의 머릿속에 있으면, 아무리 좋은 대리인도 확신할 근거가 없다. 0%는 모델의 결함이 아니라 과제가 위임 불가라는 사실의 측정값이다.
셋을 합치면 경계에서만 나오는 명제가 생긴다.
중요값싼 판단의 역설, 2단
꼬리가 두꺼운 과제는 이미 규칙으로 해결된다. 규칙으로 안 되는 과제는 꼬리가 없다.
“숫자가 있는가”는 꼬리 83%지만 정규식 한 줄이면 100% 맞힌다 — 모델을 부를 이유가 없다. “이 문단이 중요한가”는 모델이 필요하지만 꼬리가 0%다 — 게이트를 만들 수 없다.
값싼 판단이 실제로 사람 손을 줄이는 구간은 그 사이의 좁은 띠, 이 측정에서는 꼬리 29~33%의 의미적 사실뿐이었다.
6 그래서 설계는 이렇게 바뀐다
세 가지가 따라 나온다.
첫째, 도입 판단의 순서를 뒤집는다. “정확도가 몇 %냐”를 먼저 묻지 않는다. 꼬리가 몇 %냐를 먼저 묻는다. 꼬리 측정은 정답 라벨이 필요 없어서 라벨링 비용을 쓰기 전에 후보를 탈락시킬 수 있다. 이 글의 측정 2는 24번 호출·2분으로 다섯 후보 중 둘을 죽였다.
둘째, 양방향 게이트를 한방향 선별검사로 바꾼다. 꼬리 29%는 양방향 자동화에는 부족하지만, 사람이 볼 목록을 줄이는 데는 충분하다. “반대해석이 있는가”의 상단 꼬리 17%는 오류 없이 통과 처리할 수 있다. 자동으로 버리는 것이 아니라 자동으로 넘기는 것이다. 오류 비용이 비대칭일 때는 이쪽만 배선해야 한다.
셋째, 선호형 판단은 구조적으로 제외한다. 재시도·프롬프트 수정으로 고쳐질 문제가 아니다. 정답이 사용자 머릿속에 있는 한, 꼬리는 두꺼워지지 않는다. 취향을 자동화하려면 모델을 바꾸는 게 아니라 취향을 밖으로 꺼내 검증 가능한 규칙으로 적어야 한다. 그건 모델 도입이 아니라 의사결정 문서화 작업이다.
경고반대 해석
얇은 꼬리는 결함이 아니라 정직함일 수 있다. 이 글은 꼬리가 없는 것을 한계로 읽었다. 반대로 읽을 수 있다. 사용자의 취향을 모르는 모델이 “중요하다, 확률 0.97”이라고 답한다면 그게 훨씬 위험하다. 0.48~0.78에 머무는 것은 잘 캘리브레이션된 무지다. 그 관점에서는 이 모델이 옳게 행동했고, 잘못은 답할 수 없는 것을 물은 쪽에 있다. 실제로 SP25에서 과잉확신이 어떻게 사고로 이어지는지 봤다. 겸손한 소자가 나쁜 소자는 아니다.
꼬리 두께는 모델 고유값이 아닐 수 있다. 이 측정은 제로샷 단일 시점이다. 사용자의 과거 판정 사례를 예시로 주거나(few-shot), 선호를 학습시키면 선호형 질문에서도 꼬리가 생길 가능성이 있다. 그러면 “선호형은 구조적으로 불가”라는 결론은 “지금 이 설정에서는 불가”로 약해진다. 위임 이론도 같은 것을 말한다 — 검증 기준을 대리인에게 전달하면 위임이 가능해진다. 이 글은 그 전달을 하지 않은 상태를 측정했다.
표본이 작고 좁다. 측정 2는 n=24문단·모델 1개·코퍼스 1종(한국어 과학 에세이)이다. 꼬리 두께의 신뢰구간은 ±10%p 수준이고, 0%와 33%의 차이는 뚜렷하지만 29%와 33%의 순위는 의미를 두지 말아야 한다. 다른 도메인(코드·의료 기록·법률 문서)에서는 다른 곡선이 나올 수 있다.
소자 비유의 한계. 트랜지스터의 서브스레숄드 스윙은 볼츠만 한계라는 물리 하한(약 60 mV/decade)이 있다. 언어모델의 확률 출력에는 그런 하한이 없다. 비유는 무엇을 재야 하는지를 알려주는 데까지만 유효하고, 왜 그 값이 나오는지를 설명하지는 않는다. 누설 곡선의 모양이 닮은 것은 둘 다 문턱 판별 문제이기 때문이고, 같은 물리 때문이 아니다.
7 남은 질문
꼬리 두께를 올릴 수 있는가가 다음 실험이다. 같은 질문에 사용자의 과거 판정 20건을 예시로 붙이고 꼬리를 다시 재면, 선호형 0%가 움직이는지 볼 수 있다. 움직이면 “취향도 위임 가능하다, 단 기준을 전달했을 때”가 되고, 움직이지 않으면 이 글의 결론이 강해진다. 어느 쪽이든 24번 호출로 답이 나온다.
그리고 더 불편한 질문이 남는다. 꼬리가 두꺼운 일은 규칙으로 되고 규칙으로 안 되는 일은 꼬리가 없다면, 값싼 판단이 늘어난다고 해서 사람의 판단 부담이 줄어드는가. 줄어드는 것은 이미 규칙으로 줄일 수 있었던 부분이고, 남는 것은 원래부터 사람만 할 수 있었던 부분일지도 모른다. 제번스 역설은 수요가 폭발한다고 말했지만, 폭발한 수요가 어느 구간의 일인지는 말해주지 않았다.
8 데이터와 재현
- 측정 1 원자료:
data/sp25_jev_bench.json— 실제 메일 120건의 라벨·모델 확률·분류·분류 확신도. 제목·발신자·주소는 저장 단계에서 제거했다. - 측정 2 원자료:
data/sp26_tail_probe.json— 공개 저널 문단 24개에 대한 질문 5개의 확률. 문단 원문은 저장하지 않았고, 출처는 이미 공개된 글의 파일명이다. - 측정 도구: 한 번의 호출로 다섯 질문을 묻고 꼬리표와 사전 등록 판정을 출력한다. 질문만 바꾸면 다른 과제에 그대로 쓸 수 있다.
- 모델: Jev 1.13 (TypeSafe AI), OpenRouter 경유, 제로샷. 지연 중앙값 394 ms.
9 참고 문헌
- Murphy, A. H. (1973). A New Vector Partition of the Probability Score. Journal of Applied Meteorology, 12(4), 595–600. — 신뢰도·분해도 분해. 평균 점수가 구간별 실패를 가리는 구조.
- DeGroot, M. H., & Fienberg, S. E. (1983). The Comparison and Evaluation of Forecasters. The Statistician, 32(1–2), 12–22. — 캘리브레이션과 정제도의 구분.
- Sze, S. M., & Ng, K. K. (2007). Physics of Semiconductor Devices (3rd ed.). Wiley. — 서브스레숄드 스윙, 온·오프 전류비, 누설 전류.
- Holmström, B. (1979). Moral Hazard and Observability. Bell Journal of Economics, 10(1), 74–91. — 결과를 관측·검증할 수 없을 때 위임이 작동하지 않는 조건.
- Jevons, W. S. (1865). The Coal Question. Macmillan. — 효율 향상이 총소비를 늘리는 역설.
- Insight Lab, SP25 싸진 판단은 어디서 정직한가 — 측정 1의 원 실험과 판단 단가 비교.