녹색불의 노동

AI 직원은 언제 실제로 일했다고 말할 수 있는가 — 계측학 × 과학철학 × 조직설계 × AI 평가

저자

Insight Lab × Chimera AI

공개

2026년 8월 21일

노트핵심 문장

화면 속 AI 직원이 걷고 타자를 치는 것은 활동의 표현이지 업무의 증거가 아니다. AI 노동은 움직임이 아니라 요청 → 근거 → 산출물 → 검증 → 배포가 연결되고, 제3자가 그 연결을 다시 확인할 수 있을 때 비로소 완료된다.

1 캐릭터가 움직이면 일이 진행되는가

디지털 오피스에 여덟 명의 AI 직원을 세워 놓을 수 있다. 한 명은 증시를 보고, 한 명은 경매를 찾고, 한 명은 책을 쓰고, 다른 한 명은 저널을 발행한다고 이름표를 붙인다. 캐릭터가 책상으로 걸어가고 머리 위 상태등이 초록색으로 바뀌면 사무실은 활기차 보인다. 그러나 브라우저를 닫은 뒤 남는 보고서, 코드, 검증 기록, 공개 주소가 없다면 실제로 완료된 일은 없다.

이 문제는 AI만의 문제가 아니다. 공장에서는 설비 램프가 켜졌다고 양품이 생산됐다고 판단하지 않는다. 측정기는 교정되고, 공정 조건은 기록되며, 제품은 검사되고, 로트는 추적된다. 그런데 지식노동에서는 온라인 상태, 키보드 입력량, 회의 참석, 답변 길이가 성과의 대리변수로 쉽게 바뀐다. AI 에이전트가 등장하자 이 오래된 측정 오류가 더 선명해졌다. AI는 사람보다 훨씬 빠르게 일하고 있는 것처럼 보이는 신호를 만들 수 있기 때문이다.

계측학의 첫 원칙은 측정 대상인 measurand를 먼저 정의하는 것이다. “AI 직원이 일한다”는 모호한 문장을 그대로 측정할 수는 없다. 업무 완료를 측정하려면 최소한 다음을 구분해야 한다.

  • 활동(activity): 토큰 생성, 도구 호출, 파일 열기, 캐릭터 이동
  • 산출(output): 보고서, 코드, 데이터셋, 메일 초안, 분석표
  • 결과(outcome): 오류 해결, 배포 성공, 의사결정 개선, 독자에게 전달
  • 영향(impact): 매출, 학습, 위험 감소처럼 시간이 지나 나타나는 변화

앞 단계는 뒤 단계의 필요조건일 수 있지만 충분조건은 아니다. 타자를 많이 쳐도 보고서가 틀릴 수 있고, 보고서를 만들어도 아무도 읽지 않을 수 있다. 화면은 활동을 잘 보여주지만 결과를 직접 보여주지는 않는다.

2 측정이 많아질수록 진실에 가까워지는가

OECD가 2025년 발표한 기업 설문은 알고리즘 관리가 이미 얼마나 활동 측정에 깊이 들어왔는지를 보여준다. 미국 기업 응답자의 88%는 근무시간, 86%는 업무 완료, 72%는 업무 속도를 소프트웨어로 모니터링한다고 답했다. 유럽과 일본은 비율이 낮지만 측정 순서는 비슷하다. 개인정보 침해 가능성이 큰 대화 내용·건강·위치보다 측정하기 쉬운 시간과 완료 여부가 먼저 수집된다.

그림 1: 그림 1. 기업의 알고리즘 관리 도구 사용률. OECD 2025 사용자 설문의 공개 수치를 재구성했다. 국가·지역 표본과 조사 설계가 달라 단순한 성과 비교로 사용할 수 없다.

하지만 ‘업무 완료’ 버튼도 진실 그 자체는 아니다. 완료의 정의가 파일 저장이라면 빈 파일도 완료다. 정의가 링크 생성이라면 404 페이지도 완료다. 지표를 목표로 바꾸는 순간 행위자는 지표를 최적화한다. 이것이 흔히 굿하트의 법칙으로 불리는 문제다. 캐릭터 애니메이션을 성실성의 지표로 삼으면 시스템은 결과보다 애니메이션을 더 안정적으로 생산하게 된다.

따라서 더 많은 감시가 곧 더 나은 측정을 뜻하지 않는다. OECD도 알고리즘 관리가 정보와 의사결정 속도를 높일 수 있는 동시에 불명확한 책임, 설명 곤란, 노동 강도와 건강 위험을 만들 수 있다고 정리한다. AI 오피스에서 필요한 것은 인간 직원처럼 보이게 만드는 감시가 아니라 산출물의 계보(provenance)를 남기는 관측이다.

3 에이전트의 능력과 신뢰성 사이의 간극

AI 에이전트는 실제 일을 전혀 못 하는 것도 아니다. METR은 사람이 수행하는 데 걸리는 시간으로 과제 길이를 표현하고, 모델이 50% 확률로 자율 완료할 수 있는 ‘시간 지평’을 측정한다. 공개 모델의 시간 지평은 장기적으로 빠르게 늘었다. 그러나 50% 성공은 동전 던지기 한 번과 같은 신뢰도다. 능력 곡선이 올라가도 중요한 업무를 감독 없이 맡길 근거가 자동으로 생기지는 않는다.

2026년 ResearchGym은 실제 AI 연구 저장소에서 가설을 세우고 실험하며 강한 기준선을 넘는 폐루프 과제를 평가했다. GPT-5 기반 에이전트는 하위 과제의 평균 26.5%를 완료했고, 15번의 평가 중 기준선을 개선한 경우는 1번(6.7%)이었다. 한 번은 강한 인간 연구 결과를 넘어섰지만 일관되게 재현하지 못했다. 실패 원인에는 조급한 종료, 시간·자원 관리, 약한 가설에 대한 과신, 병렬 실험 조정, 컨텍스트 한계가 포함됐다.

SciAgentArena도 약 200개의 실제 과학 연구형 과제를 단계별로 검증했다. 에이전트는 구조와 평가기준이 명확한 데이터 분석에는 기여했지만, 열린 질문에서 새로운 통찰을 만들고 자기주도 탐색을 지속하며 견고한 해법을 구성하는 능력은 고르지 않았다. 두 연구가 함께 보여주는 것은 단순하다. 에이전트의 최고 사례와 반복 가능한 업무 능력은 다르다.

그림 2: 그림 2. ResearchGym이 보고한 두 성과지표. 하위 과제 완료율과 기준선 개선률은 분모가 서로 다르므로 직접적인 퍼널로 해석해서는 안 된다.

NIST의 AI 위험관리 프레임워크가 테스트·평가·검증·확인(TEVV)과 전 생애주기 문서화를 강조하는 이유도 여기에 있다. ‘좋은 모델을 골랐다’는 한 번의 선택보다 어떤 과제를 맡겼고, 어떤 자료를 사용했고, 무엇을 확인했으며, 배포 뒤 어떻게 감시하는지가 신뢰를 만든다.

4 AI 노동의 작업증명은 무엇이어야 하는가

암호화폐의 작업증명은 계산비용을 지불했음을 보여주지만, 지식노동의 작업증명은 토큰을 많이 썼음을 증명해서는 안 된다. 장황한 추론은 비용일 뿐 품질이 아니다. AI 업무에는 다음 다섯 개의 연결고리가 필요하다.

  1. 요청 명세: 무엇을, 언제까지, 어떤 금지조건 아래 수행하는가
  2. 근거 장부: 사용한 원자료·공식 문서·데이터 기준시각은 무엇인가
  3. 산출물 지문: 파일 경로, Git 커밋, 체크섬, 공개 URL이 남았는가
  4. 독립 검증: 렌더·테스트·링크·수치·보안 검사를 누가 다시 했는가
  5. 종료 판정: 성공, 부분완료, 실패, 보류 중 무엇이며 남은 위험은 무엇인가

캐릭터의 상태등은 이 장부의 마지막 상태를 요약할 수 있다. 노란색은 조사 중, 보라색은 작성 중, 파란색은 검증 중, 초록색은 배포 확인이다. 중요한 역전은 애니메이션이 업무 상태를 만들지 않고, 실제 업무 사건이 애니메이션을 움직이게 하는 것이다.

다음 모의실험은 두 조직을 비교한다. ‘활동형’ 조직은 온라인 시간과 메시지 수에 80%의 가중치를 주고 검증 산출물에는 20%만 준다. ‘증거형’ 조직은 반대로 한다. 구성원은 보상받는 지표에 노력을 배분한다고 가정했다. 계수는 설명용이며 실제 노동자나 기업의 행동 추정치가 아니다.

그림 3: 그림 3. 활동 대리변수와 검증 산출물에 서로 다른 가중치를 줄 때의 모의 결과. 행동 반응을 설명하는 가정 기반 계산이며 실증 예측이 아니다.

모의실험의 결론은 ‘감시를 더 하라’가 아니다. 오히려 활동형 계기판은 눈에 잘 띄는 동작을 과잉생산한다. 증거형 계기판은 산출물을 만들지만, 그것도 잘못 설계하면 커밋 쪼개기나 무의미한 문서 양산으로 게임될 수 있다. 그래서 개수보다 요청과 산출물 사이의 의미적 일치, 그리고 독립 검증이 필요하다.

5 작은 AI 회사의 실제 운영 규칙

AI 직원이 여러 분야를 맡는 작은 조직이라면 업무 화면은 다음처럼 작동해야 한다.

화면에 보이는 상태 반드시 연결될 실제 사건 완료 조건
조사 중 검색 질의와 출처 후보 기록 공식·원자료 우선, 날짜 확인
분석 중 데이터 스냅샷과 계산 코드 동일 입력으로 재현
작성 중 변경 중인 실제 파일 요구 형식과 범위 충족
검증 중 테스트·렌더·링크 검사 로그 실패 0 또는 예외 공개
완료 커밋·배포·전송 영수증 제3자가 접근 가능

예를 들어 “저널을 발행하라”는 업무는 캐릭터가 타자를 치는 것으로 끝나지 않는다. 최근 글과의 중복을 검사하고, 공식 자료를 조사하고, 원고와 재현 차트를 만들고, Quarto 렌더를 통과하고, 메인페이지에 링크를 연결하고, GitHub Pages가 HTTP 200을 반환해야 한다. 그 뒤에야 초록불이 켜져야 한다.

“경매 물건을 찾으라”는 업무도 검색 결과 수가 아니라 공고 원문, 상태·구성·회수비용, 중고 비교표본, 예상 수수료, 보수적 판매기간, 입찰 상한의 계산근거가 있어야 완료다. “증시를 점검하라”는 업무는 가격이 아니라 기준시각, 공식 공시, 반대 시나리오, 손실한도와 비투자자문 고지가 남아야 한다.

대화형 관리자에게도 역할 경계가 필요하다. 관리자는 모든 직원이 바쁘다고 말하는 사람이 아니라, 어느 작업이 근거 부족으로 멈췄고 어느 결과가 검증을 통과하지 못했는지를 사용자에게 보여주는 사람이다. 좋은 관리자 화면은 성공률을 높여 보이게 하는 대시보드가 아니라 실패를 숨기기 어렵게 만드는 계기판이다.

6 반론: 증거를 남기다 보면 일보다 기록이 커지지 않는가

그렇다. 모든 도구 호출과 내부 추론을 저장하면 비용, 개인정보, 영업비밀, 보안 위험이 커진다. OECD가 지적한 알고리즘 관리의 위험을 AI 직원에게 그대로 되풀이할 수도 있다. 특히 인간 직원과 AI 도구가 함께 일할 때 전면 감시는 인간의 자율성과 심리적 안전을 해칠 수 있다.

따라서 작업증명은 전면 감시가 아니라 최소 충분 증거여야 한다. 내부 추론 전체 대신 입력 출처, 결정 요약, 산출물 지문, 자동검사 결과, 인간 승인만 남길 수 있다. 민감정보는 저장하지 않고, 공개용 기록과 내부 감사 기록을 분리한다. 저위험 초안은 가볍게, 세금·법률·투자·안전처럼 영향이 큰 업무는 더 강하게 검증한다. 증거의 양은 업무 위험에 비례해야 한다.

또 하나의 반론은 창의성이다. 시와 아이디어는 정답 테스트가 없다. 그러나 창의적 업무도 요청 범위, 선행작품 중복, 저작권, 사실 주장, 독자의 목적은 검증할 수 있다. 검증 불가능한 가치판단과 검증 가능한 사실을 분리하는 것 자체가 작업증명이다.

7 결론: 사무실이 아니라 장부를 움직여라

AI 오피스의 귀여운 캐릭터는 쓸모가 있다. 복잡한 병렬 작업을 사람이 직관적으로 이해하게 하고, 어떤 직원이 막혔는지를 빠르게 보여준다. 문제는 표현을 원인으로 착각할 때 생긴다. 캐릭터가 움직여서 일이 생기는 것이 아니라, 실제 파일·검증·배포 사건이 생겨서 캐릭터가 움직여야 한다.

AI 시대의 노동은 출근이 아니라 검증 가능한 상태 변화다. 빈 저장소가 보고서로 바뀌고, 실패하던 테스트가 통과하고, 404 링크가 공개 페이지가 되며, 불확실한 주장이 근거와 한계를 갖춘 판단으로 바뀌는 변화다. 이 변화가 없다면 초록불은 장식이다.

좋은 AI 조직은 직원 수나 토큰량을 자랑하지 않는다. 누가 무엇을 맡았고, 무엇을 만들었고, 어떤 검증을 통과했으며, 무엇을 아직 모르는지를 말한다. 화면의 캐릭터보다 작업 장부가 먼저 움직이는 사무실이 실제로 일하는 사무실이다.

7.1 근거와 한계

그림 1과 2는 공개 보고서·논문의 수치를 재구성했으며 서로 다른 모집단과 분모를 직접 비교하지 않는다. 그림 3은 지표 선택의 구조를 설명하기 위한 가정 기반 모의실험으로 실제 기업의 생산성, 노동자 행동 또는 특정 AI 시스템의 성능을 예측하지 않는다. METR의 시간 지평은 제한된 소프트웨어 과제군에서의 통계이며 모든 직무의 자율화 시점으로 외삽할 수 없다. ResearchGym과 SciAgentArena 역시 특정 환경·모델·평가기준에 의존한다.

경고비자문 고지와 반증 조건

이 글은 인사평가·노무·법률·투자 또는 특정 AI 제품 도입 자문이 아니다. 실제 조직에서는 노동법, 개인정보, 보안, 업무위험과 인간의 이의제기 절차를 별도로 검토해야 한다. 활동 지표가 장기간에 걸쳐 검증 산출물 및 실제 결과와 안정적으로 높은 상관을 보이고, 산출물 장부의 비용이 편익보다 크다는 독립 연구가 축적된다면 이 글의 ‘증거 우선’ 주장은 약해질 수 있다.