시험은 작게 해도, 중요한 조건은 빼면 안 된다
같은 시험을 더 하기 전에, 실제로 쓸 때 생길 문제를 넣어 보자
작은 시험에서 잘됐다고 해서 실제 업무에서도 잘될 거라고 판단하기는 어렵다. 시험할 때 빠져 있던 문제가 실제로 쓸 때 나타날 수 있기 때문이다.
이 글의 제안은 간단하다. 같은 시험의 횟수를 늘리기 전에, 실제로 쓸 때 생길 중요한 문제를 다음 시험에 넣어 보자.
입력은 됐지만, 업무가 돌아갈지는 모른다
회사가 고객 문의를 받는 새 화면을 만들었다고 해 보자. 직원이 준비된 예시를 입력하며 시험한다. 제품명도 알고 있고, 문의를 어느 부서로 보내야 할지도 정해져 있다. 입력은 빠르게 끝난다.
이 시험은 필요한 정보를 아는 직원이 화면을 쓸 수 있는지 확인한 것이다. 실제 고객이 혼자 문의를 남길 수 있는지까지 확인한 것은 아니다.
고객은 제품명을 모를 수도 있다. 어떤 항목에 무엇을 적어야 할지 망설인다. 문의를 받은 직원은 내용을 확인하느라 고객에게 다시 연락해야 할 수도 있다. 이런 상황이 시험에 들어 있지 않았다면, 같은 예시를 열 번 더 입력해도 그 문제를 확인하기는 어렵다.
작게 시험한 것이 잘못은 아니다. 실제 업무에서 생길 일이 빠지지 않았는지 살펴야 한다.
다음 시험에 무엇을 넣을 것인가
화면에서 저장 오류가 가끔 생기는지 알고 싶다면 비슷한 조건에서 여러 번 써 봐야 한다. 한 번 잘됐다고 매번 잘된다고 할 수는 없기 때문이다.
하지만 제품명을 모르는 고객도 문의를 남길 수 있는지 알고 싶다면 시험을 바꿔야 한다. 제품명을 아는 직원에게 같은 예시를 더 입력하게 할 것이 아니라, 그 정보를 모르는 사람이 처음 화면을 쓰는 모습을 살펴야 한다.
결과가 들쭉날쭉한지 궁금하면 반복하고, 시험에서 빠진 상황이 걱정되면 그 상황을 넣어 보는 것이다.
그렇다면 무엇부터 넣을까. 실제 업무에서 자주 생기거나, 놓쳤을 때 손실이 큰 상황부터 살펴보자. 이 예에서는 제품명을 모른 채 들어온 문의를 접수하고 담당자에게 넘기는 과정부터 확인할 수 있다.
이때 시험에 참여할 사람과 자료, 처리 절차를 한꺼번에 바꾸면 무엇 때문에 결과가 달라졌는지 알기 어려워질 수 있다. 다음 시험에서 무엇을 바꿔 확인할지 목적을 좁히는 편이 좋다.
이 글은 일을 계속할지 멈출지가 아니라, 계속하기로 한 일에서 무엇을 더 확인할지를 다룬다.[1]
제품개발 시험을 다룬 수리모형은 이 글과는 다른 기준으로 시험을 비교한다. 이 모형은 시험의 비용과 결과를 수학으로 따져 본 것이다. 시험들이 서로 어떤 관계인지에 따라 유리한 시험 방식이 달라진다는 결과를 제시한다.[2]
물론 미리 생각하지 못한 문제까지 모두 시험할 수는 없다. 실제 사용을 살펴보면 새로운 어려움을 발견할 수 있지만, 짧은 관찰로 모든 문제가 드러나지는 않는다.
고객이 참여하면 동의와 개인정보 보호를 챙기고, 시험이 실제 업무에 미치는 영향도 제한해야 한다. 안전과 법규에 필요한 확인도 생략해서는 안 된다.
이 글에서 제안한 사무 업무의 시험 방법은 아직 회사 자료로 효과를 확인하지 못했다. 학습 방법에 관한 실험 연구는 가설과 증거로 판단하는 접근을 교육했을 때의 영향을 살폈다.[3] 최근 논평은 이런 접근도 효과를 내는 조건을 더 확인해야 한다고 강조한다.[4] 두 문헌을 이 사무 업무 예의 효과를 입증한 자료로 읽어서는 안 된다.
다음 시험을 정할 때는 한 가지만 물어보자. 걱정하는 문제가 지금의 시험 방법으로 드러날 수 있는가.
시험의 크기는 줄여도, 도입 여부를 판단하는 데 꼭 필요한 조건은 남겨야 한다.
참고문헌과 주석
-
김민조. (2026-06-24). 회사는 왜 실패한 전략을 더 오래 붙잡는가?. 계속/수정/종료 판단과 이번의 시험 설계를 구분하기 위해 연결했다.
-
Thomke, S., & Bell, D. E. (2001). Sequential Testing in Product Development. Management Science, 47(2), 308-323. 공식 출판사 페이지. 확인 범위: 서지·공식 초록이며 모형의 세부 가정/증명 정독은 미완료다. 초록의 조건부 결과는, 같은 시험을 더 정교하게 반복하는 경우에는 재현 수준이 높은 시험을 적게 하는 편이, 서로 독립적으로 문제를 찾는 경우에는 재현 수준이 낮은 시험을 여러 번 하는 편이 유리할 수 있다는 것이다. 사무 업무의 적정 횟수나 이 글의 방법 효과를 검증한 실증 근거로 쓰지 않는다.
-
Camuffo, A., Gambardella, A., Messinese, D., Novelli, E., Paolucci, E., & Spina, C. (2024). A scientific approach to entrepreneurial decision-making: Large-scale replication and extension. Strategic Management Journal, 45(6), 1209-1237. 공식 출판사 페이지. 온라인 2024-03-25. 창업·기업가적 의사결정 맥락에서 759개 기업이 참여한 네 무작위 실험으로 학습 접근 교육을 살핀 연구다. 이번 공개본의 독립 검수 범위: Crossref 공식 등록 서지·초록. 출판사 본문은 재접근이 제한됐으며 전체·부록 정독으로 해석하지 않는다. 이번 사무 업무 시험 방법의 효과를 직접 검증하지 않았다.
-
Camuffo, A., Gambardella, A., & Teodorovicz, T. (2026). Unleashing the value of a “scientific approach” to entrepreneurship: Building an empirical research agenda. Strategic Entrepreneurship Journal, Early View. 공식 원문. 온라인 2026-07-24. 이번 공개본의 독립 검수 범위: Crossref 공식 등록 서지·초록. 출판사 본문은 재접근이 제한됐으며 전문 정독으로 해석하지 않는다. 새 현장 실험이 아닌 연구 의제 논평이다.