AI의 판단을 누가 뒤집을 수 있는가
사람이 마지막으로 확인하면 된다는 말의 빈칸
AI가 만든 보고서 끝에는 자주 한 문장이 붙는다.
최종 판단은 사람이 해야 합니다.
이 문장은 책임자가 누구인지 말해 주는 것처럼 보인다. 그러나 사람이 AI와 다른 결론을 내릴 수 있는 조건까지 만들어 주지는 않는다.
완성된 보고서를 받은 담당자는 숫자와 출처를 확인하고 문장을 고친다. 큰 문제가 보이지 않으면 승인한다. 형식만 보면 사람은 판단 과정 안에 있다.
여기서 한 가지를 더 물어야 한다. 그 사람은 AI의 오류를 확인하는 사람인가, 아니면 AI가 만든 결론에 자신의 이름을 붙이는 사람인가.
사람이 끼어 있다고 더 나은 판단이 되는 것은 아니다
사람과 AI를 함께 쓰면 각각 따로 일할 때보다 나을 것이라는 기대가 있다. AI는 많은 정보를 빠르게 처리하고, 사람은 맥락과 책임을 보탠다는 설명이다.
2026년 1월 세바스티안 크라코프스키와 동료들은 다국적 제약회사의 영업 전문가를 대상으로 한 현장실험을 발표했다.[1] 연구진은 업무 절차, 의사결정 권한, 교육, 보상이라는 네 가지 조건을 영업 전문가의 사고방식에 맞게 조정했다.
그 결과 사람과 AI의 상호작용을 전문가에게 맞게 설계한 집단에서는 영업성과가 유의하게 좋아졌다. 반대로 맞지 않게 설계한 집단에서는 조정된 집단뿐 아니라 AI를 적용하지 않은 통제집단과 비교해도 부정적인 효과가 나타났다. 연구진은 그 배경으로 사람과 AI 사이의 역할 충돌과 모호성을 제시했다.
같은 해 6월 에일렘 타쉬와 동료들은 생성형 AI를 조직 전체에 일찍 도입한 독일 기술기업 두 곳을 조사했다.[2] 15명의 인터뷰와 내부 지침, 업무 화면, 실제 시연을 함께 분석한 결과, 직원들의 개입은 마지막 검토 한 번에 머물지 않았다. 초안을 만들 때, 내용을 고치고 확인할 때, 다른 사람과 최종 검토할 때로 나뉘어 나타났으며 업무 위험이 커질수록 확인도 강해졌다.
두 연구를 모든 회사에 그대로 일반화할 수는 없다. 하나는 특정 제약회사의 현장실험이고, 다른 하나는 초기 도입 기술기업 두 곳의 질적 연구다. 그래도 지금의 생성형 AI 업무에서는 사람을 마지막에 배치하는 것보다 어느 단계에서 어떤 권한으로 개입하게 하는지가 중요하다는 단서를 준다.
이 결과는 앞선 누적 연구와도 이어진다. 2024년 미셸 바카로와 동료들이 106개 실험과 370개 효과크기를 종합했을 때, 인간-AI 결합은 평균적으로 인간 단독보다 나았지만 인간과 AI 가운데 더 잘한 쪽보다도 나은 결과는 평균적으로 나타나지 않았다.[3]
AI 뒤에 사람을 붙였다는 사실만으로 두 능력이 자연스럽게 합쳐지지는 않는다. 결합은 역할 배치이고, 좋은 판단은 그 배치가 실제로 작동한 결과다.
검토는 AI의 답을 본 뒤에 시작된다
대부분의 검토자는 빈 화면에서 판단을 시작하지 않는다. 이미 정돈된 문장, 추천안, 위험 목록, 예상 수치가 눈앞에 놓인 뒤 검토를 시작한다.
AI의 답이 정확할 때는 효율적이다. 문제는 틀린 답도 충분히 그럴듯할 수 있다는 데 있다. 검토자는 자신의 판단을 만드는 대신 AI 답에서 명백한 오류만 찾게 될 수 있다.
아르투르 클링바일과 동료들의 실험에서는 조언이 AI가 만든 것이라는 사실만으로도 참여자의 의존이 높아졌다.[4] 공식 초록에 따르면 일부 참여자는 이용 가능한 맥락 정보와 자신의 평가에 어긋나는 AI 조언도 따랐다.
기업의 보고서 검토가 이 실험과 같다고 할 수는 없다. 그러나 검토자의 화면에 맥락 정보가 있다는 사실만으로 그 정보가 AI 권고를 이긴다고 가정해서는 안 된다는 점은 생각하게 한다.
2025년 하오핑 리와 동료들은 지식노동자 319명에게 생성형 AI를 사용한 업무 사례 936건을 받아 조사했다.[5] AI에 대한 신뢰가 높을수록 참여자들이 보고한 비판적 사고와 투입 노력은 낮았다. 반대로 자기 과업능력에 대한 자신감이 높을수록 비판적 사고가 더 나타났다.
이 역시 자기보고식 설문이라 실제 판단 정확도를 직접 증명하지는 않는다. 그래도 AI 시대의 검토가 왜 어려운지는 보여 준다. AI를 잘 믿는 사람을 검토자로 지정하는 것만으로는 충분하지 않다. 그 사람이 자기 판단을 만들고 유지할 수 있어야 한다.
승인보다 반대에 더 많은 설명이 필요하다
사람을 최종 검토자로 두면 책임의 위치는 분명해 보인다. 문제가 생기면 누가 승인했는지 찾을 수 있기 때문이다.
그러나 승인 책임과 판단 능력은 같은 것이 아니다.
가령 AI가 거래처별 수익성을 분석해 거래 축소 후보를 골랐다고 해보자. 검토자는 특정 거래처의 실적에 일회성 개발비가 섞였고, 다음 분기의 수주 가능성은 빠졌다는 사실을 알고 있다.
그 판단을 뒤집으려면 영업 자료와 원가 계산을 다시 확인하고, 관련 부서의 설명을 들은 뒤, 예정된 보고를 늦춰야 한다. 그대로 승인하는 데는 한 번의 클릭이면 충분하다. 이상을 알아본 사람이 있어도 재검토를 요구하거나 일정을 멈출 권한이 없다면, 조직에는 검토자가 있지만 다른 판단이 들어갈 자리는 없다.
AI가 만든 안이 이미 기본안으로 올라온 업무를 생각해 볼 수 있다. 검토자가 동의하면 승인 버튼을 누르면 된다. 반대하려면 어느 부분이 왜 틀렸는지 설명하고, 다른 자료를 찾고, 일정이 늦어지는 이유까지 말해야 한다.
이처럼 동의보다 반대에 더 많은 시간과 설명이 필요하면 AI의 권고는 사실상의 기본값이 된다. 사람에게 책임은 남지만 AI의 판단을 바꾸는 비용은 사람 쪽에만 생긴다.
이것은 앞선 연구가 직접 검증한 결론이 아니라, 인간-AI 연구를 조직의 승인 절차에 연결해 본 이 글의 가설이다. 실제 회사에서는 AI 결과를 승인한 횟수만 볼 것이 아니라, 검토자가 반대 의견을 냈을 때 어떤 근거와 절차를 요구받는지도 살펴볼 필요가 있다.
검토자가 있다는 사실보다 반대가 가능한 구조인지가 더 중요한 이유다.
전문가는 정답보다 판단의 차이를 본다
그렇다면 전문가는 AI보다 많이 아는 사람이기 때문에 검토에 적합한 것일까.
전문성의 중요한 역할은 다른 곳에 있을 수 있다. AI와 자기 판단이 어디에서 갈렸는지를 알아보는 능력이다.
세라 레보비츠와 동료들은 미국 대형병원의 세 진단 부서에서 방사선 전문의가 AI를 사용하는 과정을 연구했다.[6] AI 결과는 종종 전문의의 초기 판단과 달랐지만 근거를 충분히 보여 주지 않았다. 세 부서 가운데 한 곳에서만 전문의들이 자기 지식과 AI의 판단을 연결해 다시 묻는 실천을 발전시켰고, AI 결과를 최종 판단에 지속적으로 통합했다.
중요한 것은 전문의가 AI를 무조건 거절하거나 받아들이지 않았다는 점이다. 서로 다른 판단이 나온 이유를 질문할 수 있는 실천이 있었다.
모리츠 폰 찬과 동료들의 2025년 연구도 판단의 차이에 주목한다.[7] 두 실험에서 AI의 예측 논리를 설명받은 참여자들은 자기 능력을 더 정확히 파악했고 AI에 위임하는 판단도 더 효과적으로 바뀌었다. 효과는 설명이 인간과 AI의 판단 논리가 다르다는 점을 드러냈을 때 주로 나타났다.
설명을 많이 붙일수록 검토가 좋아진다는 뜻은 아니다. 설명이 틀린 상관관계나 과적합을 반영하면 오히려 사람을 잘못 이끌 수 있다고 연구진도 지적한다.
검토에 필요한 것은 AI를 더 쉽게 믿게 만드는 설명보다, 사람과 AI가 무엇을 다르게 보았는지 드러내는 정보에 가깝다.
최종 확인과 실질 검토를 나누어 본다
지금까지의 연구가 모든 기업에 적용할 표준 검토 절차를 주는 것은 아니다. 다만 인간-AI 연구와 조직의 권한 문제를 함께 놓으면 검토가 실제로 가능한지를 세 조건으로 나눠 볼 수 있다.
첫째는 AI와 다른 기준을 먼저 세울 수 있는가다. 여기서는 이를 검토의 독립성이라고 부른다.
검토자가 AI 답을 보기 전에 문제, 판단 기준, 잠정 의견 가운데 무엇을 남겼는지를 본다. 매번 같은 결과물을 처음부터 다시 만들 필요는 없다. 다만 무엇을 중요하게 볼지까지 AI가 먼저 정하면 사람은 그 틀 안에서만 오류를 찾기 쉽다.
둘째는 판단이 어디에서 갈렸는지 볼 수 있는가다. 판단 차이가 보이지 않으면 검토자는 결론만 놓고 어느 쪽을 믿을지 골라야 한다.
사람과 AI의 결론이 같은지만 보지 않는다. 어떤 자료, 가정, 기준에서 판단이 갈렸는지를 볼 수 있어야 한다. 출처가 어디인지, 제외된 조건은 무엇인지, 반대 결론이 나오는 경우는 무엇인지가 검토 재료가 된다.
셋째는 필요할 때 멈출 수 있는가다. 다른 판단을 만들었어도 실행에 개입할 수 없다면 검토는 의견 제시에 그친다.
검토자가 이상을 발견했을 때 승인 보류, 재분석, 다른 사람의 검토를 요구할 수 있는지를 본다. 오류를 알아볼 전문성이 있어도 납기와 직급과 성과압력 때문에 작업을 멈출 수 없다면 검토권은 형식에 머문다.
이 세 조건은 검증이 끝난 방법론이 아니라 앞으로 시험해 볼 분류틀이다. 그래도 누가 마지막으로 확인하는가보다 그 사람이 다른 판단을 만들 수 있는가를 더 구체적으로 묻게 해 준다.
모든 AI 업무에 같은 검토가 필요한 것은 아니다
오탈자를 고치거나 문장 초안을 만드는 일까지 매번 독립 판단과 이중 검토를 요구하면 AI를 쓰는 이점이 사라진다.
반대로 대규모 투자, 거래 중단, 채용 탈락, 안전과 법률처럼 결과를 되돌리기 어려운 판단은 마지막 승인 버튼만으로 부족할 수 있다.
검토 강도는 AI를 얼마나 믿느냐보다 두 가지에 맞춰 달라져야 한다. 틀렸을 때 손실이 얼마나 큰가. 잘못 실행한 뒤 얼마나 쉽게 되돌릴 수 있는가.
위험이 낮고 되돌리기 쉬운 생성 과업에서는 표본 검토와 사후 수정으로 충분할 수 있다. 위험이 크고 되돌리기 어려운 의사결정에서는 AI 답을 보기 전의 판단 기준, 판단 차이를 볼 정보, 실행을 멈출 권한을 더 강하게 남겨야 한다.
사람을 검토자로 두는 이유는 책임을 넘기기 위해서가 아니다. AI가 놓친 것을 다른 근거로 볼 가능성을 남기기 위해서다.
AI의 판단을 뒤집을 수 있는 사람은 반드시 직급이 가장 높은 사람일 필요가 없다. AI 답을 보기 전에 판단 기준을 세울 수 있고, 다른 근거를 찾아 비교하며, 필요하면 작업을 멈출 수 있는 사람이어야 한다.
마지막 서명자가 그 조건을 갖추지 못했다면 사람은 과정 안에 있어도 판단 안에는 없을 수 있다.
참고문헌과 주석
[1] Krakowski, S., Haftor, D., Luger, J., Pashkevich, N., & Raisch, S. (2026). Human-centered artificial intelligence: A field experiment. Management Science, 72(1), 57-72. https://doi.org/10.1287/mnsc.2022.03849
[2] Taş, E., Memmert, L., & Bittner, E. (2026). Episodic oversight in generative AI workflows: A nine-step protocol for preserving human agency (OP-9). Electronic Markets, 36, Article 58. https://doi.org/10.1007/s12525-026-00915-x
[3] Vaccaro, M., Almaatouq, A., & Malone, T. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8, 2293-2303. https://doi.org/10.1038/s41562-024-02024-1
[4] Klingbeil, A., Grützner, C., & Schreck, P. (2024). Trust and reliance on AI: An experimental study on the extent and costs of overreliance on AI. Computers in Human Behavior, 160, 108352. https://doi.org/10.1016/j.chb.2024.108352
[5] Lee, H.-P., Sarkar, A., Tankelevitch, L., Drosos, I., Rintel, S., Banks, R., & Wilson, N. (2025). The impact of generative AI on critical thinking: Self-reported reductions in cognitive effort and confidence effects from a survey of knowledge workers. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, Article 1121, 1-22. https://doi.org/10.1145/3706598.3713778
[6] Lebovitz, S., Lifshitz-Assaf, H., & Levina, N. (2022). To engage or not to engage with AI for critical judgments: How professionals deal with opacity when using AI for medical diagnosis. Organization Science, 33(1), 126-148. https://doi.org/10.1287/orsc.2021.1549
[7] von Zahn, M., Liebich, L., Jussupow, E., Hinz, O., & Bauer, K. (2025). Knowing (not) to know: Explainable artificial intelligence and human metacognition. Information Systems Research, Articles in Advance. https://doi.org/10.1287/isre.2024.1431