AI를 믿으면 안 되는 순간
판단을 위임하지 않는 것
AI는 틀린 답을 자신 있게 내놓는 경우가 있다. 나는 주로 일을 할 때 LLM을 많이 사용하다 보니, 일터에서의 사례가 많다. 내가 현재 진행하고 있는 프로젝트는 수백억 규모의, 레거시가 많은 과제이다. 그래서 수십, 수백개의 현행 문서를 읽어야 하는데, 기획자는 나 혼자인 상황이기에, AI의 도움을 빌려야 하는 상황이다.
몇십 개의 문서를 AI에게 주면서 이렇게 요청했다. '이걸 학습하고, 제가 질문하면 그에 맞는 대답을 해주세요.' 마치 도메인 전문가처럼 쓰려는 의도였다. 그런데 AI가 내놓는 설명이 이상했다. 내용을 잘 모르는 사람이 봐도 맥락이 어긋난다는 게 느껴졌다. 근거와 출처를 대보라고 하니, AI는 이렇게 대답했다.
'죄송합니다. 그건 제가 지어낸 이야기였습니다.'
이 글을 쓰는 시점을 기준으로, 나는 Claude Max(x5)의 사용량 한도를 매주 70%정도 사용하고 있다. 문제는 이런 일이 한두 번이 아니라는 것이다. 하루에 꼭 한두번 정도는 발견하니, 내가 모르고 넘어간 경우도 상당할 것이라고 생각한다.
AI는 모르면 모른다고 하지 않는다. 그럴듯하게 지어낸다. 그리고 그걸 걸러내지 못하면, 지어낸 이야기가 그대로 결과물에 들어간다.
AI 결과물을 검토하지 않으면 생기는 일
프로젝트 초반, 클라이언트에게 현행 자료를 받은 직후였다. 나는 우리 팀 내 유관 담당자들에게 문서를 공유하면서 이렇게 이야기했다. 내가 보기엔 이런 문서들이 더 필요해 보이는데, 각자 확인해보시고 추가로 필요한 문서가 있으면 알려달라고.
얼마 후 한 담당자가 필요한 문서를 다 정리했다며 시트를 공유해줬다. 열어보는 순간, 아.. 느낌이 왔다. AI를 돌리고 검수를 하지 않은 흔적이 역력했다.
문제가 여러 개였다. 행마다 같은 내용을 다른 표현으로 반복하고 있었다. 왜 필요한지에 대한 설명도 없었다. 기존에 받은 문서로 대체할 수 있는 건지 체크한 흔적도 없었다. 애초에 이 프로젝트와 관계없는 내용이 끼어 있기도 했다. 그리고 처음 보는 단어도 등장했다. 그래서 담당자에게 마지막 항목을 짚으며, 왜 넣었냐고 물었다. 그 분은 다시 확인해보겠다며 조용히 사라졌다. 이 일이 있고, 나는 그 맥락에 이렇게 회신했다.
'고객사에 회신 전에 취합하면서 두 가지만 구분해 주시면 좋을 것 같아 요청드립니다.'
ㅇㅇ건은 제가 먼저 공유드린 ㅇㅇ건과 겹치는 것으로 보입니다. 동일 건이면 제외하고, 기요청 건에 더해 확인이 필요한 세부 조건이 있는 것이라면 그 부분만 남겨주세요.
ㅁㅁ건은 문서로 존재하는지가 관건일 것 같습니다. 문서로 있는 게 확인되는 항목만 이번 반출 요청에 포함하고, 문서가 없거나 불확실한 항목은 요건정의 단계에서 인터뷰로 확보하는 계획으로 분리해 주시면 좋겠습니다.
이 상황에서 핵심 문제는 담당자가 게을렀던 건 아닌 것 같다. AI 결과물을 받아서 실제 상황에 어떻게 쓰일지를 그려보지 않았던 것이 가장 큰 문제라고 생각한다. 결과물을 토스하는 것과 검토하는 것은 완전히 다른 일이다.
검토를 잘하는 사람과 못하는 사람
검토를 잘하는 사람은 AI에게 맡긴 결과물을 받아서, 실제 상황에서 어떻게 쓰일지를 머릿속으로 그려볼 수 있는 사람이라고 생각한다.
단순히 결과물을 읽는 게 아니라 이 결과물이 누구에게 전달되는지, 그 사람이 이걸 받았을 때 어떤 반응을 보일지, 실제 작업에서 어떻게 활용될지를 시뮬레이션한다. 전체적인 일의 진행 맥락 안에서 자신이 어떤 역할을 하고 있는지, 누구에게 무엇을 도와주고 있는지에 대한 구체적인 그림이 그려지는 사람이다.
반면 검토를 못하는 사람, 다시 말하면, AI 시대에서 협업하기 피곤한 사람은 결과물 자체만 보는 것 같다. AI가 그럴듯하게 정리해줬으면 된 거라고 생각하는 듯하다. 그 결과물이 실제 맥락에 맞는지, 받는 사람이 이해할 수 있는지, 빠진 게 없는지를 확인하지 않는 것 같다.
이 차이가 결과물의 퀄리티 차이로 이어진다고 본다. 검토 없이 넘어온 결과물은 받는 사람이 다시 걸러야 한다. 일을 두 번 해야 한다. 그리고 이런 일들이 반복되면 신뢰가 무너지고, 다시는 함께 일하고 싶지 않아진다.
내가 AI 결과물을 검토하는 방식
내 방법이 정답은 아니지만, AI 결과물을 받았을 때 내가 가장 먼저 보는 기준은 이것이다. '보통 사람'이 무리 없이 소화할 수 있는 정보인가.
AI는 한꺼번에 너무 많은 정보를 쏟아낸다. 읽는 것 자체가 피로한 결과물이 나올 때가 많다. 구두점이 지나치게 많거나, 대시와 괄호가 문장 곳곳에 끼어있거나, 불필요하게 길게 설명하는 경우들이다. 이런 부분은 받는 사람이 읽기 편한 형태로 고친다. 형식을 정리하는 것도 검토의 일부다.
그 다음은 내용을 본다. AI가 지어낸 부분이 있는지, 맥락에서 벗어난 설명이 있는지, 중복된 내용이 다른 표현으로 반복되고 있는지를 확인한다. 이건 해당 도메인을 알고 있어야 가능한 작업이다. 모르면 틀린 걸 틀렸다고 알 수 없다. 해당 도메인을 모르더라도, 일하는 전체 과정을 알고 있다면 충분히 검증해낼 수 있다. 마치 양식 전문 요리사가 중식을 준비하더라도, 전체적인 요리 순서는 어느정도 숙지하고 있는 것처럼.
마지막으로 전체 흐름을 본다. 이 결과물이 지금 이 프로젝트의 맥락에서 맞는 방향인지, 빠진 게 없는지, 받는 사람이 이걸 보고 다음 행동을 할 수 있는지를 확인한다. 정리하자면 형식을 보고, 내용을 확인하고, 흐름을 확인하는 순서다. 시간이 없으면 반대 순서로 보기도 한다. 이 순서대로 보면 대부분의 문제가 잡힌다.
검토 능력은 결국 두 가지에서 온다고 생각한다
첫 번째는 도메인 지식이다. 그 분야를 알아야 AI가 틀린 걸 알아챌 수 있다. AI가 자신 있게 지어낸 이야기를 걸러내려면, 내가 먼저 맞는 이야기를 알고 있어야 한다. 도메인 지식이 없으면 AI의 결과물을 검토하는 게 아니라 그냥 읽는 게 된다.
두 번째는 맥락에 대한 이해다. 이 결과물이 어떤 상황에서 누구에게 어떻게 쓰이는지를 알아야 한다. 맥락을 모르면 내용이 맞더라도 방향이 틀릴 수 있다. 문서 안에서는 정합성이 완벽한데 프로젝트 전체 흐름에서는 필요 없는 내용이 들어있는 경우가 바로 이것에 해당한다.
이 두 가지는 AI가 대신해줄 수 없다. 직접 경험하고, 직접 부딪혀보면서 쌓이는 것들이다. 그래서 검토 능력은 결국 그 사람이 얼마나 많이 생각하고 경험해왔는지의 결과라고 생각한다.
판단을 위임하지 않는다는 것
AI를 잘 쓰는 것과 AI에게 판단을 맡기는 건 아주 다른 측면이다. AI는 도구다. 도구는 사용하는 사람의 판단에 따라 결과가 달라진다. AI가 그럴듯한 결과물을 내놓더라도, 그게 맞는지 틀린지, 쓸 수 있는지 없는지를 판단하는 건 여전히 사람의 몫이다. 그 판단을 AI에게 위임하는 순간, 결과물의 주인은 내가 아니게 된다. 그리고 그 결과물이 잘못됐을 때 책임도 돌아올 곳이 없어진다.
AI가 지어낸 이야기를 걸러내는 것, 맥락에 맞지 않는 내용을 잡아내는 것, 받는 사람 입장에서 읽어보는 것. 이 모든 게 판단을 위임하지 않겠다는 태도에서 나온다. 그리고 그 태도가 결국 일의 퀄리티, 사람의 선호를 가른다고 생각한다.