AI의 환상 이후, 왜 판단 설계는 여전히 인간의 몫인가
생성형 AI를 둘러싼 최근의 분위기는 종종 하나의 착각을 만든다.
질문을 던지면 요약이 돌아오고, 문장이 정리되고, 초안이 생성된다. 몇 시간 걸리던 일이 몇 분 안에 끝나니 사람은 쉽게 감탄한다. 그리고 그 감탄은 곧 신뢰로 미끄러진다. 말이 유창하면 이해도 깊을 것 같고, 설명이 매끄러우면 판단도 정교할 것처럼 느껴진다.
하지만 정보분석의 세계는 원래 그런 식으로 작동하지 않는다.
정보분석은 자료를 많이 모으는 기술이 아니다. 정보를 예쁘게 정리하는 기술도 아니다. 정보분석은 의사결정에 필요한 판단을 반복 가능하게 생산하는 기술이다. 핵심은 얼마나 많은 정보를 모았느냐가 아니라, 무엇을 판단했는지, 왜 그렇게 판단했는지, 무엇이 그 판단을 뒤집는지, 그리고 지금 무엇을 해야 하는지를 분명하게 제시할 수 있느냐에 있다. 대부분의 트레이드 크래프트 역시 결국 이 지점을 중심에 둔다. 분석은 설명이 아니라 판단 생산이며, 판단은 다시 행동과 다음 질문으로 이어져야 한다.
바로 이 지점에서 AI에 대한 가장 큰 환상이 발생한다.
많은 사람들은 AI가 정보를 빠르게 요약하고 문장을 잘 만들어낸다는 이유만으로 그것이 곧 분석이라고 생각한다. 그러나 실제로는 그 반대에 가깝다. AI는 대체로 답처럼 보이는 문장을 만드는 데 강하다. 반면 정보분석의 출발점인 질문을 고정하는 일에서는 자주 흔들린다. 업로드한 관련 논문도 오늘날의 챗봇은 인간처럼 이해하기보다 대규모 패턴을 바탕으로 응답을 생성하며, 그 판단 경로는 여전히 사용자가 충분히 들여다보기 어려운 블랙박스에 가깝다고 지적한다. 응답은 돌아오지만, 왜 그런 판단이 나왔는지는 종종 불투명하다.
내가 실제로 AI를 다루며 반복적으로 느낀 한계도 여기에 있다.
구체적인 예로 그럴듯한 질문과 실행 가능한 질문의 차이로서 다음과 같다.
AI는 KIQ를 선정하는 일, 경쟁가설을 실제로 경쟁하게 만드는 일, 그리고 레드팀 관점에서 기존 판단을 무너뜨릴 반증 포인트를 끝까지 붙드는 일에서 생각보다 자주 미끄러진다.
겉으로 보면 꽤 잘하는 것처럼 보인다. 질문도 정리해주고, 가설도 몇 개 제시하고, 반론도 형식상 붙여준다. 그런데 조금만 더 깊이 들어가 보면 핵심이 비어 있는 경우가 많다. 질문은 그럴듯하지만 판정 가능하지 않고, 가설은 여러 개인 것 같지만 사실상 하나의 관점을 문장만 바꿔 반복하는 경우가 많다. 반증 역시 형식적으로는 존재하지만, 실제로 기존 판단을 가장 아프게 찌를 쟁점을 잡아내지 못한다.
특히 KIQ 선정은 AI가 가장 자주 안개를 만드는 지점이다.
좋은 질문은 판정 가능해야 하고, 시간창이 있어야 하며, 범위와 제약이 분명해야 하고, 무엇이 결론을 바꾸는지도 드러나야 한다. 막연한 질문은 분석의 출발점이 아니라 소음의 출발점이다. “우리에게 위협이 있는가” 같은 문장은 질문처럼 보이지만 실제로는 거의 아무 결정도 도와주지 못한다. 이것을 “향후 90일 내 어떤 조건이 충족될 경우 우리의 전략을 바꿔야 하는가” 같은 형태로 바꾸는 것이 정보분석의 첫 번째 기술이다. 다수의 트레이드 크래프트가 반복적으로 강조하는 것도 바로 이 부분이다. 잘못된 질문으로 달리기 시작하면, 아무리 열심히 해도 도착지는 빗나간다.
AI는 이 단계에서 자주 모호함을 정리하는 데는 성공하지만, 모호함을 절단하는 데는 실패한다.
질문을 보기 좋게 다듬는 것과, 의사결정 가능한 질문으로 고정하는 것은 전혀 다른 작업인데, AI는 이 둘을 종종 같은 것으로 취급한다. 그래서 사용자는 “정리가 잘 됐다”고 느끼지만, 실제로는 여전히 행동으로 연결되지 않는 문장을 손에 쥐고 있게 된다.
경쟁가설에서도 문제는 비슷하게 드러난다.
좋은 경쟁가설은 단순히 찬성과 반대를 나란히 놓는 것이 아니다. 서로 다른 메커니즘을 가진 설명들이 충돌해야 한다. 왜 그런 일이 벌어진다고 보는지, 어떤 증거가 그것을 지지하는지, 무엇이 그것을 반박하는지, 어떤 전제가 숨어 있는지, 틀렸을 때 어떤 실패 경로가 열리는지까지 드러나야 한다. 그래야 분석은 단순한 의견 나열이 아니라 설명력의 경쟁이 된다. 다수의 트레이드 크래프트가 경쟁가설에 반대 증거, 가정, 트리거, 실패 경로까지 포함시키는 것도 그래서다.
그러나 AI는 종종 H1, H2, H3를 써놓고도 실제로는 하나의 직관을 조금씩 갈아입혀 반복하는 수준에 머문다. 겉보기에는 다양성이 있지만, 실질적으로는 같은 서사를 세 벌 입혀놓은 경우가 적지 않다. 이때 분석은 깊어지는 대신 예쁘게 포장된다.
가장 큰 문제는 레드팀 반증이다.
정보분석에서 진짜 수준 차이는 무엇을 잘 설명하느냐보다, 무엇이 그 설명을 무너뜨릴 수 있는지를 얼마나 냉정하게 보는가에서 갈린다. 반증은 부정적인 부속물이 아니다. 오히려 분석의 강도를 높이는 핵심 장치다. 있어야 할 신호가 빠져 있지는 않은지, 너무 눈길을 끄는 정보가 오히려 기만적인 것은 아닌지, 현재 서사가 지나치게 깔끔한 것은 아닌지 끊임없이 점검해야 한다. 다수의 트레이드 크래프트가 수집 단계부터 반대 증거를 함께 찾고, 대안 설명과 반증 조건을 따로 세우라고 하는 이유도 여기에 있다.
그런데 AI는 매끄러운 서사를 이어 붙이는 데는 강해도, 그 서사를 부수는 불편한 조각을 오래 붙들고 늘어지는 데는 아직 약하다. 인간 분석가는 어떤 의미에서는 답을 잘 만드는 사람이 아니라, 답을 너무 쉽게 믿지 않는 사람이어야 한다. AI는 아직 이 불신의 기술, 이 반증의 집요함에서 사람만큼 노련하지 않다.
물론 이것이 AI의 가치를 깎아내리는 이야기는 아니다.
AI는 분명히 잘하는 것이 있다. 방대한 자료를 빠르게 훑고, 형식을 정리하고, 초안을 만들고, 누락된 항목을 체크하고, 여러 버전의 표현을 뽑아내는 데에는 매우 유용하다. 자료 triage, 정리, 처리, 구조화, 초벌 브리프 작성 같은 영역에서는 이미 강력한 생산성 도구다. 업로드한 논문 역시 생성형 AI가 범위와 기대치가 비교적 정렬된 과업에서는 상당한 잠재력을 가지며, 대규모 정보 환경에서 탐색과 분류의 도구로 기능할 수 있다고 본다. 다만 그 잠재력이 현실의 분석 품질로 이어지려면 데이터 품질, 조직의 축적된 지식, 설명 가능성이 함께 따라와야 한다는 점도 동시에 강조한다.
블랙박스 응답 vs 추적 가능한 판단 경로
생성형 AI는 종종 그럴듯한 응답을 즉시 반환하지만, 분석 실무에서 중요한 것은 응답의 유창함이 아니라 그 응답이 어떤 질문, 어떤 가설 경쟁, 어떤 반증 조건, 어떤 증거 경로를 거쳐 나왔는지를 확인할 수 있는가에 있다. Obscyron의 목적은 바로 이 판단 경로를 드러내는 데 있다.
결국 선을 잘 그어야 한다.
AI가 잘하는 것은 대체로 보조다.
인간 분석가가 계속 붙들어야 하는 것은 판단 설계다.
무슨 질문을 던질 것인가.
무엇이 이번 사이클의 진짜 쟁점인가.
어떤 가설들이 실제로 경쟁하는가.
무슨 신호가 나오면 현재 판단을 버려야 하는가.
어떤 정보는 왜 더 무겁게 봐야 하는가.
그리고 지금 무엇을 해야 하는가.
이 질문들은 단순한 문장 생성 능력만으로 해결되지 않는다. 여기에는 맥락 판단, 실패 비용 감각, 도메인 경험, 암묵지, 그리고 무엇보다 “나는 틀릴 수 있다”는 태도가 필요하다. 관련 논문도 분석가들은 일반적 사용자와 달리 역사적 맥락과 도메인 기억을 가진 전문가들이며, AI가 이들과 함께 일하려면 현재 정보만이 아니라 축적된 지식과 암묵지까지 다뤄야 한다고 본다. 설명 없는 단정은 그럴듯해 보여도 결국 포춘쿠키 문장과 크게 다르지 않다는 지적은 그래서 의미심장하다.
그래서 나는 AI 시대일수록 정보분석의 중요성이 줄어드는 것이 아니라, 오히려 더 커진다고 본다.
예전에는 정보가 부족해서 문제였다면, 지금은 그럴듯한 정보와 그럴듯한 문장이 너무 많아서 문제다. 노이즈는 늘었고, 그 노이즈는 점점 더 유창해지고 있다. 이런 환경에서는 자료를 읽는 속도보다 무엇을 질문해야 하는지를 아는 힘이 더 중요해진다. 설명을 덧칠하는 능력보다 설명을 깨뜨릴 반증을 찾는 능력이 더 중요해진다. 확신을 크게 말하는 기술보다 불확실성을 관리하는 기술이 더 중요해진다.
AI는 훌륭한 엔진이다.
하지만 엔진은 방향을 결정하지 않는다.
대부분의 트레이드 크래프트가 붙들고 있는 것도 결국 이 단순한 사실이다. 분석은 정보를 모으는 일이 아니라 판단을 설계하는 일이다. 그리고 판단 설계의 중심에는 언제나 질문, 경쟁, 반증, 불확실성, 행동이 있다. AI가 문장을 더 잘 쓰는 시대가 올수록, 이런 기본기는 오히려 더 비싸진다.
화려한 답변의 시대일수록, 좋은 질문은 더 희귀해진다.
그리고 희귀한 것은 늘 가치가 올라간다.
참고문서
Source Note: Dennis J. Gleeson, Jr., “Artificial Intelligence for Analysis: The Road Ahead,” Studies in Intelligence 67, no. 4 (Extracts, Dec. 2023). Former CIA analytic systems strategy director.