지난 5화에서는 AI의 기억에 대해 이야기했습니다.
AI가 어제 수행한 작업을 기억하고, 지난주에 결정한 전략을 유지하고, 과거 제안에서 얻은 경험을 새로운 사업에 활용하는 방법이었습니다.
이제 AI는 RFP를 읽고, 필요한 자료를 찾고, 전략을 수립하고, 이전 작업의 맥락까지 이어갈 수 있습니다.
그렇다면 여기서 한 가지 질문이 생깁니다.
“AI가 작성한 제안서는 어디까지 믿어도 될까요?”
하나의 제안서가 완성됐다고 생각해보겠습니다.
RFP의 요구사항을 반영했습니다. 과거 수행실적도 연결했습니다. 고객에게 제시할 기술과 전략도 정리했습니다.
문장도 자연스럽고, 논리도 그럴듯합니다.
그런데 최종 검토 과정에서 한 가지 문제가 발견됩니다.
제안서에는 우리 회사가 특정 기술을 적용한 사업을 수행했다고 적혀 있습니다.
실제 수행실적을 확인해보니, 해당 사업에서 그 기술은 제안만 했을 뿐 실제로 적용하지는 않았습니다.
완전히 없는 사업을 만들어낸 것은 아닙니다.
사업도 실제로 존재하고, 기술도 실제로 검토했습니다.
다만 ‘제안했던 기술’이 ‘수행했던 기술’로 바뀌었을 뿐입니다.
작은 차이처럼 보이지만, 제안서에서는 결코 작은 문제가 아닙니다.
AI의 답변이 자연스럽다고 해서 사실인 것은 아닙니다
생성형 AI는 문맥에 맞는 답변을 만들어내는 데 뛰어납니다.
하지만 자연스러운 문장을 만드는 능력과 그 문장이 사실인지 판단하는 능력은 구분해야 합니다.
AI는 주어진 정보가 부족하거나 모호할 때도 그럴듯한 답변을 생성할 수 있습니다.
이를 흔히 환각(Hallucination)이라고 부릅니다.
수주 업무에서는 이런 오류가 여러 형태로 나타날 수 있습니다.
과거 제안서에 적힌 계획을 실제 수행실적으로 해석할 수도 있습니다.
서로 다른 사업의 기술과 성과를 하나의 사례로 연결할 수도 있습니다.
RFP의 필수 요구사항을 권고사항으로 잘못 분류할 수도 있습니다.
심지어 오래된 자료를 현재도 유효한 정보처럼 사용할 수도 있습니다.
문제는 이런 오류가 반드시 눈에 띄는 형태로 나타나지는 않는다는 것입니다.
오히려 앞뒤 문맥이 자연스러울수록 사람이 발견하기 어려울 수 있습니다.
그래서 수주 전용 AI에는 생성 능력만큼 중요한 기술이 하나 더 필요합니다.
만들어진 결과를 다시 확인하는 기술입니다.
그렇다면 AI가 AI를 검토하면 될까요?
제안 업무에서도 작성자와 검토자의 역할은 다릅니다.
작성자는 고객의 요구사항에 맞춰 내용을 구성합니다.
검토자는 작성된 내용이 요구사항을 충족하는지, 논리적 모순은 없는지, 근거가 충분한지 확인합니다.
AI도 이 역할을 나눌 수 있습니다.
하나의 AI가 제안 내용을 작성하면, 다른 AI가 그 결과를 검토하도록 만드는 것입니다.
예를 들어 작성 AI가 다음과 같이 답했다고 해보겠습니다.
“당사는 유사 사업에서 대규모 시스템의 안정적인 운영 경험을 확보하였습니다.”
검토 AI는 이 문장을 그대로 받아들이지 않습니다.
먼저 질문합니다.
어떤 사업에서 확보한 경험인가?
실제 수행한 내용인가, 제안했던 내용인가?
그 내용을 확인할 수 있는 자료가 존재하는가?
현재 RFP의 요구사항과 직접적으로 관련이 있는가?
이러한 검토를 통해 근거가 부족한 문장을 찾아내거나, 추가 확인이 필요한 항목을 구분할 수 있습니다.
물론 AI가 다른 AI의 결과를 검토한다고 해서 모든 오류가 사라지는 것은 아닙니다.
검토하는 AI 역시 잘못 판단할 수 있기 때문입니다.
그래서 중요한 것은 단순히 AI에게 “다시 확인해줘”라고 요청하는 것이 아닙니다.
무엇을 기준으로, 어떤 근거와 비교해 검토할 것인지 정하는 것입니다.
좋은 검증에는 기준이 있습니다
제안서 검토를 생각해보겠습니다.
경험 많은 제안 전문가는 단순히 문장을 읽고 좋다거나 나쁘다고 평가하지 않습니다.
RFP를 다시 확인합니다.
평가기준과 비교합니다.
필수 요구사항이 누락되지 않았는지 살펴봅니다.
제시한 수행실적이 실제 증빙자료와 일치하는지도 확인합니다.
AI의 검증 과정도 이런 기준을 바탕으로 설계할 수 있습니다.
[요구사항 검증] RFP에 명시된 필수 요구사항이 제안서에 반영되어 있는가.
[근거 검증] 제안서에 작성된 기술과 수행실적을 실제 자료로 확인할 수 있는가.
[일관성 검증] 제안서의 서로 다른 부분에서 상충하는 내용을 설명하고 있지는 않은가.
[평가기준 검증] 주요 평가항목에 대응하는 내용이 적절하게 구성되어 있는가.
여기서 한 가지 구분해야 할 것이 있습니다.
요구사항 누락 여부나 수치의 일치 여부처럼 비교적 명확한 기준으로 확인할 수 있는 항목이 있습니다.
반면 수주 전략의 설득력이나 차별화 메시지의 적절성처럼 해석과 판단이 필요한 항목도 있습니다.
모든 검증을 같은 방식으로 처리할 수는 없습니다.
명확한 규칙으로 확인할 수 있는 것은 규칙으로 검증하고, 문맥을 이해해야 하는 것은 AI의 분석을 활용하며,
중요한 판단은 사람이 확인하는 방식이 필요합니다.
검증은 마지막에 한 번 하는 일이 아닙니다
여기서 수주 AI의 구조를 다시 생각해볼 필요가 있습니다.
RFP 분석이 잘못되었다면 어떻게 될까요?
잘못된 요구사항을 기준으로 자료를 찾게 됩니다.
그 자료를 바탕으로 전략을 수립합니다.
그리고 잘못된 전략을 기반으로 제안서를 작성할 수 있습니다.
마지막에 오류를 발견한다면 앞선 작업을 상당 부분 다시 수행해야 할 수도 있습니다.
그래서 검증은 제안서가 완성된 뒤에만 필요한 과정이 아닙니다.
각 단계의 결과가 다음 단계로 넘어가기 전에 확인하는 구조가 중요합니다.
RFP 분석이 끝나면 요구사항 추출 결과를 확인합니다.
자료 탐색이 끝나면 근거의 관련성과 출처를 확인합니다.
전략 수립이 끝나면 고객 요구와의 정합성을 검토합니다.
제안서 작성이 끝나면 누락과 모순을 다시 확인합니다.
이런 방식으로 검증을 업무 흐름 안에 배치하면 오류가 다음 단계로 전달될 가능성을 줄일 수 있습니다.
지난 4화에서 이야기했던 AI Agent의 오케스트레이션이 다시 중요해지는 지점입니다.
AI가 일을 나누어 수행하는 것만큼, 각 작업이 올바르게 완료되었는지 확인하는 과정도 함께 연결되어야 합니다.
그리고 마지막 판단은 누가 해야 할까요?
AI가 RFP를 분석했습니다.
과거 자료에서 근거를 찾았습니다.
제안 내용을 작성하고, 다른 AI가 검토까지 마쳤습니다.
그렇다면 이제 사람이 확인할 필요는 없을까요?
수주 업무에서는 그렇지 않습니다.
AI가 확인할 수 있는 정보와 사람이 책임져야 하는 판단은 다르기 때문입니다.
예를 들어 AI가 특정 기술을 적용하면 고객의 요구사항을 충족할 수 있다고 분석했다고 해보겠습니다.
하지만 실제 사업을 수행할 인력이 충분한지, 해당 기술을 도입하는 데 어떤 위험이 있는지, 회사가 그 위험을 감수할 수 있는지는 별도의 판단이 필요합니다.
이때 사람이 개입해 결과를 검토하고 승인하는 방식을 Human-in-the-loop라고 부릅니다.
모든 작업에 사람이 일일이 개입해야 한다는 의미는 아닙니다.
반복적이고 기준이 명확한 검토는 자동화하고, 위험이 크거나 책임이 수반되는 결정에는 사람이 개입하도록 설계하는 것입니다.
예를 들어 AI가 수행실적의 근거를 찾지 못했다면 해당 내용을 자동으로 확정하기보다 담당자에게 확인을 요청할 수 있습니다.
RFP의 필수 요구사항을 충족하지 못하는 것으로 판단되면 제안팀이 직접 대응 방향을 결정하도록 할 수도 있습니다.
AI가 사람의 판단을 대체하는 것이 아니라,
사람이 판단해야 할 문제를 더 명확하게 보여주는 것입니다.
신뢰할 수 있는 AI는 설명할 수 있어야 합니다
수주 AI의 검증 체계에서 중요한 것은 결과의 정확성만이 아닙니다.
그 결과가 어떻게 만들어졌는지 확인할 수 있어야 합니다.
AI가 어떤 RFP 요구사항을 참고했는지.
어떤 과거 수행실적을 근거로 사용했는지.
어떤 기준으로 검토했는지.
그리고 어떤 부분에서 추가 확인이 필요한지.
이러한 정보가 함께 제공된다면 제안팀은 AI가 만든 결과를 훨씬 구체적으로 검토할 수 있습니다.
단순히 “검증 완료”라는 표시가 있는 것과,
“RFP 42페이지의 요구사항을 기준으로, 수행실적 자료의 해당 내용을 확인했습니다.”
라고 설명하는 것은 다릅니다.
물론 출처가 표시되어 있다고 해서 그 내용이 자동으로 사실이 되는 것은 아닙니다.
실제 출처와 주장이 일치하는지도 확인해야 합니다.
하지만 적어도 사람이 검토할 수 있는 근거가 생깁니다.
AI가 내놓은 답을 무조건 믿거나 의심하는 대신, 확인할 수 있는 결과로 만드는 것입니다.
수주 AI의 경쟁력은 신뢰에서 완성됩니다
지금까지 여섯 편에 걸쳐 수주 AI가 수행하는 일을 살펴봤습니다.
RFP를 읽고,
회사의 경험을 찾고,
여러 AI가 역할을 나누고,
이전 작업의 맥락을 기억하고,
이제 그 결과를 검증하는 단계까지 왔습니다.
이 모든 기술은 결국 하나의 목표를 향합니다.
사람이 더 좋은 제안을 만들 수 있도록 돕는 것.
AI가 제안서를 빠르게 작성하는 것은 분명한 가치가 있습니다.
하지만 그 결과를 검토하기 위해 사람이 모든 자료를 처음부터 다시 확인해야 한다면 자동화의 효과는 제한적일 수밖에 없습니다.
반대로 AI가 근거를 제시하고, 오류 가능성을 찾아내고, 사람이 확인해야 할 부분을 구분해 준다면 어떨까요?
제안팀은 반복적인 검토에 사용하는 시간을 줄이고, 더 중요한 판단에 집중할 수 있습니다.
고객에게 어떤 가치를 제안할 것인지.
우리의 강점을 어떻게 설명할 것인지.
그리고 무엇을 근거로 고객의 신뢰를 얻을 것인지.
결국 수주 AI가 만들어야 할 것은 단순히 더 많은 제안서가 아닙니다.
더 빠르게 작성하면서도, 근거를 확인하고 책임 있게 완성할 수 있는 제안서입니다.
저희는 그 차이가 수주 AI의 실질적인 경쟁력을 만든다고 생각합니다.
다음 회차 예고
7화. 제안서 1,000개를 학습시키면 우리 회사만의 AI가 될까?
회사가 보유한 제안서와 수행실적을 AI에 활용하는 방법은 여러 가지입니다.
필요한 자료를 검색해 활용하는 RAG도 있고, 모델 자체를 추가 학습시키는 Fine-tuning도 있습니다.
그렇다면 제안서가 많을수록 AI의 성능도 좋아질까요?
우리 회사만의 AI를 만들기 위해서는 어떤 방법을 선택해야 할까요?
다음 회차에서는 Fine-tuning과 RAG의 차이,
그리고 기업의 수주 데이터를 AI에 활용할 때 고려해야 할 기술적 선택을 이야기하겠습니다.