사내 지식 검색 도구의 실패 패턴은 거의 같습니다. 잘 만들어놓고, 아무도 안 씁니다. 왜냐하면 기존 업무 흐름 바깥에 또 하나의 창을 띄우기 때문입니다.
그런데 Morgan Stanley는 2023년 자문역(FA)용 사내 어시스턴트를 배포했고, 2024년 6월 자문역 팀의 98%가 도입했다고 발표했습니다 (Morgan Stanley 발표). 금융처럼 규제가 빡빡한 곳에서 나온 숫자라 더 눈에 띕니다.
무엇을 바꿨나
바꾼 업무는 두 가지입니다.
- 지식 검색: 사내에 흩어진 리서치·상품·컴플라이언스 자료를 찾는 일입니다. GPT-4 기반 어시스턴트가 10만 건 규모의 문서를 근거로 답합니다 (OpenAI 고객사례)
- 회의 후 처리: 2024년 6월 도입한 Debrief는 고객 동의 아래 화상회의를 요약하고, 액션 아이템을 뽑고, 이메일 초안을 만들고, 노트를 Salesforce에 저장합니다
두 번째가 핵심입니다. Debrief는 별도 도구가 아니라 자문역이 원래 쓰던 CRM 안에서 끝납니다. 말하자면 결과물이 기존 업무의 종점에 그대로 떨어지는 셈입니다.
98%를 만든 것
채택률을 만든 건 모델 성능이 아니라 세 가지 설계였습니다.
- 결재선 안에 넣었습니다. 검색 결과를 보여주는 데서 끝나지 않고, Salesforce 저장까지 이어집니다. 그래서 쓰지 않을 이유가 사라집니다
- 데이터 경계를 먼저 정했습니다. 규제 산업에서 첫 질문은 성능이 아니라 "우리 정보가 외부 학습에 쓰이는가"입니다. 이 경계 합의가 도입의 전제였습니다
- 정확도를 계속 측정했습니다. 검색 정확도를 꾸준히 평가·조정하는 체계를 함께 만들었습니다
숫자를 읽을 때 주의할 점
이 사례는 인용이 잘못 도는 대표적인 경우이기도 합니다. 그래서 몇 가지는 정확히 구분해야 합니다.
- 98%는 "도입(adopted)"이지 "매일 사용"이 아닙니다. 회사 표현을 상향 해석하면 안 됩니다
- 자주 인용되는 "문서 접근율 20%→80%"는 Morgan Stanley 발표가 아니라 OpenAI 고객사례 페이지의 문구입니다. 인용하려면 출처를 그렇게 밝혀야 합니다 (OpenAI 고객사례)
- 전사 시간 절감 수치는 공개된 적이 없습니다. 알려진 시간 언급은 자문역 1인의 "미팅당 30분 정도"라는 체험담이며, 기업 측정치가 아닙니다
- ROI·비용 절감 수치도 1차 출처에 없습니다
성과가 없다는 뜻이 아닙니다. 공개된 것은 채택률이고, 재무 효과는 공개되지 않았다는 뜻입니다. 그러니 벤치마크로 쓸 때 이 선을 넘지 않아야 합니다.
우리 조직이라면
지식 검색 도구를 검토 중이라면 질문의 순서를 바꾸는 편이 낫습니다.
- 이 도구의 결과물이 어느 시스템에서 끝나는가. 사람이 복사해 옮겨야 한다면 안 씁니다
- 우리 데이터가 어디까지 나가나요. 규제 산업이면 이게 1번입니다
- 정확도를 무엇으로, 얼마나 자주 잴 것인가요. 채택률은 결과이지 목표가 아닙니다