AI 도입, 환상을 걷어내고 현실적인 질문을 던질 때

안녕하세요. 풀링포레스트 CTO 송찬영입니다.

최근 테크 씬에서 만나게 되는 창업가나 CTO 분들과 이야기를 나누다 보면, 대화의 끝은 항상 같은 곳을 향합니다. "우리 회사도 이제 AI를 써야 하는데, 뭐부터 해야 할지 모르겠어요." 혹은 "남들은 다 한다는데 우리는 뒤처지는 것 아닐까요?" 같은 불안감 섞인 질문들이죠. 사실 이런 고민은 비단 경영진만의 몫이 아닙니다. 실무를 담당하는 개발자들 역시 '내 커리어에 AI 기술 스택을 한 줄이라도 더 넣어야 하지 않을까' 하는 조바심을 느끼곤 합니다.

솔직히 말씀드리면, 저 역시 풀링포레스트에서 처음 생성형 모델을 제품에 통합하려 했을 때 비슷한 막막함을 느꼈습니다. ChatGPT가 등장하고 세상이 떠들썩해지자, 당장이라도 우리 서비스에 챗봇을 붙이지 않으면 도태될 것만 같은 압박감이 있었죠. 그래서 처음에는 꽤나 무모한 시도를 했습니다. "일단 API부터 연결해 보자"는 식이었죠.

그 결과는 어땠을까요? 참담했습니다. 기술적으로 연결하는 것은 어렵지 않았습니다. 요즘 나오는 라이브러리들이 워낙 훌륭하니까요. 문제는 '비용'과 '가치'의 불일치였습니다. 저희가 만든 기능은 신기하기는 했지만, 정작 고객이 겪고 있는 진짜 문제를 해결해 주지는 못했습니다. 단순히 텍스트를 생성해 주는 기능만으로는 고객의 지갑을 열 수 없었죠. 게다가 트래픽이 조금만 몰려도 토큰 비용이 기하급수적으로 늘어나는 것을 보며, CFO님의 눈치를 봐야 했습니다. 기술 도입이 목적이 되어버린 전형적인 실패 사례였습니다.

이 뼈아픈 시행착오를 겪으며 저는 중요한 사실 하나를 깨달았습니다. AI 도입은 '기술의 문제'가 아니라 철저하게 '비즈니스와 문제 해결의 영역'이라는 점입니다. 최신 LLM(거대언어모델)을 쓴다고 해서 우리 서비스가 갑자기 혁신적으로 변하지 않습니다. 오히려 불필요한 복잡도만 높일 뿐이죠.

그래서 저는 팀원들에게 항상 "AI를 쓰지 않고 이 문제를 해결할 방법은 없을까?"를 먼저 묻습니다. 역설적이지만, AI를 가장 잘 활용하는 방법은 AI 없이도 해결 가능한 문제와 반드시 AI가 필요한 문제를 명확히 구분하는 데서 시작하기 때문입니다.

그렇다면 성공적인 AI 도입을 위해 우리는 무엇을 점검해야 할까요? 풀링포레스트 팀이 겪은 시행착오를 바탕으로 정리한 몇 가지 기준을 공유합니다.

첫째, 해결하려는 문제가 '결정론적'인지 '확률론적'인지 파악해야 합니다.
전통적인 소프트웨어 엔지니어링은 입력값 A가 들어가면 반드시 출력값 B가 나와야 하는 결정론적 세계입니다. 하지만 생성형 모델은 확률에 기반합니다. 같은 질문을 해도 매번 다른 대답이 나올 수 있습니다. 만약 여러분이 금융 거래나 정밀한 데이터 정합성이 필요한 곳에 섣불리 LLM을 도입한다면, 그것은 재앙의 시작이 될 수 있습니다. 반면, 창의적인 초안 작성이나 비정형 데이터의 요약 같은 업무라면 확률론적 접근이 큰 가치를 발휘합니다.

둘째, 데이터의 준비 상태를 점검해야 합니다.
아무리 좋은 모델(Model)을 가져와도, 우리 서비스만의 문맥(Context)을 이해하지 못하면 껍데기에 불과합니다. RAG(검색 증강 생성)를 구축하든 파인 튜닝을 하든, 가장 중요한 건 양질의 데이터입니다. 사내 위키는 정돈되어 있는지, 고객 상담 로그는 디지털화되어 있는지 돌아봐야 합니다. 데이터 엔지니어링이 선행되지 않은 AI 도입은 모래 위에 성을 쌓는 것과 같습니다.

셋째, ROI(투자 대비 효과)를 냉정하게 계산해야 합니다.
단순히 API 비용만을 말하는 것이 아닙니다. 프롬프트 엔지니어링을 실험하고, 모델의 환각(Hallucination) 현상을 잡기 위해 투입되는 개발자의 리소스까지 모두 비용입니다. "이 기능을 통해 고객의 시간을 얼마나 아껴줄 수 있는가?", "이것이 우리의 핵심 경쟁력인가?"라는 질문에 명확한 숫자로 답할 수 있어야 합니다.

최근 저희 팀은 사내 업무 효율화를 위해 슬랙 봇에 AI를 도입했습니다. 하지만 이번에는 거창한 모델부터 찾지 않았습니다. 팀원들이 가장 귀찮아하는 '회의록 요약'과 '문서 검색'이라는 아주 작은 문제에만 집중했습니다. 결과는 성공적이었습니다. 작은 성공이 쌓이니 팀원들도 기술에 대한 막연한 두려움을 버리고, 더 크고 복잡한 문제에 도전할 용기를 얻더군요.

기술 리더로서, 그리고 현업 개발자로서 여러분께 드리고 싶은 말씀은 이것입니다. 트렌드에 휩쓸려 조급해하지 마세요. 기술은 도구일 뿐입니다. 망치를 들었다고 모든 것이 못으로 보여서는 안 됩니다. 우리가 집중해야 할 것은 언제나 '고객의 문제' 그 자체여야 합니다.

지금 당장 여러분의 서비스에서 AI를 걷어내 보세요. 그래도 여전히 가치가 남아있다면, 그때 비로소 AI를 더해 날개를 달아줄 시점입니다. 기술의 화려함에 눈이 멀지 않고, 본질을 꿰뚫어 보는 시야를 갖추시길 바랍니다. 그것이 진정한 기술 도입의 시작입니다.