존재하지 않는 책을 찾는 사람들, 그리고 AI에 대한 맹신

안녕하세요. 풀링포레스트 CTO 송찬영입니다.

최근 흥미로우면서도 한편으로는 등골이 서늘해지는 기사를 하나 읽었습니다. 미국의 도서관 사서들이 겪고 있는 고충에 대한 이야기였는데, 그 내용이 남 일 같지 않았습니다. 사서들이 하루에도 수십 건씩 "이 책을 찾아달라"는 요청을 받는데, 알고 보니 그 책들은 세상에 존재하지 않는 책들이었다는 겁니다. 범인은 바로 AI 챗봇이었습니다.

더 충격적인 것은 그다음 상황입니다. 사서가 "그런 책은 없습니다"라고 말하면, 이용자들은 사서를 믿는 대신 "AI가 있다고 했는데 당신들이 숨기는 것 아니냐"며 오히려 화를 낸다는 것입니다. 평생 정보를 검증하고 관리해 온 전문가인 인간보다, 확률적으로 단어를 조합하는 알고리즘을 더 신뢰하는 현상. 이것은 비단 도서관만의 문제가 아닙니다. 바로 우리 개발 조직 안에서도 일어나고 있는 일이기 때문입니다.

솔직히 고백하자면, 저 역시 얼마 전 비슷한 경험을 했습니다. 새로운 아키텍처를 구상하며 평소 즐겨 쓰는 AI 도구에게 특정 기능을 지원하는 라이브러리를 추천받았습니다. 설명이 너무나 구체적이고 그럴듯해서 의심조차 하지 않았습니다. 하지만 막상 공식 문서를 뒤져보니 해당 API는 존재하지 않거나, 이미 3년 전에 사라진 기능이었습니다. 모니터 앞에 앉아 멍하니 있자니 헛웃음이 나오더군요. "나조차도 이렇게 쉽게 속는데, 우리 팀원들은 어떨까?" 하는 걱정이 앞섰습니다.

개발 현장에서 주니어 개발자들과 코드 리뷰를 하다 보면 종종 이런 상황을 마주합니다. "이 코드는 왜 이렇게 작성했나요?"라고 물으면, "Cursor가 이렇게 짜줬습니다" 혹은 "ChatGPT가 이게 최적이라고 했습니다"라는 대답이 돌아옵니다. 마치 도서관 이용자가 사서에게 "AI가 책이 있다고 했다"고 우기듯, 생성된 코드의 권위에 기대어 자신의 논리를 방어하려는 모습입니다.

이것은 기술의 문제가 아니라 '신뢰의 위기'이자 '검증의 부재'입니다.

LLM(거대언어모델)은 본질적으로 진실을 말하는 기계가 아닙니다. 그저 '다음에 올 가장 그럴듯한 단어'를 확률적으로 선택하는 기계일 뿐입니다. 하지만 AI가 내뱉는 문장은 너무나도 확신에 차 있고 정중합니다. 우리는 그 '톤앤매너'에 속아 팩트 체크라는 가장 기본적인 엔지니어링 절차를 생략하곤 합니다.

풀링포레스트에서는 이 문제를 해결하기 위해 두 가지 원칙을 세우고 실천하려 노력하고 있습니다.

첫째, 'AI는 훌륭한 인턴이지만, 결재 권한은 없다'는 태도입니다. AI가 작성한 코드는 반드시 인간의 눈과 논리를 거쳐야 합니다. 우리는 AI가 생성한 코드를 그대로 복사해 붙여넣는 것을 경계합니다. 특히 존재하지 않는 라이브러리를 import 하거나, 잘못된 파라미터를 넘기는 환각(Hallucination) 현상은 단순한 버그를 넘어 보안 사고로 이어질 수 있음을 항상 상기시킵니다.

둘째, '질문의 질을 높이는 것'입니다. 기사에서도 언급되었듯, 프롬프트에 "환각을 일으키지 마세요"라고 적는다고 해서 AI가 갑자기 정직해지지는 않습니다. 대신 우리는 RAG(검색 증강 생성) 같은 기술적 보완책을 마련하거나, AI에게 의존하기보다 공식 도큐먼트와 소스 코드를 먼저 확인하는 습관을 들이도록 장려합니다.

사서들이 겪는 고통은 우리에게 중요한 시사점을 줍니다. 기술이 아무리 발전해도, 결국 그 기술이 내놓은 결과물의 진위를 판단하고 책임을 지는 것은 '사람'이어야 합니다. AI가 없는 책을 만들어낼 수는 있어도, 그 책을 읽고 감동을 느끼거나 지식을 얻는 것은 불가능한 것처럼 말이죠.

개발자로서 우리는 AI라는 강력한 도구를 손에 쥐고 있습니다. 하지만 그 도구가 우리를 대신해 생각하게 두어서는 안 됩니다. 모니터 속의 코드가 '진짜'인지 검증하는 날카로운 시선, 그것이 지금 우리에게 가장 필요한 역량이 아닐까 합니다. AI가 만들어낸 환상에 휘둘리지 않고, 단단한 팩트 위에 코드를 쌓아 올리는 한 주가 되시길 바랍니다.