자동화의 함정, 그리고 우리가 AI에게 핸들을 완전히 맡길 수 없는 이유

안녕하세요. 풀링포레스트 CTO 송찬영입니다.

최근 테크 뉴스 중 제 눈을 의심하게 만든 기사가 하나 있었습니다. 메타(Meta)의 광고 시스템이 브랜드의 의도와는 전혀 상관없는 기괴한 이미지를 생성해 자동으로 송출했다는 소식이었죠. 젊은 남성 타겟의 의류 브랜드 광고가 난데없이 'AI 할머니' 사진으로 대체되고, 전기 자전거 광고에는 구름 위를 나는 자동차 트렁크가 등장했다는 이야기였습니다. 남의 일 같지 않았습니다. 사실, 저도 최근 비슷한 경험을 통해 등골이 서늘했던 적이 있었거든요. 오늘은 우리가 AI 자동화를 대할 때 반드시 지켜야 할 '선'에 대해 이야기해보고자 합니다.

메타의 사례는 개발자인 우리에게 시사하는 바가 큽니다. 메타의 'Advantage+' 같은 도구는 머신러닝을 통해 광고 성과를 최적화해 준다고 약속합니다. 하지만 이번 사태에서 드러난 문제는 단순히 AI 모델의 환각(Hallucination) 현상만이 아니었습니다. 더 심각한 건, 사용자가 "AI 기능을 끄겠다"고 설정했음에도 시스템이 이를 무시하거나, 은밀하게 다시 설정을 켜버리는 '통제권의 상실'이었습니다. 심지어 기괴한 다리 모양을 가진 모델이나, 실제 제품 소재와 다른 가짜 이미지가 검수 없이 라이브 서버에 올라갔죠.

솔직히 고백하자면, 풀링포레스트에서도 초기 AI 도입 단계에서 비슷한 실수를 저지른 적이 있습니다. 우리는 고객 응대 효율을 높이기 위해 LLM 기반의 자동 답변 시스템을 테스트하고 있었습니다. "요즘 모델 성능이 좋으니, 간단한 문의는 알아서 처리하게 두자"는 안일한 생각이었죠.

결과는 처참했습니다. AI는 우리 서비스에 존재하지 않는 기능을 고객에게 아주 친절하고 확신에 찬 어조로 안내했습니다. 고객은 혼란에 빠졌고, 운영팀은 뒤처리에 진땀을 빼야 했습니다. 단순히 프롬프트 엔지니어링의 문제가 아니었습니다. 근본적인 원인은 '블랙박스(Black Box)' 시스템에 대한 맹신과 모니터링 체계의 부재였습니다.

개발자로서 우리는 '자동화'라는 단어에 쉽게 매료됩니다. 코드로 모든 것을 제어할 수 있다고 믿으니까요. 하지만 생성형 AI는 기존의 'if-else' 로직으로 제어되는 결정론적 소프트웨어가 아닙니다. 확률에 기반한 이 도구는 언제든 튀어 나갈 준비가 되어 있는 야생마와 같습니다. 메타의 광고주들이 겪은 것처럼, 우리가 만든 시스템이 클라이언트의 의도를 무시하고 제멋대로 행동한다면 그것은 더 이상 도구가 아니라 리스크일 뿐입니다.

이 사건 이후, 저희 팀은 개발 원칙을 대폭 수정했습니다.

첫째, 'Human-in-the-loop(인간 참여형)' 프로세스를 강제했습니다. AI가 생성한 초안은 반드시 내부 운영 툴(저희는 Retool을 사용해 대시보드를 구축했습니다)을 통해 담당자의 '승인' 버튼을 거쳐야만 배포되도록 아키텍처를 변경했습니다. 속도는 조금 느려졌지만, 신뢰도는 비약적으로 상승했습니다.

둘째, '옵트아웃(Opt-out)'의 투명성을 보장했습니다. 메타의 사례에서 가장 비판받은 점은 사용자가 기능을 껐음에도 시스템이 멋대로 다시 켰다는 점입니다. 이는 기술적 버그일 수도 있지만, UX 측면에서 사용자 경험을 심각하게 해치는 행위입니다. 우리는 사용자가 AI 기능을 원치 않을 때 확실하게 차단되고, 그 상태가 영구적으로 유지되도록 백엔드 로직을 전수 검사했습니다.

셋째, 구체적인 가드레일(Guardrails) 설정입니다. 단순히 LLM에게 "잘 대답해"라고 하는 대신, RAG(검색 증강 생성)를 통해 참조해야 할 문서 범위를 엄격히 제한하고, 금칙어와 톤앤매너에 대한 검증 레이어를 별도로 두었습니다.

기술 리더 여러분, 그리고 현업에서 고군분투하는 개발자 여러분. 마크 저커버그는 "AI가 너무 발전해서 광고주가 스스로 광고를 만들 필요가 없을 것"이라고 말했지만, 현실은 아직 그 단계가 아닙니다. 오히려 지금은 그 어느 때보다 '인간의 관리'가 중요한 시점입니다.

AI는 우리의 손발을 편하게 해주는 훌륭한 '엔진'이지만, 핸들은 여전히 사람이 잡고 있어야 합니다. 특히 비즈니스에 치명적인 영향을 줄 수 있는 영역(광고 집행, 고객 응대, 결제 등)에서는 더더욱 보수적인 접근이 필요합니다. "편리함"이라는 달콤한 유혹에 빠져 "통제권"을 시스템에 완전히 넘겨주지 마십시오.

우리의 역할은 AI를 맹목적으로 도입하는 것이 아니라, AI가 사고를 치지 않도록 단단한 우리를 만드는 것임을, 이번 메타의 'AI 할머니' 사건을 통해 다시 한번 뼈저리게 느낍니다. 오늘도 안전하고 견고한 시스템을 만들기 위해 고민하는 모든 분을 응원합니다.