UltraShape 1.0: 3D 생성 AI, 이제 디테일의 전쟁입니다

안녕하세요. 풀링포레스트 CTO 송찬영입니다.

최근 생성형 AI 분야에서 3D 모델링은 가장 뜨거운 감자 중 하나입니다. 텍스트나 이미지 한 장으로 3D 객체를 만들어내는 기술은 불과 1~2년 전만 해도 "신기하다" 수준이었지만, 이제는 현업에서 "쓸 만하다"라는 평가를 받기 위해 치열하게 경쟁하고 있죠.

하지만 현업 개발자나 디자이너 입장에서 기존의 3D 생성 모델들을 써보면 늘 아쉬움이 남았습니다. 전체적인 형태는 그럴듯한데, 막상 확대해 보면 표면이 울퉁불퉁하거나, 구멍이 뚫려 있거나(non-watertight), 미세한 기하학적 디테일이 뭉개져 있는 경우가 많았거든요. "이걸 바로 게임이나 메타버스에 쓸 수 있을까?"라고 자문해 보면, 결국 사람의 손을 거쳐 리터칭을 해야만 했습니다.

오늘 소개할 UltraShape 1.0은 바로 이 지점, 즉 '고충실도(High-Fidelity)'와 '기하학적 정교함(Geometric Refinement)'을 정면으로 돌파하려는 시도입니다. 단순히 모양을 만드는 것을 넘어, 쓸모 있는 품질을 어떻게 달성했는지 기술 리더의 관점에서 뜯어보겠습니다.

두 단계 확산(Diffusion) 프레임워크의 힘

UltraShape 1.0의 핵심은 확장 가능한 두 단계 디퓨전 프레임워크(Scalable Two-Stage Diffusion Framework)에 있습니다.

기존의 많은 모델들이 한 번에 완벽한 3D 형상을 만들어내려고 애썼습니다. 하지만 생성 AI의 특성상, 전체적인 구조(Structure)와 세밀한 디테일(Detail)을 동시에 잡는 것은 매우 어렵습니다. 숲을 보면서 동시에 나무의 나뭇잎 잎맥까지 그리려는 것과 같죠.

UltraShape은 이 문제를 '생성'과 '정제'라는 두 단계로 영리하게 분리했습니다.

1. 초기 생성 단계: 먼저 대략적인 형태와 구조를 잡습니다. 여기서는 해상도보다는 전체적인 볼륨감과 비례가 중요합니다.

2. 기하학적 정제(Geometric Refinement) 단계: 1단계에서 만들어진 거친 형상을 바탕으로 표면을 매끄럽게 다듬고, 디테일을 채워 넣습니다.

이 방식은 우리가 개발할 때 흔히 쓰는 'Divide and Conquer(분할 정복)' 전략과 맞닿아 있습니다. 복잡한 문제를 한 번에 풀려 하지 않고, 관리 가능한 단위로 쪼개서 해결하는 것이죠. 특히 3D 데이터는 2D 이미지보다 연산 비용이 훨씬 높기 때문에, 이러한 단계적 접근은 리소스 효율성 측면에서도 매우 합리적인 선택입니다.

데이터 파이프라인의 승리: Watertight와 품질 필터링

AI 모델의 성능은 결국 데이터의 질(Quality)이 결정합니다. "Garbage In, Garbage Out"은 AI 시대에도 변하지 않는 진리입니다. UltraShape 팀은 모델 아키텍처만큼이나 데이터 처리 파이프라인에 공을 들였습니다.

특히 눈에 띄는 것은 Watertight 처리입니다. 3D 프린팅이나 물리 엔진 시뮬레이션에 3D 모델을 쓰려면 모델에 구멍이 없어야 합니다. 물을 채웠을 때 새지 않아야 한다는 뜻이죠. 기존 데이터셋에는 겉보기엔 멀쩡해 보여도 위상적으로(topologically) 깨진 모델들이 많았습니다. UltraShape은 학습 데이터 단계에서부터 이를 엄격하게 처리했습니다.

또한 품질 필터링(Quality Filtering)을 통해 기하학적 디테일이 살아있는 데이터만 선별했습니다. 단순히 양으로 승부하는 것이 아니라, 고품질의 데이터로 '밀도 있는 학습'을 시킨 것이죠. 이는 저희 풀링포레스트 팀이 RAG(검색 증강 생성) 시스템을 구축할 때 겪었던 교훈과도 일치합니다. 아무리 좋은 LLM을 써도, 지식 베이스(Knowledge Base)에 노이즈가 많으면 환각 현상만 심해질 뿐이었거든요.

기술적 의사결정의 시사점

CTO로서 UltraShape 1.0을 보며 느끼는 점은, 이제 3D 생성 기술의 경쟁 포인트가 '생성 가능 여부'에서 '품질의 완결성'으로 이동했다는 것입니다.

• 생산성 혁신의 실마리: 디자이너가 초기 시안을 잡는 시간을 획기적으로 줄여줄 수 있습니다. 거친 초안을 던져주면 AI가 디테일을 잡아주는 워크플로우가 가능해지니까요.

• 확장성(Scalability): 논문 제목에 'Scalable'이라는 단어가 들어간 것에 주목해야 합니다. 이는 단순히 모델 크기를 키우는 게 아니라, 더 많은 데이터와 컴퓨팅 파워를 투입했을 때 성능이 비례해서 좋아지는 구조를 만들었다는 자신감의 표현입니다.

물론, 여전히 해결해야 할 과제들은 있습니다. 텍스처(Texture)와 재질(Material)까지 완벽하게 통합된 파이프라인인지, 생성 속도는 실시간 서비스에 적합한지 등은 검증이 필요합니다.

하지만 분명한 건, 우리는 지금 3D 콘텐츠 제작의 패러다임이 바뀌는 변곡점 위에 서 있다는 사실입니다. 풀링포레스트 팀 역시 이러한 기술적 진보를 예의주시하며, 어떻게 우리 서비스에 녹여내어 고객에게 더 큰 가치를 전달할지 치열하게 고민하고 있습니다.

기술은 멀리 있지 않습니다. 그 기술을 '왜' 그리고 '어떻게' 쓸 것인지 고민하는 순간, 혁신은 시작됩니다.

읽어주셔서 감사합니다.