코드는 짰는데 전기가 없다니요: AI 시대의 진짜 병목을 마주하며

안녕하세요. 풀링포레스트 CTO 송찬영입니다.

솔직히 고백하자면, 최근 읽은 기술 리포트 중 저를 가장 충격에 빠뜨린 건 새로운 LLM 모델의 성능 지표가 아니었습니다. 바로 일론 머스크의 xAI가 10만 개의 GPU 클러스터를 단 4개월 만에 구축했다는 소식, 그리고 그 이면에 숨겨진 ‘에너지 전략’에 관한 이야기였습니다.

개발자인 우리는 흔히 성능의 한계를 논할 때 알고리즘의 복잡도나 메모리 대역폭, 혹은 GPU의 가용성을 떠올립니다. 하지만 지금 실리콘밸리의 거대 연구소들이 마주한 진짜 벽은 훨씬 더 물리적이고 원초적입니다. 바로 '전기'입니다.

오늘은 최근 SemiAnalysis에서 발행한 AI 연구소들의 전력 문제 해결 방식에 대한 분석을 바탕으로, 우리가 기술을 바라보는 관점을 어떻게 넓혀야 할지 이야기해 보려 합니다.

전력망이라는 낡은 레거시

우리가 작성한 코드가 돌아가는 데이터센터는 사실 거대한 전력망(Grid)이라는 인프라 위에 얹혀 있습니다. 그런데 이 전력망이 AI의 폭발적인 성장 속도를 전혀 따라가지 못하고 있습니다.

리포트에 따르면, 텍사스주(ERCOT)에서만 매달 수십 기가와트(GW) 단위의 데이터센터 전력 부하 요청이 쏟아진다고 합니다. 하지만 실제로 승인되는 건 고작 1GW 남짓입니다. 수백 명의 개발자가 동시에 PR(Pull Request)을 날렸는데, 리뷰어는 한 명뿐이고 CI/CD 파이프라인은 꽉 막혀버린 상황과 비슷하죠.

미국의 전력망 시스템은 설계상 느릴 수밖에 없습니다. 대규모 부하가 네트워크를 불안정하게 만들지 않으려면 복잡한 ‘시스템 연구’가 선행되어야 하거든요. 게다가 개발사들이 혹시나 하는 마음에 여러 곳에 중복으로 전력 요청을 넣는, 일종의 ‘허수 트래픽’까지 발생하며 시스템은 마비 상태가 되었습니다.

우리는 흔히 "GPU만 구하면 된다"고 생각하지만, 현실은 그 GPU를 꽂을 콘센트조차 구하기 힘든 상황인 겁니다.

기다릴 수 없다면, 직접 만든다 (BYOG)

여기서 흥미로운 지점이 등장합니다. 비즈니스의 속도는 레거시 인프라를 기다려주지 않습니다. AI 클라우드 시장에서 400MW 규모의 데이터센터를 6개월 먼저 가동하는 건 수십억 달러의 가치를 가집니다.

그래서 나온 해결책이 BYOG(Bring Your Own Generation), 즉 자체 발전입니다.

xAI가 10만 GPU 클러스터를 순식간에 띄운 비결이 여기에 있었습니다. 그들은 전력망 승인을 하염없이 기다리는 대신, 트럭에 대형 가스 터빈을 싣고 와서 현장에서 직접 전기를 생산했습니다. 심지어 허가 절차가 까다로운 테네시주 대신, 빠르게 승인을 내주는 미시시피주 경계에 발전소를 짓는 기지까지 발휘했죠.

이 시장의 변화는 놀랍습니다.

• OpenAI와 Oracle은 텍사스에 2.3GW 규모의 현장 가스 발전소를 주문했습니다.

• 두산에너빌리티(Doosan Enerbility) 같은 한국 기업이 xAI에 가스 터빈을 공급하며 핵심 플레이어로 부상했습니다.

• 심지어 초음속 여객기를 만드는 Boom Supersonic까지 데이터센터 발전 시장에 뛰어들었습니다.

선박 엔진을 만드는 회사가 데이터센터에 전기를 공급하고, 비행기 만드는 회사가 터빈 계약을 맺습니다. "속도가 곧 해자(Moat)"가 되는 세상에서, 기업들은 자신의 주특기를 넘어 생존을 위해 인프라의 바닥부터 다시 짜고 있는 겁니다.

개발자인 우리에게 주는 시사점

"우리는 발전소를 짓는 회사가 아닌데, 이게 무슨 상관인가요?"라고 물으실 수 있습니다. 하지만 이 현상은 우리에게 엔지니어링에 대한 중요한 태도를 시사합니다.

1. 병목의 위치를 정확히 파악해야 합니다.

과거엔 소프트웨어 최적화가 병목이었다면, 지금은 하드웨어 공급이, 그리고 이제는 에너지 공급이 병목이 되었습니다. 풀링포레스트 팀 내부에서도 마찬가지입니다. 단순히 최신 LLM API를 연동하는 게 능사가 아닙니다. 토큰당 비용, 추론 속도, 그리고 이를 감당할 우리의 인프라 리소스(전기세 포함)가 지속 가능한지를 고민해야 합니다.

2. 정해진 길(Happy Path)만 고집하지 않는 유연함이 필요합니다.

xAI가 전력망을 우회했듯, 우리도 기술적 난관에 봉착했을 때 교과서적인 해결책만 고집하고 있지는 않은지 돌아봐야 합니다. 때로는 레거시 시스템을 뜯어고치거나, 전혀 다른 도구(예: Cursor나 Claude 같은 AI 코딩 도구의 적극적 도입, 혹은 과감한 아키텍처 변경)를 통해 우회로를 뚫는 '해킹' 정신이 필요합니다.

3. 효율성은 이제 선택이 아니라 생존입니다.

전기가 부족하다는 건, 곧 컴퓨팅 리소스가 비싸진다는 뜻입니다. 엉성하게 짠 쿼리 하나, 불필요하게 낭비되는 루프 하나가 예전보다 훨씬 큰 비용으로 돌아올 것입니다.

마치며

AI 시대의 '풀스택 개발자'라는 정의가 어쩌면 프론트엔드와 백엔드를 넘어, 에너지 효율과 인프라의 물리적 한계까지 이해하는 사람으로 확장될지도 모르겠다는 생각이 듭니다.

전력망이 낡았다고 불평만 하고 있을 수는 없습니다. 누군가는 터빈을 돌려 전기를 만들고, 누군가는 그 위에서 돌아갈 가장 효율적인 코드를 짭니다. 저와 풀링포레스트 팀은 후자의 영역에서, 제한된 자원을 극한으로 활용하는 엔지니어링의 본질에 더 집중해 보려 합니다.

오늘 여러분이 작성한 코드 한 줄은, 귀한 전기를 얼마나 가치 있게 쓰고 있나요?

감사합니다.