AI 인프라의 거대한 장벽 '구리 절벽', 그리고 전파로 뚫어낼 새로운 길
AI 인프라 확장의 병목 현상인 '구리 절벽' 문제를 짚어보고, 이를 해결할 혁신적인 RF 기반 인터커넥트 기술의 원리와 장점을 소개합니다.
송찬영
CTO
안녕하세요. 풀링포레스트 CTO 송찬영입니다.
우리가 매일같이 다루는 거대언어모델(LLM)과 AI 서비스들이 눈부시게 발전하고 있지만, 그 이면의 물리적 인프라를 들여다보면 가끔 숨이 턱 막힐 때가 있습니다. 특히 데이터 센터의 서버 랙 뒤편을 볼 때 그렇습니다. 수백, 수천 개의 GPU를 연결하기 위해 얽히고설킨 검은색 케이블 뭉치들을 보면, 이것이 단순한 전선이 아니라 AI의 성장을 가로막는 물리적 한계선처럼 느껴지곤 해요. 오늘은 소프트웨어 엔지니어링 뒤에 숨겨진, 하지만 우리 서비스의 미래를 결정지을 하드웨어 인터커넥트(Interconnect) 기술의 변화에 대해 이야기해보려 합니다.
최근 엔지니어링 팀과 인프라 확장 논의를 하면서 'Scale-up(스케일 업)'과 'Scale-out(스케일 아웃)'의 딜레마를 다시금 뼈저리게 느꼈습니다. Scale-out이 여러 대의 컴퓨터를 네트워크로 연결해 전체 용량을 늘리는 것이라면, Scale-up은 하나의 시스템 안에 최대한 많은 GPU를 욱여넣어 마치 하나의 거대한 뇌처럼 동작하게 만드는 것입니다. 요즘 AI 트렌드는 명확히 Scale-up을 요구하고 있습니다. 엔비디아(NVIDIA)가 시스템당 GPU 개수를 기하급수적으로 늘리려는 계획만 봐도 알 수 있죠.
문제는 여기서 발생합니다. GPU 간의 대화 속도가 빨라질수록, 우리가 믿었던 '구리 케이블'이 더 이상 버티지 못하는 시점이 온 것입니다. 업계에서는 이를 '구리 절벽(Copper Cliff)'이라고 부릅니다.
왜 구리가 문제일까요? 학창 시절 물리학 시간에 배운 '표피 효과(Skin Effect)'를 떠올려보면 이해가 쉽습니다. 데이터 전송 속도(주파수)가 높아지면 전류는 도선의 중심이 아닌 표면으로만 흐르려 합니다. 저항이 커지고 신호는 급격히 약해지죠. 이를 극복하려면 케이블을 더 굵게 만들어야 하는데, 이미 데이터 센터의 케이블 트레이는 포화 상태입니다. 굵은 구리 선은 무겁고, 무엇보다 서버의 열을 식혀줄 공기 흐름을 막아버립니다.
그렇다고 모든 구간을 광섬유(Optical Fiber)로 바꿀 수 있을까요? 광통신은 장거리 전송(Scale-out)에는 탁월하지만, 1~2미터 이내의 짧은 거리인 랙 내부 연결(Scale-up)에 쓰기에는 너무 비쌉니다. 전기를 빛으로 바꾸고 다시 전기로 바꾸는 트랜시버(Transceiver) 과정에서 발생하는 전력 소모와 비용, 그리고 미세한 지연 시간(Latency)은 고밀도 GPU 클러스터에서 무시할 수 없는 비효율을 낳습니다.
이 진퇴양난의 상황에서 최근 흥미로운 기술적 돌파구가 제시되고 있습니다. 바로 '전파(Radio)'를 이용한 인터커넥트입니다. Point2 Technology나 AttoTude 같은 스타트업들이 주도하는 이 기술은 구리와 광섬유 사이의 절묘한 균형점을 파고들었습니다.
핵심은 간단하면서도 혁신적입니다. 데이터를 빛(광자) 대신 고주파수 전파(RF)로 변환한 뒤, 이를 구리선이 아닌 플라스틱 소재의 얇은 도파관(Waveguide, e-Tube 등)을 통해 전송하는 것입니다. Point2 Technology의 경우 90GHz와 225GHz 같은 초고주파를 사용해 데이터를 실어 나릅니다.
이 방식이 매력적인 이유는 명확합니다.
첫째, 가볍고 얇습니다. 구리보다 훨씬 얇은 폴리머 케이블을 사용하므로 랙 내부의 공기 흐름을 방해하지 않습니다. 이는 냉각 효율을 높여 전체 전력 비용 절감으로 이어집니다.
둘째, 광통신보다 효율적입니다. 전기를 빛으로 바꾸는 복잡한 과정 없이 전파를 변조하는 방식이라, 광학 장비 대비 전력 소모가 3분의 1 수준이고 비용도 저렴합니다. 지연 시간 또한 획기적으로 줄어듭니다.
셋째, 도달 거리가 충분합니다. 구리로는 불가능했던 10~20미터 거리까지 고속으로 데이터를 보낼 수 있습니다. 이는 차세대 대규모 GPU 클러스터를 구성하기에 충분한 거리입니다.
우리가 코드 한 줄을 최적화하기 위해 밤을 새우는 동안, 하드웨어 레벨에서는 이러한 물리적 한계를 극복하기 위한 치열한 전투가 벌어지고 있습니다. 구리 케이블이 한계에 도달하고, 광케이블이 너무 비싼 그 틈새를 '전파'라는 고전적인, 하지만 완전히 새롭게 재해석된 기술이 메우고 있는 형국입니다.
풀링포레스트가 지향하는 효율적인 엔지니어링은 비단 소프트웨어 아키텍처에만 국한되지 않습니다. 우리가 사용하는 인프라가 어떤 원리로 동작하고, 어떤 병목을 겪고 있는지 이해할 때 비로소 진정한 최적화가 가능하다고 믿습니다. RF 기반 인터커넥트 기술이 상용화된다면, 우리는 더 적은 전력으로 더 거대한 AI 모델을, 더 좁은 공간에서 운용할 수 있게 될 것입니다.
결국 기술의 역사는 돌고 도는 것 같습니다. 가장 첨단의 AI를 가속하기 위해, 우리는 다시금 '라디오 파동'을 주목하게 되었습니다. 개발자 여러분도 지금 모니터 속의 코드 너머, 이 데이터가 흘러가는 물리적인 길에 대해 한 번쯤 상상해 보셨으면 좋겠습니다. 그곳에 의외의 해답과 혁신의 실마리가 숨어 있을지도 모르니까요.
