AI 학습 규모가 단일 데이터 센터의 한계를 넘어 확장됨에 따라, 분산 통합 확장(Scale across)이라는 새로운 아키텍처 모델이 등장하고 있습니다. 이 블로그에서 Brodie Gage는 분산형 AI 학습이 광 인프라를 어떻게 재편하고 있는지 살펴보고, Ciena가 지역 및 다중 지역 분산 통합 확장(Scale across) 애플리케이션을 지원하는 코히어런트 및 포토닉 혁신 기술을 어떻게 발전시키고 있는지 설명합니다.
이전에 말씀드렸듯이, AI와 클라우드 애플리케이션은 인프라의 운영 방식을 재편하고 있습니다. 이에 따라 AI 모델의 학습 방식뿐 아니라 이를 지원하는 네트워크의 구축 방식까지 바뀌고 있습니다.
여러분도 이러한 변화를 직접 체감하고 계실 것입니다. 모델이 점점 복잡해지고 데이터 세트가 커지면서, AI 학습 환경은 전례 없는 속도로 확장되고 있습니다. 불과 얼마 전까지만 해도 최첨단 클러스터는 수만 개의 GPU 규모로 측정되었습니다. 하지만 오늘날 클러스터는 수십만 개의 GPU 규모로 확장되고 있으며, 업계는 백만 개 이상의 GPU 학습 환경 시대로 빠르게 진입하고 있습니다.
이러한 성장은 네트워크 아키텍처의 근본적인 변화를 요구하고 있습니다.
전력 밀도의 제약만으로도 AI 인프라는 더 이상 하나의 데이터 센터 안에만 머무를 수 없게 되었습니다. 고객들은 이제 하나의 시설에서 모델을 학습시키는 대신, 여러 사이트와 캠퍼스, 나아가 여러 지역에 걸쳐 클러스터를 점점 더 분산 배치하고 있습니다.
Ciena는 이러한 변화에 발맞춰 코히어런트 옵틱, 플러그형 및 포토닉 시스템을 발전시켜 나가고 있습니다. 단순히 용량을 늘리는 것이 아니라, 전례 없는 규모의 분산형 AI를 지원할 수 있도록 광학적 기반을 재설계하고 있습니다. 나중에 설명해 드릴 이러한 발전은 다음의 중요한 질문에서 시작되었습니다.
물리적으로 분산된 인프라 환경에서 어떻게 동기화된 단일 AI 학습 환경을 유지할 것인가?
바로 이 지점에서 새로운 아키텍처 패러다임인 분산 통합 확장(Scale across)이 등장합니다.
분산 통합 확장(Scale across)이란 무엇인가?
그동안 AI 인프라에 대한 논의는 대부분 주로 수직 확장이나 수평 확장에 초점이 맞춰져 왔습니다. 하지만 이제 분산 통합 확장 아키텍처가 빠르게 도입되고 있습니다.
분산 통합 확장은 AI 학습을 단일 데이터 센터 너머로 확장합니다. 즉, 서로 다른 캠퍼스나 심지어 서로 다른 지역에 위치한 GPU에 걸쳐 하나의 AI 모델을 학습시킬 수 있습니다. 다시 말해, 인프라가 물리적으로 분산되어 있더라도 하나의 논리적인 AI 학습 환경을 구축할 수 있는 것입니다.
분산 통합 확장(Scale across): 데이터 센터 캠퍼스 또는 지역 간 무손실 연결 확장으로 단일 AI 모델 학습 지원
이는 단순히 대역폭을 늘리는 것만으로는 실현 불가능합니다.
AI 학습 작업 부하는 네트워크 동작에 매우 민감합니다. 패킷 손실, 혼잡, 그리고 일관적이지 않은 지연 시간은 학습 속도를 급격히 저하시킬 수 있으며, 거리가 멀어질수록 그 영향은 더욱 커집니다.
분산 통합 확장은 네트워크의 여러 계층에 새로운 요구 사항을 제시합니다.
- 패킷 계층에서 더 스마트한 트래픽 및 혼잡 관리
- 그리고 결정적으로, 핵심적인 새로운 광 연결 기반
학습이 캠퍼스를 넘어 확장되면 더 이상 기존의 상호 연결 방식으로는 더 이상 충분하지 않습니다. 처음으로 코히어런트 옵틱 기술이 분산형 AI 학습 아키텍처를 가능하게 만드는 핵심 요소로 자리매김하고 있습니다.
Ciena는 클라우드 및 AI 인프라 리더와의 대화에서 이러한 어려움에 대해 지속적으로 듣고 있습니다. 코히어런트 옵틱 및 포토닉 회선 시스템 분야에서 업계를 선도하는 Ciena는 고객과 긴밀히 협력하여 분산 통합 확장을 가능하게 하는 새로운 아키텍처와 맞춤형 솔루션을 개발하고 있습니다.
"처음으로 코히어런트 옵틱 기술이 분산형 AI 학습 아키텍처를 가능하게 만드는 핵심 요소로 자리매김하고 있습니다."
AI 클러스터의 기반이 되는 코히어런트 옵틱
물리적 거리가 떨어진 AI 클러스터를 연결하려면 기존의 일반적인 메트로 DCI와는 전혀 다른 차원의 광 네트워크가 필요합니다.
이는 단순히 두 사이트 사이에 대역폭을 늘리는 문제가 아닙니다. 용량, 신뢰성 및 지연 시간이 모델 성능에 직접적인 영향을 미치는 상황에서, 긴밀하게 동기화된 AI 학습 환경을 거리상으로 확장하는 것입니다.
즉, 광 계층은 다음을 제공해야 합니다.
- 초고용량
- 매우 높은 신뢰성
- 일관되게 낮고 예측 가능한 지연 시간
그리고 기존의 데이터 센터 상호 연결 구축을 훨씬 뛰어넘는 규모로 이를 제공해야 합니다. 그렇기 때문에 코히어런트 옵틱 및 포토닉 계층의 혁신 기술이 단순한 연결성을 넘어 AI 성능 자체를 위한 기반 기술이 되는 것입니다.
두 가지 분산 통합 확장 아키텍처: 근거리 및 원거리
고객과의 대화를 통해 Ciena는 각각 다른 요구 사항을 가진 두 가지 주요 아키텍처 방향이 등장하고 있음을 확인했습니다.
근거리 분산 통합 확장: 지역 연결성을 목적으로 설계된 아키텍처
근거리 분산 통합 확장은 메트로 또는 지역 범위에서 AI 학습을 확장하면서 지연 시간은 낮게, 아키텍처는 최대한 단순하게 유지하는 데 중점을 둡니다. 이에 반한 분명한 대가도 따르는데, 공간과 전력은 여전히 부족하며, 복원성 옵션도 더 제한될 수 있습니다.
이 애플리케이션을 위해 새로운 회선 시스템을 개발하기 시작했을 때, 고객들의 요구 사항은 명백했습니다. 중간 회선 증폭기 사이트는 '무슨 수를 써서라도' 피하면서 전송 거리는 최대화하라는 것이었습니다. 그리고 1년 이내에 이 솔루션을 정의, 개발, 구축, 출하 및 배포까지 해야 했습니다.
이 과제를 해결하기 위해, Ciena 팀은 독보적인 업계 경험을 활용하고 고객과 긴밀히 협력하여 단일 스팬 분산 통합 확장 연결 전용으로 최적화된 목적 지향형 포토닉 회선 시스템을 제공했습니다.
Ciena에서 실현 중인 핵심 혁신 사항은 이 수동 지점 간(P2P) 환경에서 C 대역과 L 대역 코히어런트 기술 을 모두 활용하여 동일한 광 케이블 인프라에서 고용량 연결의 수를 사실상 두 배로 늘리는 것입니다. AI 클러스터가 전례 없는 대역폭을 요구하는 와중에 공간과 전력은 여전히 제한적이므로, 이는 결정적인 역할을 합니다. 이 정도 규모의 확장을 지원하기 위해서는 코히어런트 플러그형과 포토닉 회선 시스템 모두에 새로운 요구 사항이 뒤따릅니다.
Ciena의 최적화된 '근거리 분산 통합 확장' 구성
플러그형 측면에서는, Ciena의 WaveLogic 6 Nano 800Gb/s 코히어런트 플러그형이 이제 C 대역뿐만 아니라 L 대역에서도 제공되어, 이러한 구축 환경에서 스펙트럼 활용 범위를 확장할 수 있습니다. 이것이 특히 중요한 이유는, 고객들은 사이트 간에 수십 Pb/s에 달하는 기하급수적인 트래픽 증가를 해결해야 하고, 수만 개의 연결을 짧은 시간 내에 구축해야 하며, 전체 용량이 확보될 때까지 네트워크를 가동할 수 없는 경우도 많기 때문입니다. 동시에, 이러한 플러그형은 업계 최고 수준의 성능을 제공하면서 상호 운용 가능한 800G ZR+를 지원하여, 고객이 확장 과정에서 용량과 개방성 요구 사항을 모두 충족할 수 있도록 보장합니다.
이러한 구축의 기반에는 Ciena의 새로운 RLS C&L 대역 회선 시스템 구성이 있습니다(자세한 내용은 아래 참조). 하이퍼스케일러와 직접 공동 개발한 이 솔루션은 근거리 분산 통합 확장 아키텍처의 고유한 요구 사항을 해결합니다. 이 컴팩트한 C+L 솔루션은 광학적으로 보호된 터미널 기준으로도 단 6RU 크기 안에 들어가며, 표준 데이터 센터 랙에 바로 원활하게 배치할 수 있는 새로운 전원 모듈을 포함하고 있습니다.
단일 스팬 전송 거리를 더욱 확장하기 위해, 이 시스템은 라만 증폭을 활용하여 확장된 스팬 성능을 지원합니다. 이에 따라 시설, 부동산 및 전력 등에서 실질적인 큰 어려움을 야기할 수 있는 중간 증폭기 사이트의 필요성이 줄어듭니다.
또한 AI 학습 환경은 극도로 높은 복원성을 요구하기 때문에, 이 솔루션에는 통합 광학 보호 스위칭 기능이 포함되어 있습니다. 이를 통해 C 대역 또는 L 대역 스펙트럼에서 발생하는 장애에 신속하게 대응함으로써 매우 높은 신뢰성을 보장합니다.
이 모든 혁신 기술이 합쳐져, 근거리 분산 통합 확장에서 요구되는 용량, 간소성 및 신뢰성과 더불어, AI 인프라를 여러 캠퍼스에 걸쳐 확장할 수 있는 광학 기반을 제공합니다.
원거리 분산 통합 확장: 다중 지역 AI를 위한 포토닉스 재설계
많은 이들에게 원거리 분산 통합 확장이 매력적인 이유는 더 많은 공간과 전력을 이용 가능하고, 더 넓은 지역으로 인프라를 분산할 수 있으며, 재해 복구 및 복원성 측면에서 더 강력한 옵션을 제공하는 등 유연성이 훨씬 더 뛰어나기 때문입니다.
하지만 동시에 경로를 따라 매우 다른 유형의 공간 및 전력 제약이 발생하기도 합니다.
다중 지역 거리를 고려하면, ILA(중간 회선 증폭기) 사이트 이용이 불가피합니다. 기존의 포토닉 회선 시스템 설계는 이러한 아키텍처가 요구하는 규모를 감당하도록 만들어지지 않았습니다. 수백 쌍의 광 케이블에서 기존 대비 수십 배 이상의 트래픽을 지원하면서도 엄격한 공간 및 전력 효율성을 유지하려면 근본적으로 새로운 접근 방식이 필요했습니다.
간단히 말해, 회선 시스템 아키텍처 자체를 재고해야 했습니다.
Ciena는 하이퍼스케일러 및 서비스 공급자와 긴밀히 협력하여, 동일한 운영 공간 내에 들어맞으면서도 훨씬 더 많은 광 케이블 수와 트래픽 양을 지원할 수 있는 새로운 중간 회선 증폭기 구성을 개발했습니다. 기존의 회선 증폭기 시스템은 섀시당 단일 광 케이블 쌍만 지원하는데, 원거리 분산 통합 확장 환경에서는 훨씬 더 높은 밀도가 필요했습니다.
새로운 분산형 AI 학습 요구 사항을 지원하기 위해 증폭기 사이트의 대규모 밀집화가 요구됨
그 결과로 탄생한 것이 바로 Ciena의 새로운 RLS Hyper-Rail 구성입니다. 대규모 다중 지역 AI 연결을 위해 특별히 설계된 이 구성은 기존 랙 운영 공간에 매끄럽게 들어맞으면서도 광 케이블 밀도를 획기적으로 끌어올립니다.
이러한 높은 밀도 수준은 매우 중요합니다. 랙당 광 케이블 용량을 획기적으로 늘림으로써, 고객은 각 사이트에 추가 증폭기 시설을 설치해야 할 필요성을 크게 줄이거나 아예 피할 수 있습니다. 이는 공간과 전력 수요를 낮출 뿐만 아니라, 새로운 부지를 확보하고 개발하는 복잡성도 줄여줍니다.
원거리 분산 통합 확장은 광 인프라의 새로운 지평을 열고 있습니다. Ciena는 RLS Hyper-Rail을 통해 고객이 지역 간 AI 클러스터를 효율적이고 지속 가능한 방식으로 연결하는 데 필요한 확장 가능한 고밀도 포토닉 기반을 제공하고 있습니다.
분산 통합 확장을 위한 맞춤형 광 시스템 구축
분산 통합 확장은 단순한 네트워크 진화가 아니라, AI 인프라를 위한 새로운 아키텍처 모델입니다.
분산 학습이 표준이 되면서, 광 네트워크는 단순한 지원 역할을 넘어 전략적 요인으로 부상하고 있습니다. 이에 부응하여 Ciena는 본격적으로 연구실에서 고객과 협력하여 이를 가능하게 만드는 코히어런트 및 포토닉 계층의 혁신 기술을 개발하고 있습니다. Ciena는 여러분과 같은 사업자들이 성능, 효율성, 신뢰성을 갖추고 캠퍼스와 지역을 넘어 AI 인프라를 확장할 수 있도록 지원합니다.
그리고 무엇보다도, Ciena는 이 새로운 시대의 성공은 단순히 최종적인 규모에만 달려 있는 것이 아니라 빠른 확장 속도에도 달려 있다는 점을 잘 알고 있습니다. AI 환경이 기하급수적으로 성장하고 배포 일정이 단축됨에 따라, 고객에게는 신뢰성과 개방성을 유지하면서도 빠르게 설계, 전달, 가동할 수 있는 광 솔루션이 필요합니다.
이러한 AI 인프라의 다음 장을 함께 만들어 나가는 데 기여할 수 있어 매우 기쁩니다.
Ciena의 RLS '근거리 분산 통합 확장' 구성에 대한 자세한 정보
