aI 출시 속도를 늦추는 4가지 인프라 실수와 이를 방지하는 방법을 알아보세요.

성과가 저조한 AI 배포에 대한 사후 진단은 대부분 모델 선택, 데이터 품질 또는 도구 선택에 초점을 맞춥니다. 인프라는 거의 헤드라인으로 다루지 않습니다. 그래야 합니다.

이제 물리적 네트워크 계층(케이블, 연결, 경로 설계, 파이버 아키텍처)이 GPU 클러스터 성능을 직접적으로 결정하는 요소입니다. 광선로 연결의 밀도, 물리적 연결의 품질은 배경 조건이 아닙니다. 이들은 성능 변수가 됩니다. 그리고 데이터센터 설계 초기에, 종종 AI 워크로드 요구 사항이 완전히 평가되기 전에 내린 결정은 비용이 많이 들고 되돌리기 어려운 방식으로 성능을 제약할 수 있습니다.

다음은 AI 배포에서 지속적으로 나타나는 네 가지 인프라 실수와 이를 방지하기 위해 필요한 사항입니다.

1. 손실을 고려하지 않은 대역폭 설계

기존의 IT 네트워크 설계는 처리량, 즉 패브릭이 초당 얼마나 많은 데이터를 이동할 수 있는지에 중점을 둡니다. AI 학습 및 추론 워크로드의 경우 이러한 프레임워크는 중요한 변수를 놓치게 됩니다.

분산형 AI 트레이닝의 GPU 간 통신은 수십 또는 수백 개의 가속기에서 동시에 긴밀하게 동기화해야 하는 집단적 작업(AllReduce, AllGather, Broadcast)에 의존합니다. 기본 전송 방식인 RDMA over Converged Ethernet(RoCEv2) 또는 InfiniBand는 패킷 손실과 지연 시간 변동에 매우 민감합니다. 0.1% 미만의 패킷 손실도 GPU 동기화를 지연시키는 재전송 이벤트를 트리거하여 전체 클러스터에 유휴 시간이 누적될 수 있습니다. 512-GPU 트레이닝 클러스터에서 하나의 혼잡한 링크는 전체 클러스터 사용률을 떨어뜨려 트레이닝 기간을 경제적으로 실행할 수 없게 만들 수 있습니다.

AI를 위한 설계는 처음부터 무손실, 저지연 패브릭을 지정하는 것을 의미합니다. 삽입 손실 변동을 제거하는 고품질 광학 연결, 신호 저하의 물리적 원인을 제거하는 광 인프라가 필요합니다. 대역폭 용량은 필요하지만 충분하지 않습니다.

2. 단일 세대 케이블링에 고정

AI 인프라 교체 주기가 단축되고 있습니다. 2년 전 100G용으로 구축된 기존 DC 배포는 이미 400G GPU 인터커넥트로 인한 압박을 받고 있습니다. 현재 400G용으로 지정된 배포에는 800G로 전환할 수 있는 신뢰할 수 있는 경로가 필요하며, 1.6T는 이미 로드맵에 포함되어 있습니다.

실수는 이동 공간을 남겨두지 않고 오늘날의 속도 계층에 맞게 물리 계층을 최적화하는 것입니다. 이는 일반적으로 더 높은 변조 형식을 지원할 수 없는 케이블 선택, 차세대 트랜시버 폼 팩터를 수용할 수 없는 커넥터 구성 또는 포트 밀도가 증가함에 따라 추가 케이블을 위한 공간이 없는 경로 채움률로 나타납니다.

또한 AI 인프라는 메시 및 스파인/리프와 같은 다양한 네트워크 아키텍처를 필요로 합니다. 미래 지향적인 케이블링 설계는 기술이 현재 어디에 있는지뿐만 아니라 어디로 향하고 있는지를 고려합니다. 광케이블의 경우, 이는 전체 교체 없이 차세대 트랜시버를 수용할 수 있는 밀도에서 OM4 또는 OM5 멀티모드 또는 단일 모드를 지정하는 것을 의미합니다. 광케이블 패치 패널의 경우 모듈식 설계를 통해 트랜시버 폼 팩터 변경, 차세대 AI-POD로 인한 새로운 밀도로 인해 향후 확장이 가능합니다. 케이블의 수명은 수십 년으로 측정되지만 그 위에 있는 액티브 전자기기의 수명은 그렇지 않습니다. 이를 동일한 교체 주기로 취급하는 것은 데이터 센터 인프라 계획에서 가장 흔하고 비용이 많이 드는 실수 중 하나입니다.

3. 광케이블 수 요구 사항을 과소평가

기존 IT 네트워크 설계와 AI 패브릭 설계의 차이를 광케이블 수만큼 빠르게 드러내는 것은 없습니다. 서버 간 연결과 남북 트래픽 패턴을 중심으로 구축된 기존 데이터센터 계획 모델은 GPU 클러스터의 광케이블 요구 사항을 크게 과소평가합니다.

AI 패브릭은 동서 방향이 지배적입니다. 모든 GPU는 직접 또는 스파인을 통해 함께 작동하는 다른 모든 GPU에 대한 고대역폭, 저지연 경로가 필요합니다. 모든 주요 AI 패브릭의 중추인 하이레딕스 스파인 스위치는 장치당 64개 이상의 400G 포트를 제공할 수 있습니다. 비차단 패브릭에 완전히 케이블로 연결된 단일 GPU 서버 포드는 스케일업 네트워킹이라고도 하는 수천 개의 개별 파이버 연결이 필요할 수 있습니다. 다중 포드 배포에 걸쳐 연결되는 스케일아웃 패브릭도 AI의 영향으로 인한 가장 중요한 물리적 변화 중 하나입니다.

이러한 변화를 위해 구축된 광케이블의 밀도로 인해 AI 학습이 이루어지기 전에 몇 배 더 많은 광케이블이 설치될 수 있습니다.

AI 패브릭이 요구하는 광케이블 수에 맞춰 신속하고 오류 없이 구축하도록 설계된 고밀도 사전 종단 처리된 MPO 케이블링 시스템은 초기 구축과 이후 단계적 확장 모두에서 이 문제에 대한 실질적인 해답이 될 수 있습니다.

4. 케이블 관리는 나중에 생각하기

GPU 밀집 환경에서의 케이블 관리는 단순한 관리 문제가 아닙니다. 이는 안정성 문제입니다.

케이블 관리는 인프라의 운영 수명 동안 유지보수 가능성을 결정합니다. 400G 환경에서 케이블 트레이가 혼잡하다는 것은 트랜시버 교체, 포트 재배치, 패브릭 확장 등 모든 변경 사항이 인접한 연결을 방해할 위험이 있다는 것을 의미합니다. 물리적 커넥터 품질이 직접적인 성능 변수가 되는 환경에서는 이러한 위험이 사소하지 않습니다. 최소 굽힘 반경 이하로 구부러지거나 커넥터 인터페이스에 응력이 가해지거나 적절한 스트레인 완화 장치 없이 반복적으로 취급되는 광케이블은 시간이 지남에 따라 신호 무결성이 저하될 수 있는 광케이블입니다.

라우팅, 라벨링 및 경로 용량은 옵션이 제한된 시운전 중에 해결할 것이 아니라 처음부터 인프라 설계 프로세스의 일부가 되어야 합니다.

AI의 실제 요구 사항에 맞게 구축된 인프라

네 가지 실수의 공통점은 AI 워크로드의 전체 요구 사항을 파악하기 전에 내린 결정이 지속되지 않을 조건에 최적화되어 있다는 점입니다. 이에 대한 해결책은 컴퓨팅 및 소프트웨어 아키텍처에 적용되는 것과 동일한 미래 지향적 규율로 물리 계층을 설계하는 것입니다. 즉, 현재 실행 가능한 최소한의 구성이 아닌 수명, 밀도, 헤드룸을 지정하는 것입니다.

고밀도 광 케이블, 사전 종단 처리된 MPO 솔루션, 최대 400G 이상의 속도를 지원하는 이중 LC 연결을 포함한 Aginode의 데이터 센터 연결 포트폴리오는 정확히 이러한 환경을 위해 설계되었습니다.

Share this