드디어 데이터센터 네트워크 구축을 위한 첫 단계를 성공적으로 마쳤습니다.
지난 시간동안 데이터센터 네트워크의 기본적인 개요를 이해하고, 필요한 제품(하드웨어)과 기술(프로토콜)이라는 중요한 자원과 재료들을 충분히 확보했습니다. 마치 건축가가 건물을 짓기 전에 설계도를 이해하고, 필요한 자재들을 준비하는 과정과 같다고 할 수 있습니다.
이제부터는 이렇게 준비된 자원들을 실제로 활용하여 데이터센터 네트워크를 설계하고 구축하는 단계로 나아갈 것입니다.
데이터센터 네트워크 설계 요구사항
데이터센터 네트워크 설계를 시작하기 전에 가장 중요한 것은 바로 ‘무엇을 달성할 것인가?’ 즉, 설계 요구사항을 명확히 아는 것입니다.
이 요구사항들은 데이터센터 네트워크 설계의 최종 목표가 되며, 각 요구사항이 전체 디자인에 어떤 영향을 미치는지 이해하는 것이 필수적입니다. 또한, 네트워크 장비의 냉각을 위한 공기 흐름과 같은 실질적인 문제도 함께 고려해야 합니다.
일반적인 데이터센터 설계 요구사항
일반적인 데이터센터 설계 요구사항은 다음과 같습니다:
- 가상화(Virtualization): 데이터센터 네트워크 운영의 효율성, 민첩성, 그리고 복원력을 향상시키기 위해 필수적입니다.
- 멀티-테넌트 지원(Multi-tenant support): 프라이빗 클라우드에서는 크게 중요하지 않지만, 많은 데이터센터가 존재하는 주된 이유입니다. 여러 조직을 위한 인프라를 호스팅하는 것이 핵심 비즈니스인 경우에 해당됩니다.
- 다중 데이터센터(Multiple data centers): 용량 확장 또는 복원력 강화를 위해 종종 필요합니다. 예를 들어, 한 대륙에서 발생한 자연재해가 다른 대륙에 있는 이중화된 데이터센터에는 영향을 미치지 않도록 하는 시나리오입니다.
- WAN 연결(WAN connections): 각 기업 사이트 또는 테넌트를 데이터센터 시설에 연결하기 위해 필요합니다.
- 스토리지 서비스(Storage services): 효율적인 서버 액세스, 간소화된 통신 및 관리를 위해 중앙에 위치하는 경우가 많습니다.
- 보안(Security): 특히 멀티-테넌트 데이터센터의 경우, 어떤 유형의 네트워킹 환경에서도 엄격하고 일반적으로 통용되는 보안 모범 사례 및 절차를 준수하는 것이 매우 중요합니다.
각 요구사항이 설계에 미치는 영향
각 요구사항은 여러분이 내리는 설계 및 배포 결정에 큰 영향을 미칩니다.
가상화:
- 영향: 장비 밀도를 증가시키고, 이는 대역폭에 대한 수요 증가로 이어집니다.
- 고려사항: 모든 물리적 장비는 이러한 가상 머신을 호스팅할 수 있어야 합니다.
이는 관련 레이어 2 도메인 또는 VLAN이 모든 물리적 서버에서 사용 가능해야 함을 의미합니다.
또한, 특정 재해 복구 시나리오를 가능하게 하려면 이러한 VLAN이 물리적으로 분리된 데이터센터 간에 확장되어야 할 수도 있습니다.
멀티-테넌트 지원:
- 영향: 단일 인프라가 여러 테넌트를 지원하고 격리해야 합니다.
- 고려사항: 이 요구사항을 충족할 수 있는 하드웨어 장비, 소프트웨어, 그리고 프로토콜을 배포해야 합니다.
다중 데이터센터:
- 영향: 고객이 확장성과 이중화를 위해 여러 데이터센터를 요구할 때, L2 연결을 지원하면서도 장애의 영향을 지역화하는 링크로 데이터센터를 상호 연결해야 합니다.
- 고려사항: 예를 들어, 한 사이트에서의 브로드캐스트 스톰(broadcast storm)이나 STP(Spanning Tree Protocol) 루프 오류가 다른 사이트의 운영에 영향을 미치지 않아야 합니다.
WAN 연결:
- 영향: 다양한 기술을 사용하여 WAN 연결을 배포할 수 있습니다.
- 고려사항: 선택하는 옵션은 고객이 요구하는 서비스와 링크를 고객이 관리할지 또는 제공업체가 관리할지에 따라 달라집니다. 어떤 데이터센터 테넌트는 제공업체가 특정 L2 VPN 서비스를 프로비저닝하고 관리하기를 선호할 수 있는 반면, 다른 테넌트는 다른 기술을 사용하기를 선호할 수도 있습니다.
스토리지 서비스:
- 영향: 데이터센터에서 컨버지드 기술을 사용하여 배포되는 경우가 많습니다.
- 고려사항: iSCSI와 FCoE(Fibre Channel over Ethernet) 모두 이더넷 시스템에서 특정 서비스 처리를 요구합니다.
iSCSI는 이더넷 패브릭에서 특별한 QoS(Quality of Service) 설정을 필요로 하며, FCoE는 특정 무손실(lossless) 이더넷 서비스의 배포를 요구합니다.
물론, 배포하는 장비는 검증된 설계의 일부여야 하며, 필요한 QoS 또는 무손실 이더넷 기능을 지원해야 합니다.
보안:
- 영향: 가상화는 네트워크 엣지(edge)에서 보안에 대한 도전을 제기합니다.
- 고려사항: 규정 준수 모니터링 및 보고에 중요한 VM 통신에 대한 통찰력을 유지하기 위해 네트워크에 특정 기술이 필요할 수 있습니다.
이러한 요구사항들을 사전에 명확히 이해하고 설계에 반영하는 것이 성공적인 데이터센터 네트워크 구축의 첫걸음입니다.
데이터센터 냉각 설계
데이터센터를 설계할 때 단순히 네트워크 장비만 생각해서는 안됩니다.
의외로 냉각 설계가 전체 데이터센터 디자인과 심지어 어떤 스위치 모델을 사용할지에까지 영향을 미칩니다.
특히 스위치의 공기 흐름을 설계에 반드시 고려해야 합니다.
스위치의 공기 흐름 방향
스위치의 팬은 크게 두 가지 공기 흐름 방향을 가집니다.
Front-to-back 팬 (빨간색):
- 공기가 포트(케이블을 꽂는 면) 쪽에서 전원 공급 장치(파워 서플라이) 쪽으로 흐른다는 의미입니다.
- 이 방향은 일반적으로 핫-아일(Hot-aisle) 데이터센터에서 랙의 전면에 스위치를 설치할 때 필요합니다.
차가운 공기를 포트 쪽에서 흡입하여 장비를 식힌 후, 뜨거운 공기를 파워 서플라이 쪽으로 배출하는 방식입니다.
Back-to-front 팬 (파란색):
- 공기가 전원 공급 장치 쪽에서 포트 쪽으로 흐른다는 의미입니다.
- 이 방식은 콜드-아일(Cold-aisle) 데이터센터나 특정 랙 구성에서 사용될 수 있습니다.
AOS-CX 스위치는 삽입된 팬의 종류를 자동으로 감지합니다.
따라서 여러분이 사용하는 냉각 방식에 맞춰 올바른 방향의 팬을 장착하면, 스위치가 자동으로 이를 인식하고 최적의 냉각 성능을 발휘합니다.
일반적으로 핫-아일(Hot-aisle) 데이터센터에서 랙의 전면에 스위치를 설치하는 경우, 공기가 포트 쪽에서 전원 공급 장치 쪽으로 흐르는 ‘프론트-투-백(Front-to-back)’ 방식이 필요합니다. 이는 차가운 공기를 랙 전면(콜드 아일)에서 흡입하여 장비를 식힌 뒤, 뜨거운 공기를 랙 후면(핫 아일)으로 배출하는 방식이죠.
하지만 최근에는 많은 고객들이 랙 후면에 ToR(Top-of-Rack) 스위치를 배치하고 있습니다.
서버의 네트워크 카드(NIC)가 서버 후면에 위치하기 때문에, 이 경우 스위치는 공기가 전원 공급 장치 쪽에서 포트 쪽으로 흐르는 ‘백-투-프론트(Back-to-front)’ 방식의 공기 흐름이 필요합니다.
모든 AOS-CX 스위치는 기본적으로 프론트-투-백(Front-to-back) 공기 흐름을 가지고 있습니다.
하지만 특정 스위치 시리즈의 경우, 여러분의 데이터센터 냉각 방식에 맞춰 팬 방향을 선택할 수 있도록 별도의 모델을 제공합니다.
현재 데이터센터 제품군으로 구분되는 CX 스위치들은 공기 흐름을 선택하는 SKU 번호가 있으니, 구매 전 반드시 확인해야 합니다.
데이터센터 냉각 설계에 맞춰 올바른 스위치 모델을 선택하는 게 장비의 효율적인 작동과 수명 연장에 필수적이라는 점, 꼭 기억해야 합니다.
데이터센터 네트워크 구축 모델
데이터센터 구축에는 다양한 모델이 있으며, 각 데이터센터의 고유한 요구사항에 따라 가장 적합한 모델을 선택해야 합니다.
다양한 구축 모델과 함께, 고객의 필요에 따라 어떤 질문을 던져 최적의 모델을 결정할지 알아보겠습니다.
데이터센터에는 일반적으로 여러 유형의 네트워크가 존재합니다.
바로 아웃-오브-밴드 관리(Out-of-Band Management) 네트워크, 스토리지 네트워크, 그리고 데이터 네트워크(In-Band)입니다.
아웃-오브-밴드(OOBM) 관리 네트워크
관리자는 인-밴드 네트워크를 사용하여 장치를 관리할 수 있습니다.
하지만 아웃-오브-밴드(OOBM) 네트워크를 별도로 구축하는 것을 권장합니다.
OOBM 네트워크는 인-밴드 네트워크가 다운되었을 때도 네트워크 관리자가 중요한 장치를 관리할 수 있도록 구축된 단순한 병렬 네트워크입니다. 이는 비상 상황에서도 네트워크 장비에 접근하여 문제를 해결할 수 있는 생명줄 역할을 합니다.
스토리지 네트워크
스토리지 네트워크는 일반적으로 데이터 저장을 위한 전용의 독립적인 고성능 네트워크입니다.
이 네트워크는 공유 스토리지 장치 풀을 여러 서버에 상호 연결하고 제공하여 데이터의 자동 백업 및 모니터링을 가능하게 합니다.
하지만 최근에는 인-밴드 데이터 네트워크와 스토리지 네트워크의 컨버전스(통합)가 일부 고객과 솔루션에서 옵션으로 부상하며 경계가 모호해지는 경우도 있습니다. 많은 최신 하이퍼컨버지드 인프라(HCI) 기반 솔루션이 이러한 통합 시나리오에 기여하고 있습니다.
그럼에도 불구하고, 별도의 전용 스토리지 네트워크는 여전히 매우 일반적이고 필수적인 부분으로 남아있을 것입니다.
데이터 네트워크 (인-밴드)
데이터 네트워크(인-밴드)는 대량의 중요 데이터를 처리하고 까다로운 워크로드를 지원하기 위한 서버-투-서버 동-서(East-West) 통신을 위한 고성능 패브릭을 제공합니다. 데이터센터의 인-밴드 데이터 로드는 서버-투-서버 및 랙-투-랙 트래픽 패턴을 많이 활용합니다.
여기서 설명하는 아키텍처는 최대 대역폭과 네트워크 고가용성을 위해 여러 활성 링크를 가진 루프-프리(loop-free) 네트워크를 제공하여, 이러한 까다로운 동-서 트래픽을 가능하게 하고 지원합니다.
이러한 네트워크 유형들을 이해하고, 고객의 특정 요구사항에 맞춰 최적의 구축 모델을 선택하는 것이 성공적인 데이터센터 운영의 핵심입니다.
액세스 레이어 스위칭: ToR(Top-of-Rack) 디자인
액세스 레이어 스위칭은 데이터센터 랙 상단에 위치한 스위치, 즉 ToR(Top-of-Rack) 스위치를 통해 이루어집니다.
ToR 디자인에서 서버는 랙 안에서 구리 케이블(일반적인 랜 또는 이더넷 케이블)이나 광섬유를 이용해 액세스 스위치에 연결되고, 이 액세스 스위치는 다시 데이터센터 백본 스위치와 멀티모드 광섬유(MMF)로 연결됩니다.
데이터센터의 백본은 보통 고용량의 어그리게이션 또는 분배 스위치로 구성되며, 이 스위치들은 Layer 2/3 기능을 갖추고 있습니다.
이더넷 케이블은 주로 랙 내부 짧은 거리에 사용되는 반면, 더 얇은 굵기의 멀티모드 광섬유는 랙 외부 연결에 활용됩니다.
이는 케이블의 무게 부담을 줄여주고, 랙의 대역폭 요구사항을 지원하기 위해 다양한 용량의 인터페이스에 연결할 수 있다는 장점이 있습니다.
ToR 배치에서 랙 안의 서버들은 일반적으로 랙 상단에 위치한 액세스 레이어 스위치에 연결됩니다.
ToR 설계의 장점
- 문제 격리: 랙 내부에서 발생하는 네트워크 문제를 해당 랙으로 격리하여 전체 네트워크에 미치는 영향을 최소화
- 트래픽 격리: 랙 내부 트래픽이 랙 외부로 불필요하게 나가는 것을 줄여, 네트워크 혼잡을 완화하고 보안을 강화
- 물리적 재해: 한 랙에 문제가 발생하더라도 다른 랙의 서비스에는 영향을 주지 않아 물리적 재해 발생 시 피해 확산 방지
ToR 디자인의 단점
- 스위치 개수 증가: 각 랙마다 액세스 스위치가 필요하기 때문에, 전체 데이터센터에 필요한 스위치 수 증가
- 초기 자본 지출: 스위치 개수가 늘어나는 만큼, 스위치 구매에 필요한 초기 투자 비용 증가
액세스 레이어 스위칭: EoR(End-of-Row) 및 MoR(Middle-of-Row) 디자인
액세스 레이어 스위치를 배치하는 또 다른 옵션은 EoR(End-of-Row) 또는 MoR(Middle-of-Row) 스위치를 사용하는 겁니다.
이 디자인에서는 스위칭 장비가 담긴 랙을 캐비닛 또는 랙 열의 양쪽 끝이나 중간에 배치하는 것이죠.
각 서버 랙에서 스위칭 장비 랙까지는 여러 개의 케이블 묶음으로 연결됩니다.
일반적으로 서버는 각 서버 랙 내부의 패치 패널에 연결돼요.
그리고 구리 또는 광섬유 케이블 묶음은 액세스 스위치가 있는 랙의 다른 패치 패널까지 직접 연결되죠.
그런 다음 스위치를 패치 케이블을 통해 이 패치 패널에 연결합니다.
보통 EoR/MoR 스위치는 코어 네트워크에 광섬유 패치 케이블로 연결됩니다.
EoR이라고 해서 반드시 네트워크 랙을 열의 끝에 두어야 하는 건 아닙니다.
캐비닛/랙 열의 중간에 네트워크 스위치 랙을 함께 배치하는 디자인도 있습니다.
스위치 랙을 열 중간에 두면 가장 먼 서버 랙을 가장 가까운 네트워크 랙에 연결하는 데 필요한 케이블 길이를 줄일 수 있게 됩니다.
ToR 모델이 각 랙을 독립적인 모듈로 취급하는 것과 달리, EoR/MoR 배치 모델에서는 각 열을 독립적인 모듈로 간주합니다.
EoR/MoR 디자인의 장점
- 스위치 개수: ToR에 비해 필요한 스위치 수가 적음
- 네트워크 사전 계획: 케이블링 및 스위치 배치를 미리 계획하기 용이
- 초기 자본 지출: ToR보다 스위치 구매 비용 감소
- 더 적은 랙-투-랙 홉: 스위치 간 홉(hop) 수가 줄어들어 네트워크 지연 시간이 개선
EoR/MoR 디자인의 단점
- 문제 격리: 특정 서버 랙에서 문제가 발생하면 해당 열 전체에 영향을 미칠 가능성이 더 높음
- 트래픽 격리: 랙 간 트래픽이 집중되어 혼잡이 발생할 위험이 ToR에 비해 높음
- 케이블링: 각 서버 랙에서 스위치 랙까지 긴 케이블 묶음이 필요하여, 케이블 관리 및 라벨링이 더 복잡함
데이터센터 고가용성 및 내결함성
고가용성(High Availability)과 내결함성(Fault Tolerance)은 모든 데이터센터 프로젝트에서 가장 먼저, 그리고 가장 중요하게 고려해야 할 부분입니다. 현대 데이터센터는 보통 최소 99.999%의 가동 시간을 기대하는데, 이는 1년에 최대 5분 13초만 다운될 수 있다는 의미입니다. 거의 멈추지 않고 계속 작동해야 한다는 뜻이죠.
이러한 고가용성을 확보하는 데는 크게 세 가지 접근 방식이 있습니다.
1. 물리적 이중화 (Physical Redundancy)
가장 기본적으로 고려해야 할 부분은 바로 장치 자체를 이중화하는 것입니다.
스위치, 서버, 스토리지, 전원 케이블, PDU, 전원 회로 등 모든 핵심 장비를 두 개 이상으로 준비하는 것을 말합니다.
하지만 이중화를 위해 장비를 추가하면, 그만큼 더 많은 랙 공간, 전력, 냉각 시스템이 필요합니다.
결국 프로젝트 비용과 복잡성에 영향을 미친다는 점을 기억해야 합니다.
2. 링크 이중화 (Link Redundancy)
다음으로 계획해야 할 것은 데이터센터 장치들을 어떻게 이중화된 방식으로 연결할 것인가입니다.
단순히 케이블을 더 추가하는 것 이상의 의미를 가집니다.
예를 들어, 서버에서 동일한 스위치로 두 개의 케이블을 연결하더라도, 그 스위치 자체가 고장 나면 연결은 끊길 것입니다.
따라서 최선의 방법은 이중화된 연결이 서로 다른 스위치로 가거나, 모듈형 스위치의 경우 서로 다른 모듈로 연결되도록 하는 것입니다.
링크 이중화를 계획할 때는 추가 케이블, 커넥터, 트랜시버, 그리고 케이블 관리를 위한 비용이 추가된다는 점을 고려해야 합니다.
3. 설정 이중화 (Redundant Configuration)
설정 이중화는 물리적 장비의 이중화뿐만 아니라, 네트워크 장비의 설정 자체를 이중화하여 관리함으로써 시스템 장애 시에도 빠른 복구와 일관된 서비스 제공을 가능하게 하는 측면을 의미합니다. 예를 들어, 액티브-스탠바이 또는 액티브-액티브 방식으로 장비 설정을 동기화하여 한 장비에 문제가 생겼을 때 다른 장비가 즉시 그 역할을 대신할 수 있도록 하는 것입니다.
이번 포스팅에서는 데이터센터 네트워크를 구축하기 전에 미리 고려해야 할 점들을 알아보았습니다.
전체적인 아키텍처를 설계하기 전에 사전에 고민하고 알아둘 점들을 숙지해야 불필요한 프로세스를 만들지 않습니다.
다음에는 데이터센터 네트워크 아키텍처에 대해 알아보겠습니다.
