지난 포스팅에서는 데이터센터 네트워크의 여러 디자인에 대해 살펴보았습니다.
각 디자인이 갖는 특징과 함께 장단점, 그리고 아키텍처의 변화를 설명했는데요.
이번에는 데이터센터간 연결인 DCI(Data Center Interconnect)와 관리망 네트워크인 OOBM을 살펴보겠습니다.
데이터센터 인터커넥트(DCI): 여러 데이터센터를 연결하는 기술
여러분, 고객이 여러 개의 데이터센터를 운영하는 경우가 많습니다.
이 데이터센터들은 한 지역에 밀집되어 있을 수도 있고, 서로 다른 여러 위치에 분산되어 있을 수도 있습니다.
이렇게 여러 데이터센터를 연결하여 하나의 큰 네트워크처럼 작동하게 해주는 기술이 바로 DCI라고 합니다.
데이터센터 설계는 이러한 상호 연결을 위해 다양한 기술을 활용할 수 있습니다.
주요 DCI 기술 세 가지
주요 DCI 기술은 다음과 같습니다.
- Ethernet Ring Protection Switching (ERPS)
- VXLAN/EVPN
- VSX (Virtual Switching eXtension) + 링크 어그리게이션
아래 그림은 두 개의 액티브 데이터센터를 보여줍니다.
온프레미스(On-Prem) 캠퍼스 및 지점 사무실은 모두 이 두 액티브 데이터센터에 연결되어 있으며, 이 데이터센터들은 레이어 3 프로토콜을 통해 연결됩니다.
레이어 3 (IP 네트워크) 연결은 인터넷 또는 사설 네트워크를 사용하여 서로 다른 데이터센터를 연결하거나 캠퍼스 및 지점 사무실에서 데이터센터 서비스로의 연결을 제공합니다. 이러한 통신에 대한 보안을 제공하기 위해 종종 VPN이 사용됩니다.
DCI 기술의 목표는 레이어 2 프로토콜을 활용하여 데이터센터를 연결하고, 낮은 지연 시간과 높은 대역폭 연결을 제공하는 것입니다.
즉, 데이터센터 간에 정보를 주고받을 때 늦거나 끊기지 않도록 고속 연결을 만들고, VM 이동을 위해 L2 통신을 권장합니다.
DWDM1은 여러 광 캐리어 신호를 서로 다른 파장(색상)의 레이저 빛을 사용하여 단일 광섬유에 다중화하는 기술입니다.
이 기술은 단일 광섬유를 통한 양방향 통신(파장 분할 이중화라고도 함)과 용량 증배를 가능하게 합니다.
AOS-CX 스위치는 현재 DWDM을 직접 지원하지 않습니다.
이 기술은 종종 인터넷 서비스 제공업체(ISP)에서 제공합니다.
ERPS와 VRRP를 활용한 DCI
AOS-CX 스위치는 ERPS, VSX, VRRP 등의 기능을 지원합니다.
이 토폴로지에서 볼 수 있듯이, VRRP2 게이트웨이를 ERPS 링에 걸쳐 조합하여 DCI를 구현할 수 있습니다.
LACP, L2 ERPS, 그리고 L3 VRRP의 조합은 여러 데이터센터에 걸쳐 L2 및 L3 루프 없는(loop-free) 네트워크 연결을 제공합니다.
ERPS 링 구조는 데이터센터들이 비교적 가까운 거리(같은 캠퍼스나 도시 안)에 있어 링(원형) 모양으로 연결할 수 있을 때 유리해요.
각 데이터센터 내에서 VSX3와 ERPS를 결합하면, 링크 또는 스위치 장애 발생 시 네트워크 고가용성과 1초 미만의 빠른 수렴 시간(바로 다른 경로로 변경하여 끊기지 않게 함)을 달성하기 위한 이중 제어 플레인 LAG4를 제공합니다.
예를 들어, 이 솔루션은 다크 파이버5 연결을 통해 타사 스위치를 지원하는 Brownfield(기존 인프라) DC1, VSX/ERPS/VRRP 스위치가 결합된 소규모 DC2, 그리고 CX 8400 코어가 필요한 대규모 DC3과 같은 데이터센터에 적합합니다.
CX 8320 및 CX 8325 시리즈 스위치는 AOS-CX 10.03 버전부터 ERPS/VSX DCI를 지원하며, ERPS 링(10개 스위치)에서 최대 5개의 데이터센터(5 x VSX/ERPS 스위치)를 지원합니다.
VXLAN과 EVPN을 활용한 DCI
VXLAN/EVPN은 더 먼 거리 연결에 유용합니다.
중간에 인터넷과 같은 L3 네트워크가 있어도 잘 연결할 수 있습니다.
VXLAN 및 EVPN과 같은 기술도 DCI를 위한 옵션이며, WAN 링크와 같은 L3 세그먼트를 넘어설 수 있다는 장점이 있습니다.
덕분에 멀리 떨어져 있는 환경에서도 L2처럼 VM을 자유롭게 옮길 수 있고, 확장성도 좋습니다.
현재 이 글을 작성하는 시점에는 VXLAN/EVPN을 사용하여 최대 세 개의 데이터센터 DCI가 지원됩니다.
이러한 배포를 위해 HPE는 액티브 게이트웨이(Anycast)를 사용하여 데이터센터 간에 분산 게이트웨이를 사용할 것을 권장하며, 데이터센터 간에는 iBGP를 사용해야 합니다. 최적의 방법으로는 고가용성을 제공하기 위해 VSX 쌍을 사용하고, 불필요한 데이터가 WAN 링크를 통과하는 것을 방지하기 위해 ARP/ND 억제(suppression)를 사용하는 것이 좋습니다. WAN 링크는 지연 시간을 추가하고 대역폭 및 MTU가 낮을 수 있다는 점을 유의해야 합니다.
HPE Aruba Networking VSX 및 LAG를 활용한 DCI
여러 VSX 시스템을 배포하고 링크 어그리게이션으로 연결할 수 있습니다.
주로 두 개의 데이터센터를 연결할 때 아주 유용하고, 간단하게 고가용성 네트워크를 만들고 싶을 때 좋습니다.
각 데이터센터는 하나의 VSX 시스템으로 구성되며, 이러한 시스템을 전통적인 링크 어그리게이션을 사용하여 상호 연결할 수 있습니다.
데이터센터를 연결하는 추가 링크는 두 개 이상이어야 합니다.
각 사이트가 독립적인 VSX 쌍을 운영하므로, 설정과 관리가 매우 쉽고 스위치나 케이블이 고장 나도 안정적으로 대처할 수 있습니다.
기존의 다양한 연결 방식(1Gbps, 10Gbps, 전용 광섬유, DWDM 등)을 활용해서 연결할 수 있습니다.
모든 링크를 링크 어그리게이션을 사용하여 번들링하여 데이터센터 간에 여러 개의 액티브/액티브 경로를 만듭니다.
LACP(Link Aggregation Control Protocol)를 사용하여 집계된 연결을 협상하고 제어합니다.
VSX와 링크 어그리게이션을 사용하는 배포는 유지보수 및 운영이 매우 쉽고, 스위치 및 링크 장애를 안정적이고 쉽게 관리할 수 있습니다.
네트워크에 두 개 이상의 데이터센터가 필요한 경우, 루프를 방지하고 사이트 간 토폴로지 계산을 수행하기 위해 특정 L2 토폴로지 프로토콜을 사용해야 합니다.
OOBM 네트워크: 비상시를 위한 데이터센터의 관리망
데이터센터에는 여러 가지 네트워크가 있다고 말씀드렸습니다.
스토리지 네트워크, 데이터 네트워크(인-밴드), 그리고 바로 이 OOBM(Out-of-band Management) 네트워크입니다.
이제 이 OOBM 네트워크에 대해 자세히 알아보겠습니다.
OOBM 네트워크란?
OOBM 네트워크는 대부분의 데이터센터에 일반적으로 구축되는 중요한 부분입니다.
이 네트워크는 별도로 구성한 매우 간단한 네트워크로, 서버나 스위치와 같은 장비에 “대역 외(out-of-band)” 연결을 제공합니다.
이는 주 통신망인 인-밴드(in-band) 네트워크에 문제가 생기더라도 관리자가 장비에 접속하여 문제를 해결할 수 있도록 해줍니다.
OOBM 스위치의 특징
OOBM 네트워크의 스위치들은 보통 데이터 네트워크 스위치처럼 엄청난 성능을 요구하지 않습니다.
주로 단순한 연결성만 제공하면 되기 때문이죠.
일반적으로 1Gbps RJ-45 포트를 가진 스위치들이 많이 사용됩니다.
하지만 HPE Synergy와 같은 일부 고급 서버/시스템은 10Gbps 연결을 요구할 수도 있으니 유의해야 합니다.
OOBM 네트워크의 장점
- 별도의 네트워크: 인-밴드 네트워크와 병렬로 별도의 OOBM 네트워크가 구축됩니다.
- 원격/관리 접근 제공: 인-밴드 네트워크에 문제가 발생했을 때도 원격에서 장비에 접속하여 관리할 수 있는 비상 통로 역할을 합니다.
- 상대적으로 낮은 중요도: OOBM 네트워크에 문제가 생겨도 애플리케이션 자체는 인-밴드 네트워크에서 계속 작동하므로, 인-밴드 네트워크에 비해 상대적으로 중요도가 낮습니다.
OOBM 네트워크 아키텍처
아래 그림은 스타(Star) 토폴로지의 OOBM 네트워크 예시를 보여줍니다.
여러 개의 POD(데이터센터 내 모듈)를 사용하는 경우, 이러한 OOBM 네트워크는 L2 영역이 L3 코어 OOB 스위치까지 확장되는 스타 토폴로지처럼 커질 수 있습니다. (원한다면 고가용성(HA)을 위해 VSX나 VSF를 추가할 수도 있습니다.)
이런 상황에서는 HPE Aruba Networking의 Multi-Edit Software를 배포하여 AOS-CX 스위치들을 편리하게 관리할 수 있습니다.
OOBM 네트워크를 위한 최적의 방법 (Best Practices)
- 스타 토폴로지 권장: 중앙 스위치를 중심으로 모든 장비가 연결되는 형태
- 방화벽 추가: 추가적인 네트워크 보안을 제공하기 위함
- POD 내 L2 EoR OOBM 스위치 배치 가능
- 중앙 집중식 L3 OOBM: L3 OOBM 기본 게이트웨이가 서비스 리프(leaf) 또는 액세스 스위치에 연결
- Multi-Edit Software의 이상적인 위치: OOBM 네트워크는 AOS-CX 스위치를 관리하는 Multi-Edit Software를 배치하기에 이상적인 위치를 제공
OOBM 네트워크는 데이터센터 운영의 안정성과 복원력을 크게 향상시키는, 작지만 매우 중요한 부분입니다.
주 네트워크에 문제가 발생했을 때도 관리자가 손을 쓸 수 있는 유일한 통로가 되어 주기 때문이죠.
이번에는 좀 간단하게 여러 개의 데이터센터를 연결할 수 있는 DCI, 그리고 관리 목적으로 별도 구성하는 OOBM을 알아봤습니다.
내용은 그렇게 어렵지 않습니다만, 결국 이전 교육 내용에서 이어지기 때문에 지난 교육 내용을 완전히 이해해야 할 것입니다.
데이터센터 네트워크의 아키텍처, 구조, 기술은 앞으로도 계속 나올 예정이니 앞선 교육 내용을 모두 숙지한 후 다음으로 넘어가주세요.
