레이어 2 투-티어 디자인은 기존의 전통적인 프로토콜을 사용하기 때문에 배포, 운영, 문제 해결이 간단합니다.
오버레이 프로토콜이나 복잡한 설계에 대한 전문 지식이 없어도 다룰 수 있습니다.
이 아키텍처는 중소규모 데이터센터에 적합하지만, 더 큰 환경에서는 데이터센터 POD 단위로 구현될 수도 있습니다.
2-티어 데이터센터에서 호스트 정보는 전통적인 브리지 학습1(bridge learning) 및 ARP2 방식으로 관리됩니다.
오늘은 L2 투-티어 디자인에 대해 자세히 알아보겠습니다.
L2 투-티어 디자인이 무엇인지, 구현 방법, 코어 디자인 및 액세스 스위치 디자인의 특징, 그리고 이 아키텍처에 필요한 VLAN 및 라우팅 요구사항을 이해하여 어떻게 VLAN과 라우팅을 계획할지 전반적으로 살펴볼 겁니다.
Layer 2 투-티어(2-tier) 데이터센터 디자인
레이어 2 투-티어 데이터센터 네트워크는 데이터센터 코어 레이어에서 어그리게이션 및 L3 서비스를 구현하고, L2 액세스 레이어에서 엔드포인트 연결을 제공합니다. 모든 액세스 스위치는 로드 쉐어링 및 내결함성을 위해 MC-LAG(Multi-Chassis Link Aggregation Group)를 사용하여 두 개의 코어 스위치에 L2로 연결됩니다.
L2 투-티어 디자인의 물리적 레이아웃은 두 개의 스파인을 가진 스파인-리프 아키텍처와 일치합니다.
이는 향후 L2 투-티어 네트워킹 장비에 대한 투자를 보호하면서 L3 스파인-리프 언더레이를 사용하는 EVPN-VXLAN 오버레이로 마이그레이션할 수 있는 경로를 제공합니다.
코어 레이어는 데이터센터 호스트를 위한 모든 L3 기능을 제공하며, 외부 네트워크 및 서비스와의 연결 지점이 됩니다.
따라서 VRRP(Virtual Router Redundancy Protocol)와 같은 이중 게이트웨이 프로토콜이 필요합니다.
코어 레이어는 고밀도, 고대역폭 포트를 가진 VSX(Virtual Switching eXtension) 스위치 쌍으로 배포됩니다.
이를 위해서는 두 코어 스위치가 동일한 스위치 모델이어야 하고 동일한 펌웨어 버전을 실행해야 합니다.
코어 스위치의 포트 용량은 레이어 2 투-티어 아키텍처에서 지원되는 최대 랙 수를 정의합니다.
이중화 ToR 디자인의 경우, 최대 랙 수는 코어 스위치 모델의 총 포트 수에서 VSX 및 캠퍼스 링크 수를 뺀 값의 절반입니다.
예를 들어, 32포트 스위치가 두 개의 VSX 링크와 두 개의 캠퍼스 업링크를 사용한다면..
14개의 이중화 ToR 랙을 지원할 수 있습니다: (32-4)/2 = 14.
비이중화 단일 스위치 ToR 디자인에서는 지원되는 랙 수가 코어 스위치 모델의 포트 수에서 VSX 및 캠퍼스 링크 수를 뺀 것과 같습니다.
코어 스위치 모델은 또한 데이터센터 백본의 최대 용량을 정의합니다.
라우팅된 L3 스파인-리프 아키텍처가 L2 투-티어 아키텍처보다 가지는 한 가지 장점은 스파인 스위치를 추가함으로써 데이터센터의 동-서(East-West) 백본 용량을 점진적으로 확장할 수 있다는 점입니다.
예를 들어, 두 개의 스파인을 가진 패브릭에 스파인 하나를 추가하면 용량이 50% 증가하고, 두 개의 스파인을 추가하면 용량이 두 배가 됩니다. 반면 L2 투-티어 디자인에서는 랙 간 통신을 지원하기 위해 코어에 단일 VSX 스위치 쌍만 존재합니다.
따라서 L2 투-티어 데이터센터의 용량 계획은 매우 중요합니다.
왜냐하면 대규모 용량 업그레이드는 일반적으로 하드웨어 교체를 요구하기 때문입니다.
때로는 일부 랙이 고대역폭 중앙 집중식 서비스를 제공하기 위해 코어 스위치에 더 높은 용량의 링크를 필요로 할 수 있습니다.
코어 스위치와 액세스 스위치 간의 업링크 용량이 일치하지 않으면 호스트 이동성에 영향을 미친다는 점을 유의해야 합니다.
왜냐하면 증가된 대역폭을 요구하는 VM은 특정 스위치에만 연결되어야 할 수 있기 때문입니다.
코어 디자인 – 확장: L2 투-티어 아키텍처의 확장 방법
L2 투-티어 환경을 확장해야 할 때, 한 가지 확장 방법은 별도의 L2 투-티어 세그먼트를 연결하는 세 번째 계층을 추가하는 것입니다.
이 방법은 여러 데이터센터 POD(모듈)를 하나의 단일 데이터센터 네트워크 토폴로지로 묶는 데 사용될 수 있습니다.
적절한 경우, 세 번째 계층은 MC-LAG3를 사용하여 L2로 연결될 수 있으며, SVI4를 세 번째 계층으로 이동시킬 때 VLAN을 POD 간에 사용할 수 있습니다. VLAN을 각 POD로 격리시킬 수 있다면, 개별 L2 투-티어 세그먼트 간에 로드 밸런싱 및 내결함성을 위해 라우팅된 링크를 사용할 수 있습니다.
요약하자면:
기존의 2계층 구조를 넘어 더 큰 규모의 확장이 필요할 때, L2 투-티어 디자인은 새로운 ‘세 번째 계층’을 도입하여 여러 개의 작은 L2 투-티어 데이터센터 POD들을 서로 연결할 수 있습니다.
이 연결은 L2(MC-LAG) 또는 L3(라우팅) 방식으로 이루어질 수 있으며, L3 연결은 트래픽 분산과 안정성을 높이는 데 유용합니다.
특히 VLAN을 각 POD 내로 제한하고 L3 연결을 활용하면, 네트워크 복잡성을 관리하면서도 효율적인 확장이 가능해집니다.
액세스 레이어 디자인: L2 투-티어 아키텍처의 핵심
L2 투-티어 아키텍처에서, 각 ToR 액세스 스위치는 MC-LAG를 사용하여 두 코어 스위치 모두에 연결됩니다.
이는 링크 로드 밸런싱(트래픽 분산)과 내결함성을 제공하기 위함입니다.
다운스트림 호스트(서버 등)에 대한 내결함성을 추가하기 위해 VSX5를 사용하는 이중화된 ToR 쌍이 권장됩니다.
액세스 스위치와 코어 스위치 간의 L2 연결은 MC-LAG와 LACP6 구현을 통해 루프-프리(loop-free) 상태를 유지합니다.
하지만 데이터센터 관리자가 랙 내에서 실수로 루프를 생성하는 것을 방지하기 위한 백업 루프 방지 전략으로 STP가 구성됩니다.
코어 VSX 쌍은 STP 루트로 선택되도록 높은 STP 우선순위로 구성됩니다.
MC-LAG는 MST7 인스턴스를 구현하는 것보다 코어와 액세스 스위치 간에 더 나은 링크 활용률을 제공합니다.
이는 모든 이중화 링크가 트래픽 전송을 위해 활성 상태를 유지하기 때문입니다.
트래픽은 세부적인 플로우(flow) 기반으로 적용되는 해시 기반 알고리즘에 의해 선택된 개별 LAG 멤버 링크를 통해 전달됩니다.
반면, MST 인스턴스도 액세스 스위치와 코어 스위치 간에 여러 링크를 사용하여 내결함성을 제공하고 트래픽을 분산할 수 있지만, 로드 밸런싱 전략이 정적 구성을 요구하며, VLAN별로 단일 이중화 링크로만 트래픽 활성 포워딩을 제한합니다.
즉, MC-LAG는 모든 링크를 동시에 활용하여 트래픽을 분산하지만, MST는 특정 VLAN의 트래픽을 하나의 경로로만 보내고 다른 경로는 백업으로 두는 방식입니다.
성능 면에서, 액세스 레이어 계획에서 인터페이스 수, 미디어 유형 및 속도(서버 인터페이스와 일치하는)는 매우 중요한 측면입니다.
업링크 계획은 고객이 요구하는 오버서브스크립션(oversubscription) 비율을 고려해야 합니다.
요약하자면,
액세스 레이어 디자인은 L2 투-티어 아키텍처에서 서버와 코어 네트워크를 연결하는 중요한 부분입니다. MC-LAG와 VSX를 활용하여 링크 이중화, 로드 밸런싱, 스위치 이중화를 달성하고, STP는 비상시의 루프 방지 장치로 사용됩니다. 성능 측면에서는 서버 연결 속도와 업링크 대역폭을 고객의 요구사항에 맞춰 신중하게 계획해야 합니다.
투-티어 아키텍처의 VLAN 및 라우팅 계획
투-티어 아키텍처에서 VLAN과 라우팅을 계획하는 것은 효과적인 데이터센터 네트워크를 구축하는 데 중요합니다.
1. 비가상화 “베어 메탈” 서버:
- 캠퍼스 네트워크에서 엣지 포트(최종 장비가 연결되는 포트)는 거의 항상 액세스 모드로 작동하며 태그가 없는(untagged) 트래픽을 보냅니다.
반면, 액세스 레이어의 업링크(상위 스위치로 가는 링크)는 트렁크 모드로 작동하며 VLAN 태그를 사용하여 여러 VLAN을 어그리게이션 또는 코어 레이어로 전송합니다.
- 스위치가 비가상화(“베어 메탈”) 서버에 연결될 때도 유사한 디자인을 사용합니다.
각 스위치 포트에 대한 올바른 액세스 VLAN 할당을 결정하기 위해 서버 관리자와 협력해야 합니다.
2. VMware 호스트 (가상화 서버):
- 하지만 액세스 레이어 스위치가 가상화 서버(VMware 또는 Hyper-V 호스트)에 연결될 때는 디자인이 달라집니다.
이때 엣지 포트는 일반적으로 트렁크 포트여야 합니다.
- 위 그림은 vDS(Virtual Distributed Switch)를 사용하는 VMware 호스트 디자인을 보여줍니다.
앞서 설명했듯이, VM은 포트 그룹(port group) 내 vDS에 연결됩니다. 각 포트 그룹은 특정 VLAN과 연결됩니다. - 예를 들어, 관리자는 포트 그룹 A에 VLAN 4를 할당하고 포트 그룹 B에 VLAN 8을 할당하여 이 VM들이 서로 다른 VLAN과 서브넷으로 나눴다는 것을 확인할 수 있습니다.
- vDS는 VM으로부터 태그가 없는 트래픽을 수신합니다.
같은 포트 그룹 내의 VM 간 트래픽은 물리적 링크를 거치지 않고 직접 전달됩니다. - 아니면, vDS는 물리적 링크 중 하나를 통해 트래픽을 보내면서 해당 포트 그룹의 VLAN 태그를 추가합니다.
이런 방식으로 vDS는 물리적 스위치에게 포트 그룹 A 트래픽과 포트 그룹 B 트래픽을 분리하도록 지시합니다. - VMkernel 어댑터 또한 VLAN 할당을 가집니다.
- 네트워크 담당자는 가상화 관리자와 VLAN 설계를 조율해야 합니다.
각 vDS에서 사용되는 VLAN 목록을 확보해서 해당 vDS에 연결된 엣지 포트는 사용하는 VLAN들을 허용해야 합니다.
※ 특수한 경우:
VLAN 0 (External Switch Tagging – EST):
- VMkernel 또는 포트 그룹이 VLAN 0에 할당될 때 (때로는 EST라고 불림), 가상 스위치는 해당 트래픽에 대해 태그 없는 트래픽을 보냅니다.
- 해당 트래픽에 대한 올바른 VLAN을 결정해야 합니다.
그런 다음, 그 VLAN을 트렁크 포트의 네이티브(native) VLAN으로 할당해야 합니다. - 한 가상 스위치에서 VLAN 0에 할당된 VMkernel 또는 VM은 다른 가상 스위치에서 VLAN 0에 할당된 VMkernel 또는 VM과 다른 서브넷에 있을 수 있습니다. 따라서 서브넷에 따라 올바른 VLAN을 신중하게 선택해야 합니다.
VLAN 4095 (Virtual Guest Tagging – VGT):
- 이 설정은 자주 사용되지는 않지만 접할 수 있습니다.
- 포트 그룹이 VGT를 사용할 때, 가상 스위치는 해당 포트 그룹의 VM에서 오는 모든 VLAN 태그가 있는 트래픽을 허용합니다.
- 가상 스위치는 VLAN 태그를 그대로 유지한 채 물리적 스위치로 트래픽을 전달합니다.
- 어떤 VLAN 태그를 사용하는지 게스트 OS 관리자와 조율해야 합니다.
가상화 환경을 위한 엄격한 허용 VLAN 설계 (Strict Permitted VLAN Design)
아래 그림은 VMware vDS와 연결된 스위치 포트 간에 허용된 VLAN을 정확히 일치시키는 설계를 보여줍니다.
- 예를 들어, 한 VMware ESXi 호스트 클러스터가 VLAN 2-4를 사용하는 vDS를 가지고 있고, 이 호스트들이 왼쪽의 VSX 쌍에 LAG 1-12로 연결되어 있다면, 스위치의 LAG 1-12에는 VLAN 2-4만 허용합니다.
- 다른 VMware 클러스터가 VLAN 2, 3, 6를 지원하는 vDS를 사용한다면, 해당 호스트에 연결되는 LAG는 VLAN 4, 5가 아닌 VLAN 2, 3, 6만 지원합니다.
이러한 설계 방식에서는 필요에 따라 코어를 통해 VLAN을 확장할 수 있지만, 불필요한 VLAN을 확장할 필요는 없습니다.
이러한 디자인은 스위치 관리자에게 더 많은 제어권을 제공합니다.
관리자는 VLAN이 어디까지 확장되는지 정확히 알 수 있으며, 사용자가 새로운 VLAN 확장을 원할 경우 승인을 요청해야 합니다.
각 액세스 레이어 스위치는 활발하게 트래픽을 처리하는 VLAN에 대한 MAC 주소만 학습하면 됩니다.
고객이 MAC 테이블 크기가 작은 액세스 레이어 스위치를 가지고 있다면, 이러한 엄격한 제어가 불필요한 주소로 MAC 테이블이 넘치는 것을 방지하여 데이터센터 확장에 도움이 될 수 있습니다.
가상화 환경을 위한 느슨한 허용 VLAN 설계 (Loose Permitted VLAN Design)
때때로 고객은 가상화 관리자가 물리적 네트워크 관리자와의 조율 없이도 변경 작업을 더 쉽게 수행하기를 원할 수 있습니다.
이런 경우, 엣지 포트와 업링크를 모든 VLAN을 허용하는 트렁크로 구성할 수 있습니다.
그러면 가상화 관리자는 연결된 스위치 포트가 올바른 VLAN을 지원하는지 걱정할 필요 없이 호스트에서 포트 그룹 및 가상 스위치 설정을 자유롭게 추가하거나 변경할 수 있습니다.
다만, 스위치는 해당 VLAN이 스위치에 실제로 존재해야만 VLAN을 허용한다는 점을 유의해야 합니다.
가상화 관리자는 각 랙에서 지원하려는 VLAN ID 블록을 제공하여 스위치에 해당 VLAN을 생성할 수 있도록 해야 합니다.
이러한 약간 더 느슨한 접근 방식은 고객에게 더 많은 유연성을 제공합니다.
반면에, 엄격하게 필요한 것보다 더 많은 VLAN을 스위치가 지원하게 될 수도 있습니다.
스위치는 자신에게 구성된 모든 VLAN에서 MAC 주소를 학습합니다.
제안된 스위치의 MAC 주소 테이블 크기를 검증할 때 이 사실을 염두에 두어야 합니다.
비교적 작은 데이터센터에서는 어떤 CX 데이터센터 스위치도 쉽게 요구 사항을 충족할 수 있습니다.
하지만 더 큰 네트워크에서는 VLAN을 더욱 세분화하거나, 오버레이 네트워킹을 사용하는 것이 더 신중한 접근 방식입니다.
VLAN 확장에 대해 고객과 어떤 접근 방식을 선택하든, 가상화 관리자와 네트워크 관리자는 일부 설정을 계속 조율해야 합니다.
가상화 관리자가 새로운 VLAN/서브넷을 추가하려면, 네트워크 관리자는 데이터센터 전체 스위치에 L2 VLAN을 추가해야 합니다.
또한 코어에서 L3 VLAN 인터페이스를 추가하고, DHCP 릴레이 설정과 라우팅 프로토콜에서 새로운 서브넷을 광고해야 합니다.
루프 없는 디자인 보장 고려 사항
1. 첫 번째 방어선:
이 2-티어 네트워크는 액세스 레이어에 걸쳐 VLAN을 확장하고 코어에서 트래픽을 라우팅합니다.
따라서 L2 루프를 피하는 데 매우 신중해야 합니다.
VSX를 통해 가능한 VSX LAG 기반 디자인은 첫 번째 보호 계층을 제공합니다.
위 그림에서 보듯이, VSX LAG는 논리적 수준에서 네트워크에 루프가 없음을 의미합니다.
2. 두 번째 방어선:
잘못된 구성에 대비하여 두 번째 방어 계층도 추가해야 합니다.
예를 들어, 관리자가 실수로 일부 랙의 VSX 쌍과 두 코어 스위치 사이에 두 개의 개별 VSX LAG를 생성할 수도 있습니다.
실수로 인한 루프로 인해 네트워크를 다운시켜서는 안 되기 때문입니다.
이 두 번째 방어선을 위해 오픈 표준 MSTP를 사용합니다.
코어 스위치를 가장 좋은 루트 우선순위(0)로 수동으로 구성합니다.
MAC 주소가 가장 낮은 코어 스위치가 루트가 됩니다.
액세스 레이어 스위치가 아닌 코어 스위치가 루트가 되는 한, 어떤 코어 스위치가 루트가 되든 상관없습니다.
Root Guard를 코어 스위치 인터페이스에 활성화하여 불량하거나 잘못 구성된 스위치가 루트가 되는 것을 방지합니다.
MSTP는 새로운 포트가 활성화되는 데 몇 초의 지연을 유발할 수 있다는 점을 고객에게 알려야 합니다.
이러한 지연을 피하고 싶다면, 구현자에게 모든 엣지 포트를 스패닝 트리 엣지 포트로 구성해야 합니다.
아니면, CX 스위치의 독점적인 루프 감지(loop detection) 기능을 엣지 포트에 적용할 수도 있습니다.
하지만 스위치 간 포트에는 이 기능을 사용하지 마십시오.
정상적인 작동 중에는 이러한 보조 프로토콜이 어떤 포트도 차단해서는 안 됩니다.
하지만 오류로 인해 루프가 생성되면, 이들이 루프를 차단하고 네트워크를 보호합니다.
투-티어 네트워크의 라우팅 설계: 데이터센터 내부 및 외부 연결 전략
투-티어 네트워크에서 라우팅 설계는 데이터센터 내부 트래픽 처리와 외부 네트워크와의 연결에 핵심적인 역할을 합니다.
데이터센터 내부 라우팅 설계
소규모 투-티어 데이터센터는 간단한 라우팅 설계를 가집니다.
코어 VSX 쌍의 역할:
코어 VSX 쌍은 모든 서버 VLAN에 대한 기본 라우터(Default Router) 역할을 수행하며, DHCP 릴레이와 같은 기능을 처리합니다.
이때, 기본 라우터 IP 주소의 이중화를 제공하기 위해 VSX의 액티브 게이트웨이 기능을 사용하는 것이 중요합니다.
액티브 게이트웨이를 사용하면 VRRP(Virtual Router Redundancy Protocol)를 따로 구성할 필요가 없습니다.
데이터센터 내부 트래픽 라우팅:
코어 VSX 쌍은 직접 연결된 경로(connected routes)를 사용하여 데이터센터 내의 모든 트래픽을 라우팅할 수 있습니다.
VSX ISL에 전용 라우팅 링크 추가:
VSX ISL(Inter-Switch Link)에 별도의 VLAN을 추가하여 전용 라우팅 링크를 설정해야 합니다.
이 VLAN은 ISL에서만 사용되어야 합니다. 각 스위치에 동일한 서브넷 내에서 /31 IP 주소를 할당합니다.
이 링크를 통해 라우팅 프로토콜을 설정하여, 장애 발생 시 스위치들이 서로 트래픽을 라우팅할 수 있도록 합니다.
데이터센터와 네트워크 다른 부분 간의 라우팅 설계
데이터센터 코어 스위치는 다음을 포함한 다른 장치에 도달하기 위해 L3(레이어 3) 연결을 사용합니다.
- 인터넷 라우터 또는 경계 방화벽 (Internet routers or perimeter firewalls)
- 광역 네트워크(WAN) 라우터 (Wide Area Network (WAN) routers)
- 캠퍼스 라우팅 스위치 (Campus routing switches)
일반적으로 이러한 연결에는 VSX LAG를 사용하지 않는 것이 좋습니다.
대신, 각 링크를 L3 인터페이스 또는 라우트 전용 포트(ROP: Route-Only Port)로 설정합니다.
개별 /31 서브넷을 사용하여 포인트-투-포인트(point-to-point) 링크를 설정합니다.
그런 다음, 고객 네트워크 아키텍트와 협력하여 올바른 라우팅 프로토콜을 결정해야 합니다.
아래 예시에서는 일반적인 선택인 OSPF에 중점을 두지만, CX 스위치는 RIP 및 BGP도 지원합니다.
OSPF 사용 시:
모든 SVI와 L3 물리적 인터페이스에서 OSPF를 활성화합니다. 그러면 스위치들은 캠퍼스 코어 스위치와 같은 다른 라우팅 장치와 인접 관계8를 설정하고, 서버 서브넷에 대한 경로를 해당 인접 장치에 광고(advertise)합니다.
ECMP 활용:
모든 포인트-투-포인트 링크에서 비용(cost)이 동일한지 확인합니다.
그러면 스위치들은 ECMP9를 사용하여 해당 모든 링크를 통해 캠퍼스와 데이터센터 간의 트래픽을 라우팅합니다.
보안 조치:
- 서버 서브넷을 위한 SVI는 패시브 인터페이스로 설정합니다.
코어 스위치는 해당 서브넷에서는 라우팅 정보를 전송해서는 안 됩니다. - 반면, VSX ISL의 라우팅된 트랜짓(transit) VLAN에서는 OSPF를 활성 상태로 둡니다.
두 VSX 멤버는 이 VLAN에서 인접 관계를 형성하고 경로를 교환해야 합니다.
즉, 요약하지면..
- 데이터센터 내부: 코어 VSX 쌍이 모든 서버 VLAN의 기본 라우터 역할을 하며, 액티브 게이트웨이와 VSX ISL의 전용 라우팅 링크를 통해 이중화와 내부 라우팅을 처리합니다.
- 데이터센터 외부: L3 연결과 OSPF(또는 RIP, BGP)를 사용하여 외부 네트워크와 통신합니다.
이때 VSX LAG 대신 개별 L3/ROP 링크와 ECMP를 활용하여 로드 밸런싱을 구현하고, 보안을 위해 서버 SVI는 패시브 인터페이스로 설정합니다.
오늘은 2-티어 데이터센터 네트워크 디자인(설계)에 대해서 알아보았습니다.
2-티어 디자인은 코어 스위치 2대(VSX 한 쌍)와 이들에 연결된 여러 대의 액세스 스위치(ToR)로 구성되어 있습니다.
이러한 단순한 디자인 덕분에 중소규모 데이터센터에 간단하게 배포하고 운영할 수 있다는 장점이 있지만, 확장성은 떨어집니다.
코어 스위치와 액세스 스위치의 역할 뿐만 아니라 VSX, MC-LAG 등을 통한 이중화 및 로드밸런싱 등의 기능을 잊지 마세요.
