Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика

Хаванкин Максим cистемный архитектор [email protected]

Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика

11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved.

Содержание

§  Введение §  Управление входящим трафиком при помощи DNS GSLB §  Location/ID Separation Protocol – LISP §  Интеграция распределенных сервисов §  Route Health Injection – RHI §  Заключение


Оптимизация передачи трафика

§  Перемещение нагрузки между ЦОД создает проблемы с оптимальной маршрутизацией

3

Проблема оптимальной маршрутизации

WAN

HSRP Active

HSRP Standby

HSRP Filter HSRP Active

HSRP Standby

East-West / Server-Server

Egress: South-North / Server-Client


Ingress: North-South / Client-Server


Оптимизация передачи трафика

§  Логический или физический ЦОД? §  Высокая доступность или защита от сбоев?

4

Какой способ выбрать?

WAN






Это ОДИН логический ЦОД ?

(Высокая доступность - High Availability)

Или ДВА физически и логически …

… разделенных ЦОД?




DNS Global Server Load Balancing (GSLB)

§  DNS запрос 1 §  Поток 1 через левый ЦОД

§  Синхронизация GSLB посредством MEC §  DNS запрос 2

§  Поток 2 через правый ЦОД

6

Нагрузка распределена между ЦОД

WAN

Это ОДИН логический ЦОД! Нагрузка распределена между

площадками.

Citrix Netscaler 1000V GSLB


DNS обмен

Передача данных

Citrix Metric Exchange Protocol

Менее загруженный сервер здесь

DNS Global Server Load Balancing (GSLB)

§  Нагрузка распределяется в режиме Active-Active между ЦОД §  Синхронизация кластера §  Распределенная БД/Синхронизация БД §  Растягивание/Локализация/Синхронизация СХД

§  SLB устройства отслеживают состояние приложения §  Контроль за DNS-кэш

§  Браузер §  Операционная система

11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. 7

Особенности решения



§  Введение §  Управление входящим трафиком при помощи DNS GSLB §  Location/ID Separation Protocol – LISP

§  Управление трафиком входящим в ЦОД-ы, не связанные по L2 §  Управление трафиком входящим в ЦОД-ы, связанные по L2

§  Интеграция распределенных сервисов §  Route Health Injection – RHI §  Заключение


IP core

IPv4 или IPv6 адрес устройства or IPv6 определяет и его

идентификатор (identity) и местоположение (location)

Традиционная IP сеть 10.1.0.1 Когда устройство перемещается,

оно получает новый IPv4 или IPv6 адрес, который определяет и его

идентификатор (identity) и местоположение (location)

20.2.0.9

IPv4 или IPv6 адреса устройств определяют только их идентификацию.

Когда устройство перемещается, его IPv4 или IPv6 адрес, определяющий его идентификатор не

изменяется.

Сеть с поддержкой LISP Loc/ID “Разделение” IP core

1.1.1.1 2.2.2.2

Только местоположение изменяется при переезде

10.1.0.1

10.1.0.1

Это его местоположение

Location Identity Separation Protocol

9

Что понимается под “Location” и “Identity”

Сайт без LISP

East-DC

LISP сайт

IP сеть

ETR

EID-‐to-‐RLOC mapping

5.1.1.1

5.3.3.3

1.1.1.1

5.2.2.2

10.3.0.0/24 10.2.0.0/24

West-DC

PITR 5.4.4.4

10.1.0.0/24


ITR S

D

DNS Entry: D.abc.com A 10.2.0.1

1

10.1.0.1 -‐> 10.2.0.1 2

EID-‐prefix: 10.2.0.0/24

Locator-‐set:

2.1.1.1, priority: 1, weight: 50 (D1)


Mapping Entry

3 Эта политика контролируется владельцем ЦОД, который устанавливает веса

10.1.0.1 -‐> 10.2.0.1 1.1.1.1 -‐> 2.1.1.1

4

10.1.0.1 -‐> 10.2.0.1 5

2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1

Передача пакетов в LISP

10

Как работает LISP?


East-DC

IP сеть

ETR

EID-‐to-‐RLOC mapping

5.1.1.1

5.3.3.3

5.2.2.2

10.3.0.0/24 10.2.0.0/24

West-DC

PITR 4.4.4.4


S

D

DNS Entry: D.abc.com A 10.2.0.1

1

192.3.0.1 -‐> 10.2.0.1 2

EID-‐Prefix: 10.2.0.0/24

Locator-‐Set:



Mapping Entry

3

192.3.0.1 -‐> 10.2.0.1 4.4.4.4-‐ > 2.1.2.1

4

192.3.0.1 -‐> 10.2.0.1 5

2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1

Передача пакетов в LISP

11

Что делать с не-LISP сайтами?

Роли LISP •  Tunnel Routers – xTRs

•  Пограничные устройства encap/decap

•  Ingress/Egress Tunnel Router (ITR/ETR)

•  Proxy Tunnel Routers - PxTR

•  Граница между LISP и не-LISP сайтами

•  Ingress/Egress: PITR, PETR

•  EID - RLOC Mapping DB

•  Отображение RLOC в EID

•  Распредленная база по Map Server (MS)

Адресные пространства •  EID = End-point Identifier

•  идентификатор конечного хоста •  RLOC = Routing Locator

•  IP адрес маршрутизатора сети агрегации или ядра

Prefix Next-hop w.x.y.1 e.f.g.h x.y.w.2 e.f.g.h z.q.r.5 e.f.g.h z.q.r.5 e.f.g.h

Mapping DB

ITR

ETR

Non-LISP

EID Space

EID Space

RLOC Space

EID RLOC a.a.a.0/24 w.x.y.1 b.b.b.0/24 x.y.w.2 c.c.c.0/24 z.q.r.5 d.d.0.0/16 z.q.r.5



ALT

PxTR

Роли и адресные пространства в LISP

12

Какие компоненты вовлечены в передачу данных?

LISP Mapping Database

13

Основы – регистрация и ответы на запросы

West-DC East-DC

X Z Y

Y

10.2.0.2

10.2.0.0 /16 10.3.0.0/16

Map Server / Resolver: 5.1.1.1

2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1

LISP сайт

ITR

10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) Database Mapping Entry (на ETR):

10.3.0.0/16 -> (3.1.1.1, 3.1.2.1) Database Mapping Entry (на ETR): ETR ETR ETR ETR

Map-Request 10.2.0.1

Map-Reply 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)

10.2.0.0/16-> (2.1.1.1, 2.1.2.1) Mapping Cache Entry (на ITR):

LISP Mapping Database

14

Отказоустойчивость БД

West-DC East-DC

X Z Y

Y

10.2.0.2

10.2.0.0 /16 10.3.0.0/16

Map Server: 5.1.1.1 Map Server: 5.2.2.2

LISP Site ITR

Mapping DB Node Cluster

Map Resolver:9.9.9.9 (Anycast)

10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) Database Mapping Entry (на ETR):

10.3.0.0/16 -> (3.1.1.1, 3.1.2.1) Database Mapping Entry (на ETR): ETR ETR ETR ETR

Map-Request 10.2.0.1

Map-Reply 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1)

Нет специального протокола для синхронизации состояния Map-серверов; ETR должны зарегистрироваться на всех Map серверах самостоятельно; ITR посылает запрос на Anycast адрес Map Resolver-а 10.2.0.0/16-> (2.1.1.1, 2.1.2.1)

Mapping Cache Entry (на ITR):

2.1.1.1 2.1.2.1 3.1.1.1 3.1.2.1

West-DC East-DC

не-LISP сайты

PITR

LISP сайт

IP сеть

EID RLOC LISP Encap/Decap

ITR Mapping DB 5.1.1.1

5.3.3.3

1.1.1.1

10.2.0.0/24

5.2.2.2

ETR

2.1.1.1 2.1.2.1

Маршрутизатор в филиале

ip lisp itr-etr ip lisp ITR map-resolver 5.3.3.3

Устройства агрегации в ЦОД ip lisp itr-etr ip lisp database-mapping 10.2.0.0/24 2.1.1.1 p1 w50 ip lisp database-mapping 10.2.0.0/24 2.1.2.1 p1 w50 ip lisp ETR map-server 5.1.1.1 key s3cr3t ip lisp ETR map-server 5.2.2.2 key s3cr3t

Пограничный маршрутизатор ip lisp proxy-itr ip lisp ITR map-resolver 5.3.3.3 Серверы БД

ip lisp map-resolver ip lisp map-server lisp site west-DC authentication-key 0 s3cr3t eid-prefix 10.2.0.0/24

Как правило устройство выполняет обе роли ITR/ETR чтобы обсуживать трафик в обоих напралениях

Базовая настройка LISP

15

Миграция на IPv6

§  v6-over-v4, v6-over-v6 §  v4-over-v6, v4-over-v4

IPv4 Internet

IPv6 Internet

v6

v6 v4 v6

LISP Router LISP

Router v6

Services

Отказоустойчивые подключения

§  Переносимость IP §  Управление входящим трафиком без

BGP

LISP Routers

LISP сайт

Internet

Мобильность хостов

§  Перемещение вит. машин §  Сегментация

West-DC East-DC

LISP сайт

IP сеть

Multi-Tenancy и VPN

§  Снижение CapEx/OpEx §  Сегментация в больших масштабах

West-DC East-DC

LISP сайт

IP сеть

Сценарии использования LISP

16

IP мобильность

Disaster Recovery

Cloud Bursting

Сценарии применения LISP

17

Перемещение с растягиванием L2 сегментов между ЦОД

West-DC East-DC

не-LISP сайт

IP сеть Mapping DB

LISP-‐VM (XTR)

LAN Extension

LISP сайт

XTR

Компоненты приложения растянуты между ЦОД

Перемещение без растягивания L2 сегментов между ЦОД

West-DC East-DC

LISP сайт

Internet или WAN

XTR

Mapping DB DR Location или Cloud

Provider DC

LISP-‐VM (XTR)

Все компоненты приложения в одном ЦОД одновременно

Обнаружение перемещений хостов в LISP

§  Новый xTR проверяет источник трафика §  Настройка динамических-EID определяет какие префиксы могут

«мигрировать» между ЦОД

18

Мониторинг источника трафика

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.3.0.0/16

5.1.1.1 5.2.2.2

lisp dynamic-eid roamer

database-mapping 10.2.0.0/24 <RLOC-C> p1 w50 database-mapping 10.2.0.0/24 <RLOC-D> p1 w50 map-server 5.1.1.1 key abcd

interface vlan 100 lisp mobility roamer

A B C D

Получили пакет…

… от “Нового” хоста … его адрес находится в разрешенном

диапазоне Dynamic-EID

…это миграция! Регистрируем /32 в LISP

Перенаправление трафика в LISP

§  Когда LISP обнаруживает переезд хоста, база данных MS/MR и кеш xTR обновляются: §  RLOC обновляет запись в базе данных §  Старый ETR уведомляется о перемещении §  ITR получают нотификацию для обновления своих кэш-записей

§  ITR или PITR начинают передавать трафик в новый ЦОД

19

Обновление записей в БД Location Mapping

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.3.0.0 /16

A B C D

LISP сайт xTR

10.2.0.0/16 – RLOC A, B

10.2.0.2/32 – RLOC C, D






Разделенные физически и логически ЦОД

§  Active-Standby

§  Active-Disater Recovery (DR) – VMware SRM, Microsoft DPM

§  Active-Облачный оператор (cloud bursting)

21

Возможные сценарии реализации в зависимости от бизнес-потребностей

WAN






ДВА физически и логически …

… разделенных ЦОД?

Связь по L2 между ЦОД отсутствует!

LISP Host-Mobility – First Hop Routing

§  SVI (Interface VLAN x) и HSRP настраиваются как обычно §  Один и тот же адрес GWY-MAC или один и тот же номер HSRP-группы

§  Команда lisp mobility <dyn-eid-map> запускает функцию proxy-arp на SVI §  LISP-VM маршрутизатор выступает шлюзом по умолчанию и для своих и для мобильных

подсетей §  Мобильный хост всегда «разговаривает» с локальным шлюзом с одним и тем же MAC

22

ЦОД не связаны по L2

West-DC East-DC

A B C D

HSRP ARP

GWY-MAC

HSRP ARP

GWY-MAC

Interface vlan 100 ip address 10.2.0.6/24 lisp mobility roamer (ip proxy-arp) hsrp 101 mac-address 0000.0e1d.010c ip 10.2.0.1

interface vlan 100 ip address 10.2.0.5/24 lisp mobility roamer ( ip proxy-arp) hsrp 101 mac-address 0000.0e1d.010c ip 10.2.0.1

interface vlan 100 ip address 10.3.0.8/24 lisp mobility roamer (ip proxy-arp) hsrp 201 mac-address 0000.0e1d.010c ip 10.3..0.1

interface vlan 100 ip address 10.3.0.7/24 lisp mobility roamer (ip proxy-arp) hsrp 201 mac-address 0000.0e1d.010c ip 10.3.0.1

10.2.0.0 /24 10.3.0.0 /24

10.2.0.2

HSRP Active

HSRP Active

LISP-‐VM (xTR)

Пример миграции хоста

23

Передача обновлений между сайтами не связанными по L2 через mapping DB

West-DC East-DC

X Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.3.0.0 /16

5.1.1.1 5.2.2.2

A B C D

Routing Table: 10.3.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Local


Map-Notify 10.2.0.2/32 <C,D>

1

Routing Table: 10.2.0.0/16 – Local 10.2.0.2/32 – Null0

Routing Table: 10.2.0.0/16 – Local 10.2.0.2/32 – Null0

Map-Notify 10.2.0.2/32 <C,D>

Map-Register 10.2.0.2/32 <C,D>

10.2.0.0/16 – RLOC A, B 10.2.0.2/32 – RLOC C, D

3

7 5

9

2

4

6

8

10

Map-Notify 10.2.0.2/32 <C,D>

Хостовый (/32) маршрут в Null0 показывает что хост “переехал”

Обновление кэш записей - «map cach»

1.  Устройства ITR и PITR продолжают передавать трафик в «старый» ЦОД

2.  «Старый» xTR пересылает сообщения Solicit Map Request (SMR) любому узлу (encapsulator) который шлет инкапсулированный трафик, который предназначен переехавшему хосту

3.  ITR посылает новый map request 4.  ITR получает map-reply нового ЦОД 5.  ITR обновляет свой Map Cache Трафик перенаправляется в правильный ЦОД SMR сообщение является важным элементом поддерживающим целостность решения

24

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.3.0.0 /16

A B C D

LISP сайт ITR

10.2.0.2/32 – RLOC C,D

Map Cache @ ITR

10.2.0.0/16 – RLOC A,B

2. S

MR

1. Трафик

данных

4. Map Reply

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

A B C D

ip lisp ITR-ETR ip lisp database-mapping 10.2.0.0/16 <RLOC-A> ip lisp database-mapping 10.2.0.0/16 <RLOC-B> lisp dynamic-eid roamer

database-mapping 10.2.0.0/24 <RLOC-A> database-mapping 10.2.0.0/24 <RLOC-B> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.1.1.1

interface vlan 100 ip address 10.2.0.10 /16 lisp mobility roamer (ip proxy-arp) hsrp 101

mac-address 0000.0e1d.010c ip 10.2.0.1

Mapping DB

ip lisp ITR-ETR ip lisp database-mapping 10.3.0.0/16 <RLOC-C> ip lisp database-mapping 10.3.0.0/16 <RLOC-D> lisp dynamic-eid roamer

database-mapping 10.2.0.0/24 <RLOC-C> database-mapping 10.2.0.0/24 <RLOC-D> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.2.2.2

interface vlan 100 ip address 10.3.0.11 /16 lisp mobility roamer (ip proxy-arp) hsrp 201

mac-address 0000.0e1d.010c ip 10.3.0.1

10.2.0.0 /16 10.3.0.0 /16

Конфигурация LISP

25

ЦОД не связаны по L2

Настройка MS/MR на разных LISP сайтах

26

Рекомендуется: совмещение функций MS/MR на xTR устройствах (один на ЦОД)

LISP сайт

MS/MR в West-DC MS/MR в

East-DC

West-DC East-DC

X Z Y

10.2.0.0 /24 10.3.0.0 /24

A B C D

10.10.1.0 /24

ip lisp map-resolver ip lisp map-server lisp site BRANCH_1 eid-prefix 10.10.10.0/24 authentication-key abcd lisp site West-DC eid-prefix 10.1.0.0/16 accept-more-specifics authentication-key abcd lisp site East-DC eid-prefix 10.2.0.0/16 accept-more-specifics authentication-key abcd

ip lisp map-resolver ip lisp map-server lisp site BRANCH_1 eid-prefix 10.10.1.0/24 authentication-key abcd lisp site West-DC eid-prefix 10.2.0.0/16 accept-more-specifics authentication-key abcd lisp site East-DC eid-prefix 10.3.0.0/16 accept-more-specifics authentication-key abcd

West-to-East

Передача данных внутри «нерастянутой» подсети

§  X шлет ARP для Y §  Запись /32 Null0 для Y заставляет West-RLOC ответить

своим MAC на этот запрос (proxy-ARP) §  Замечание: предыдущая ARP запись для Y на хосте X очищатся после после получения GARP пакета от West-DC XTR

§  Трафик от X в сторону Y инкапсулируется в LISP

27

•  Y шлет ARP для X •  Запись /24 Null0 для ‘домашней подсети’ заставляет

East-RLOC ответить своим MAC на этот запрос (proxy-ARP) •  Замечание: ARP кеш Y не содержит записей после

«холодного» перемещения

§  Трафик от Y в сторону X инкапсулируется в LISP

West-DC East-DC

LISP DC xTR

Z Y

Y

10.2.0.8

A

10.2.0.9

X

B C D

10.2.0.0/24 10.3.0.0/24

West-DC East-DC

LISP DC xTR

Z Y

Y

10.2.0.8

A

10.2.0.9

X

B C D

10.2.0.0/24 10.3.0.0/24

East-to-West

BàC 10.2.0.9 à 10.2.0.8 CàB 10.2.0.8 à 10.2.0.9






Один логический ЦОД

§  Active-Active §  Распределенный кластер

29

Возможные сценарии реализации в зависимости от бизнес-потребностей

WAN






Это ОДИН логический ЦОД!

Связь по L2 между ЦОД организована!

LISP Host-Mobility – First Hop Routing

§  Одинаковые GWY-IP и GWY-MAC настроены в разных ЦОД §  Одинаковые группы HSRP è одинаковые GWY-MAC

§  Серверы могут перемещаться куда угодно, адреса IP/MAC шлюза по умолчанию не изменяются

30

ЦОД связаны по L2

West-DC East-DC

LISP-‐VM (xTR)

A B C D

HSRP ARP

GWY-MAC

HSRP ARP

GWY-MAC

HSRP Active

HSRP Active 10.2.0.0 /24 10.2.0.0 /24

LAN Ext.

interface Ethernet2/4 ip address 10.2.0.6/24 lisp mobility roamer lisp extended-subnet-mode hsrp 101 ip 10.2.0.1

interface vlan 100 ip address 10.2.0.5/24 lisp mobility roamer lisp extended-subnet-mode hsrp 101 ip 10.2.0.1



Пример миграции хоста

31

Передача обновлений между сайтами связанными по L2 через map-notify

West-DC East-DC

X Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.2.0.0 /16

5.1.1.1 5.2.2.2

A B C D



Map-Notify 10.2.0.2/32 <C,D>

Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Null0

Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Null0

Map-Register 10.2.0.2/32 <C,D>

10.2.0.0/16 – RLOC A, B 10.2.0.2/32 – RLOC C, D

3

5

3

2 4

6

4

Map-Notify 10.2.0.2/32 <C,D>

OTV

4

1

10.2.0.0 /24 is the dyn-EID

Хостовый (/32) маршрут в Null0 показывает что хост “переехал”

Обновление кэш записей - «map cach» 1.  Устройства ITR и PITR продолжают передавать трафик в «старый» ЦОД

2.  «Старый» xTR пересылает сообщения Solicit Map Request (SMR) любому узлу (encapsulator) который шлет инкапсулированный трафик, который предназначен переехавшему хосту

3.  ITR посылает новый map request 4.  ITR получает map-reply нового ЦОД 5.  ITR обновляет свой Map Cache Трафик перенаправляется в правильный ЦОД SMR сообщение является важным элементом поддерживающим целостность решения 32

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.2.0.0 /16

A B C D

LISP site ITR

10.2.0.2/32 – RLOC C,D

Map Cache @ ITR

10.2.0.3/32 – RLOC A,B 10.2.0.2/32 – RLOC A,B

2. S

MR

1. D

ata

Traf

fic

4. Map Reply

OTV

West-DC East-DC

LISP-‐VM (xTR)

X Z Y

10.2.0.0/16

1.1.1.1 2.2.2.2 A B C D

LAN Ext.

ip lisp ITR-ETR ip lisp database-mapping 10.2.0.0/16 <RLOC-A> ip lisp database-mapping 10.2.0.0/16 <RLOC-B> lisp dynamic-eid roamer

database-mapping 10.2.0.0/24 <RLOC-A> … database-mapping 10.2.0.0/24 <RLOC-B> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.10.10.10

interface vlan 100 ip address 10.2.0.10 /16 lisp mobility roamer lisp extended-subnet-mode hsrp 101

ip 10.2.0.1

Mapping DB

ip lisp ITR-ETR ip lisp database-mapping 10.3.0.0/16 <RLOC-C> ip lisp database-mapping 10.3.0.0/16 <RLOC-D> lisp dynamic-eid roamer

database-mapping 10.2.0.0/24 <RLOC-C> database-mapping 10.2.0.0/24 <RLOC-D> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.10.10.10

interface vlan 100 ip address 10.2.0.11 /16 lisp mobility roamer lisp extended-subnet-mode hsrp 101

ip 10.2.0.1

Конфигурация LISP

33

ЦОД связаны по L2 - “extended-subnet-mode”

West-DC East-DC

LISP DC xTR

Z Y

Y

10.2.0.8

A

10.2.0.9

X

B C D

10.2.0.0/24 10.2.0.0/24

LAN Ext.

Передача данных внутри «растянутой» подсети

§  Миграция хостов без выключения (vMotion/Live Migration) и разнесенные члены кластера

§  Трафик в обе стороны передается без участия LISP (например OTV)

§  Мультикаст cообщения LISP map-notify передаются при помощи механизма растягивания VLAN (например OTV) 34

10.2.0.9 à 10.2.0.8 10.2.0.8 à 10.2.0.9

Трафик клиент-сервер

§  Клиенты 10.1.0.1 и 192.168.2.1 передают данные серверу 10.2.0.2

§  Клиентский трафик инкапсулируется в LISP на ITR или PITR

§  От сервера к клиентам: §  ETR C или D

§  От клиентов к серверу: §  ETR (F) на LISP сайте §  PETR (G) для не-LISP сайтов

§  Трафик Сервер-Сервер между сайтами инкапсулируется в LISP (для тех серверных сегментов, в которых включена мобильность LISP)

35

Весь трафик должен иметь LISP-инкапсуляцию

West-DC East-DC

LISP-‐VM (xTR)

X Y

Y

Mapping DB

10.2.0.2

10.2.0.0 /16 10.3.0.0 /16

A B C D

LISP сайт xTR

F

Клиент 10.1.0.1


PxTR G

Клиент 192.168.2.1

192.168.2.1 à 10.2.0.2

10.1.0.1 à 10.2.0.2

10.1.0.1 à 10.2.0.2

192.168.2.1 à 10.2.0.2

FàC 10.1.0.1 à 10.2.0.2

GàD 192.168.2.1 à 10.2.0.2

Передача данных между серверами

§  Живая миграция и разнесенные компоненты кластера

§  Трафик между X и Y использует технологию растягивания VLAN, например OTV

§  Мультикаст сообщения map-notify не передаются при помощи LISP

36

Отличия работы LISP в зависимости от топологии

§  Холодные перемещения (VMware SRM, MS DPM)

§  Трафик между X- Y передается LISP-VM устройству и инкапсулируется в LISP

§  Для распространения map-notify используется MS/MR

VLAN растягиваются между ЦОД VLAN не растягиваются между ЦОД

West-DC East-DC

LISP-‐VM (xTR)

Z Y

Y

10.2.0.2

A

10.2.0.0/16

LAN Ext.

B C D

10.2.0.3 à 10.2.0.2

West-DC East-DC

LISP-‐VM (xTR)

Z Y

Y

10.2.0.2

A

10.2.0.3

X

Mapping DB

B C D

BàC 10.2.0.3 à 10.2.0.2

10.2.0.0/16 10.3.0.0/16

10.2.0.3

X

Преимущества LISP при решении DCI задач

37

West-DC East-DC


PXTR LISP сайт

IP сеть

EID RLOC LISP Encap/Decap

XTR

Растягивание L2 сегментов между ЦОД

Mapping DB

LISP-‐VM (XTR)

§  Прямой путь трафика (no triangulation) §  Соединение не разрывается при перемещении

§  Не возникает события сходимости протокола маршрутизации при переезде

§  Независимость от DNS §  Прозрачно для конечных хостов §  Глобальная масштабируемость (cloud

bursting) §  Поддержка IPv4/IPv6


§  Введение §  Управление входящим трафиком при помощи DNS GSLB §  Location/ID Separation Protocol – LISP §  Интеграция распределенных сервисов

§  Эффект пинг-понга трафика между ЦОД §  LISP Multi-Hop

§  Route Health Injection – RHI §  Заключение


SLB session synch

Интеграция распределенных сервисов Сервисные устройства разносятся между площадками

DC-1

Subnet A

DC-2

Subnet A

•  Сетевые сервисы как правило активны в DC-1

•  Распределенные пары МСЭ и балансировщика нагрузки в каждом ЦОД

•  Растягивание VLAN для синхронизации состояния

•  Растягивание VLAN для нагрузки

•  Source NAT для SLB VIP

Замечание: решение только на 2 площадки, как правило

VIP VLAN

Front-‐end VLAN

FW FT and session synch

Inside VLAN

Outside VLAN

Back-‐end VLAN

L3 ядро

VIP Src-NAT

Интеграция распределенных сервисов Эффект пинг-понга влияет на приложение (время отклика, производительность)

DC-1

Subnet A

DC-2

Subnet A

VIP VLAN

Front-‐end VLAN

Inside VLAN

Outside VLAN

Back-‐end VLAN

100 км +/- 1 мсек на round trip

L3 ядро

VIP Src-NAT

•  МСЭ переезжает на удаленный сайт

•  Source NAT для SLB VIP остается

•  Задержка растет +/- 1 мсек для каждых 100 км между ЦОД

•  В ЦОД с несколькими контурами безопасности один запрос может вызвать 10 и более перемещений трафика между ЦОД

•  Настройка функции «Interface tracking» на сервисных устройствах –сервисы активны одновременно только в одном ЦОД

Интеграция распределенных сервисов Частичный переезд приложения - эффект пинг-понга растет

DC-1

Subnet A

DC-2

Subnet A

•  FW переехал в DC-2 •  Фронт-энд серверы переехали в DC-2

•  Source NAT для SLB VIP поддерживает правильный обратный путь для трафика через Active SLB

•  Частичный переезд серверной фермы не оптимален

•  Понимать взаимосвязь приложений

VIP VLAN

Front-‐end VLAN

Inside VLAN

Outside VLAN

Back-‐end VLAN


L3 ядро

VIP Src-NAT

Интеграция распределенных сервисов Требуется координация действий между ИТ-подразделениями

DC-1

Subnet A

DC-2

Subnet A

•  Для снижения вероятности образования «тромбов» в сети все компоненты приложения должны переезжать вместе

•  FHRP фильтрация •  Source NAT для SLB VIP поддерживает корректный обратный пусть черезе Active SLB

•  Координация действий сетевой и серверной (виртуализация) команд

VIP VLAN

Front-‐end VLAN

Inside VLAN

Outside VLAN

Back-‐end VLAN

Src-NAT


L3 ядро

HSRP Filter

HSRP Filter

Интеграция распределенных сервисов Решение большинства проблем, вызывающих пинг-понг

DC-1

Subnet A

DC-2

Subnet A

•  Контекст на МСЭ перемещается вместе с приложением

•  Применение функции Interface Tracking на сервисных устройствах

•  Обратный трафик остается симметричным и передается через устройство балансировки с source-NAT

•  Оптимизация путей передачи данных внутри ЦОД почти достигнута – требуется управление входящим трафиком от пользователей, например LISP Multi-Hop

•  Координация ИТ-подразделений •  Серверы/Приложения •  Сеть/HSRP фильтр •  Сервис & безопасность •  СХД

VIP VLAN

Front-‐end VLAN

Inside VLAN

Outside VLAN

Back-‐end VLAN


VIP Src-NAT

VIP Src-NAT

L3 ядро

HSRP Filter HSRP Filter

LISP Multi-hop может устранить и эту неоптимальность


§  Введение §  Управление входящим трафиком при помощи DNS GSLB §  Location/ID Separation Protocol – LISP §  Интеграция распределенных сервисов

§  Эффект пинг-понга трафика между ЦОД §  LISP Multi-Hop

§  Route Health Injection – RHI §  Заключение


Технология LISP Multi-Hop

§  xTR не стоит на первой линии перед нагрузкой

§  На МСЭ и SLB попадает трафик без инкапсуляции

§  Существующие MCЭ и SLB не поддерживают инспекцию трафика инкапсулированного в LISP*

§  Разнесение LISP функций: §  SG XTR à LISP регистрация/encap/decap §  1st Hop router à детекция перемещений, нотификация устройства XTR, proxy default GWY

§  Устройство SG XTR LISP регистрирует перемещения и сообщает центральной БД MS/MR

45

Функции обнаружения и инкапсуляции разносятся между разными устройствами

L3 ядро

R1: First Hop (FH)

R3: Site GWY XTR (SG)

“roamer” (мобильная нагрузка)

R2: FW (не-LISP)

Сообщение

LIS

P E

ID-n

otify

LISP encap/decap LISP сигнализация

Move Detection Host route injection Default GWY proxy

* Roadmap

Работа LISP Multi-Hop ЦОД связаны по L2

L3 Core

LISP encap/decap

LISP Registration/ Notifications L3 Core

LISP encap/decap


Map-Register

EID-Notify

Map-Notify

Extended LAN (east-west traffic)

Map-Notify

EID-Notify

1

2

2

3 4

5

Настройка LISP-HM Multi-Hop ЦОД связаны по L2

LISP encap/decap

FHR

SG1


LISP Registrations

LISP Notifications

SGn

L3 Core ip lisp itr-etr lisp dynamic-eid foo database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w> map-server <map-server-address> eid-notify authentication-key <key-value>

lisp dynamic-eid foo database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w> eid-notify <xtr-address-1> key <key-value>… eid-notify <xtr-address-n> key <key-value>

1 – пользователь шлет запрос в приложению 2 - ITR перехватывает запрос и проверяет локализацию приложения 3 - MS пересылает запрос ETR который сообщает что Subnet A находится за ETR DC-1 3” - ITR инкапсулирует пакеты в LISP и пересылает их в сторону RLOC ETR-DC-1 4 – LISP уведомляет ETR в DC-2 о переезде приложения в DC-2 5 – ETR DC-2 информирует MS о новой локализации приложения 6 – MR обновляет ETR DC-1 7 – ETR DC-1 свою таблицу (App:Null0) 8 – ITR пересылает трафик ETR DC-1 9 – ETR DC-1 отвечаечает при помощи SMR-сообщения ( Solicit Map Request) 10 – ITR пересылает Map Req и затем перенаправляет трафик в сторону ETR DC-2

Owner Director Director Owner

CCL CCL

DC-1

Subnet A

DC-2

Subnet B

Owner

Применение LISP Multi-Hop

ЦОД не связаны по L2, холодная миграция приложений

L3 Core ITR

ETR ETR

App

has

mov

ed

Update your Table

SMR

M-‐DB

Latency > 10ms

1 - пользователь шлет запрос в приложению 2 - ITR перехватывает запрос и проверяет локализацию приложения 3 - MS пересылает запрос ETR который сообщает что Subnet A находится за ETR DC-1 3” - ITR инкапсулирует пакеты в LISP и пересылает их в сторону RLOC ETR-DC-1 4 – LISP уведомляет ETR в DC-2 о переезде приложения в DC-2 5 – ETR DC-2 информирует MS о новой локализации приложения 6 – MR обновляет ETR DC-1 7 – ETR DC-1 обновляет свою таблицу (App:Null0) 8 – ITR пересылает трафик ETR DC-1 9 – ETR DC-1 отвечаечает при помощи SMR-сообщения ( Solicit Map Request) 10 – ITR пересылает Map Req и затем перенаправляет трафик в сторону ETR DC-2

HRSP Filter HRSP Filter

DC-1

Subnet A

DC-2

Subnet A

Director

Owner

Применение LISP Multi-Hop

ЦОД связаны по L2, горячая миграция, применение ASA Cluster

L3 Core

HRSP Filter HRSP Filter

ITR

ETR ETR

App

has

mov

ed

Update your Table

App is located in ETR-DC-2

SMR

M-‐DB

CCL Extension

Data VLAN Extension




Использование /32 маршрутов

§  Сквозное решение только на базе /32

§  LISP обеспечивает только детектирование мобильной нагрузки

§  LISP помогает протоколам маршрутизации IGP сойтись быстрее

§  IGP распространяет маршруты изученные с помощью LISP

§  LISP инкапсуляция не применяется в процессе передачи данных

Функция LISP IGP Assist

L3 сеть

R1: FHR


Динамический маршрут /32 устанавливается при помощи LISP и затем редистрибутируется в IGP

Работа LISP-HM IGP Assist ЦОД связаны между собой по L2 (ESM)

L3 сеть

“roamer” (lands in a foreign

network)

Map-Notify

1

2

Обнаруживаем мобильный хост Устанав.

/32 lisp interface мар-т

Удаляем /32 lisp

interface мар-т

2

Редистрибуция LISP маршрутов в IGP


3

Map-Notify 2

Сквозная маршрутизация на базе /32 маршрутов LISP “помогает” сойтись IGP Централизованная БД не используется

Настройка LISP-HM IGP Assist ЦОД связаны между собой по L2 (ESM)

L3 Core

R1: FHR

“roamer” (lands in a foreign network)


@ FHR lisp dynamic-eid foo database-mapping <eid-prefix> redistribute map-notify-group 239.1.1.1 … router <favorite-routing-protocol> foo redistribute lisp route-map <bar> … ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32 route-map <bar> permit 10 match ip address <eid-list-name>

Работа LISP-HM IGP Assist ЦОД не связаны между собой по L2 (ASM)

L3 сеть


network)

Map-Notify

1

2

Обнаруживаем мобильный хост

Устанав. /32 lisp

interface мар-т


interface мар-т

2 4



3 Dyn-eid timeout

Сквозная маршрутизация на базе /32 маршрутов Без LISP сигнализации: трафик попадает в «черную дыру»

Работа LISP-HM IGP Assist – задействуется MS ЦОД не связаны между собой по L2 (ASM)

L3 Core


network)

Map-Register

Map-Notify

Map-Notify

1

2 5

4

Map-Notify

Обнаруживаем мобильный хост

Map-Server

3

Устанав. /32 lisp

interface мар-т


interface мар-т

2 5



Сквозная маршрутизация на базе /32 маршрутов LISP “помогает” сойтись IGP

Настройка LISP HM IGP Assist ЦОД не связаны между собой по L2 (ASM)

L3 Core

R1: FHR

“roamer” (lands in a foreign network)


@ FHR ip lisp etr <<<< Must be ETR only lisp dynamic-eid foo database-mapping <eid-prefix> redistribute database-mapping <eid-prefix> rloc <rloc> p1 w50 map-server <ms-address> key <some-key> map-notify-group 239.1.1.1 … router <favorite-routing-protocol> foo redistribute lisp route-map <bar> … ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32 route-map <bar> permit 10 match ip address <eid-list-name>




Заключение

§  Управление входящим трафиком при помощи DNS GSLB §  Citrix Netscaler

§  Location/ID Separation Protocol – LISP §  Мощное средство управления трафиком на все случаи жизни §  Гибкость и простота настройки

§  Интеграция распределенных сервисов §  Координация ИТ-подразделений §  LISP Multi-Hop

§  Route Health Injection – RHI §  LISP IGP Assist


CiscoRu Cisco CiscoRussia

Ждем ваших сообщений с хештегом #CiscoConnectRu

Пожалуйста, заполните анкеты. Ваше мнение очень важно для нас.

Спасибо Contacts: Name Хаванкин Максим Phone +74999295710 E-mail [email protected]


Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика

Technology

lisp mapping database

lisp eastdc ip etr eid

lisp s d dns entry

alt pxtr lisp

lisp locid ip core

lisp itr s d dns entry

gslb mec dns

gslb citrix netscaler