Top Banner
Семейство коммутаторов Cisco Nexus 7000 Скороходов Александр Системный инженер-консультант
43

Семейство коммутаторов Cisco Nexus: возможности и развитие.

Feb 13, 2017

Download

Technology

Cisco Russia
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Семейство коммутаторов

Cisco Nexus 7000

Скороходов Александр

Системный инженер-консультант

Page 2: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Требования к сети ЦОД нового поколенияРеализация в решениях Cisco

• Повышение производительности подключения серверов и

магистрали

10 Gigabit Ethernet, 40/100GE, TRILL/FabricPath

• Консолидация ввода-вывода серверов

Fibre Channel over Ethernet (FCoE/DCB), Adapter-FEX

• Более простая и «плоская» архитектура сети ЦОД без опоры на STP

Virtual Portchannel, FEX, TRILL/FabricPath

• Сетевая поддержка виртуализации

Nexus 1000V, VM-FEX, VDC

• Надѐжная и производительная связь ЦОД

OTV, LISP

Page 3: Семейство коммутаторов Cisco Nexus: возможности и развитие.

3© 2012 Cisco and/or its affiliates. All rights reserved.TECDCT-2001 Cisco Public

NX-OS 4.1 NX-OS 4.2

1KCisco Nexus 1000V

2008

x86

Nexus 2000

Fabric Extender Nexus 4000 Nexus 5500

Nexus 7000Nexus 1000V

Virtual Switch

Nexus 3000

Семейство Cisco Nexusответ на требования ЦОД нового поколения

• На рынке с 2008 года

• Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая доступность

• Лидер рынка коммутации в ЦОД

• Более 17,000,000 портов семейства Nexus

• Более 36,000 заказчиков используют NX-OS

Page 4: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000Для центра обработки данных нового поколения

Модульная ОС

Полное резервирование

ISSU без потерь

Коммутация без потерь

Поддержка FCoE

Сохранение «изоляции фабрик» с VPC

Высокая производительность

Плотность 10GE портов

Поддержка 40/100GE

Поддержка FabricPath

Непрерывная

работа

Конвергентный

транспорт

Масштабирование

Page 5: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Семейство Cisco Nexus 7000

Интерфейсные

модули

Шасси

Управляющие модули

Модули с различной плотностью

и типом портов, коммутация и

маршрутизация на аппаратном

уровне обычных и групповых

пакетов, списки доступа

ACL/классификация QoS,

NetFlow.

Управляющие функции,

полная изоляция уровней

управления и коммутации.

Фабрики

коммутации

4 варианта шасси

коммутаторов

Неблокируемые фабрики

коммутации с пропускной

способностью до 550

Gbps (Fab2) на слот.

Page 6: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Компоненты Nexus 7000

Page 7: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Семейство Cisco Nexus 7000Гибкость и масштабируемость

Шасси Nexus 7004 Nexus 7009 Nexus 7010 Nexus 7018

Высота / глубина 7 RU / 62 см 14 RU / 61 см 21 RU / 84 см 25 RU / 84 см

Коммутация на слот 440 Gig/Slot 550 Gig/Slot 550 Gig/Slot (Fab2) 550 Gig/slot (Fab2)

10/40/100GE порты 96/12/4 336/42/14 384/48/16 768/96/32

Охлаждение Side-to-Rear Side-to-Side Front-to-Back Side-to-Side

Блоки питания 4 x 3KW AC/DC2 x 6KW AC/DC

2 x 7.5KW AC

3 x 6KW AC/DC

3 x 7.5KW AC

4 x 6KW AC/DC

4 x 7.5KW AC

Ключевые достоинстваМинимальный

размер

Компактность

Установка вместо Cat6509

Управление кабелями

Обдув «спереди-назад»

Максимальная

плотность

Page 8: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Шасси Nexus 7010, 21RU

Закрываемый отсек

для управления

кабелями

Слоты для

супервизоров(5-6)

Слоты для

интерфейсных

карт (1-4, 7-10)

Забор воздуха с

опциональным

фильтром

Коммутационные

матрицы

(фабрики)

Вентиляторы

системы

Блоки питания

Поток воздуха

спереди-назад

Рычаги с

защѐлками21RU

Опциональные

запираемые

дверцы

Вентиляторы

фабрик

Page 9: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Шасси Nexus 7018, 25RUСветодиоды

индикации

статусаНаправляющие

для кабелей

Слоты для

супервизоров

(9-10)

Забор воздуха

для блоков

питания

Коммутационные

матрицы

(фабрики)

Блоки питания

25RU

Поток воздуха

Side-to-side

Вентиляторы

Слоты для

интерфейсных

карт (1-8, 11-18)

Опциональная

запираемая

дверца

Page 10: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Шасси Nexus 7009, 14RU

Направляющие

для кабелей

Слоты для

супервизоров

(1-2)

Коммутационные

матрицы

(фабрики)

Блоки питания

14RU

Поток воздуха

Side-to-side

Вентилятор

Опциональная

запираемая

дверца

Забор воздуха

для блоков

питания

Светодиоды

индикации

статуса

Слоты для

интерфейсных

карт (3-9)

Page 11: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Шасси Nexus 7004, 7RU

Выход воздуха

7RU

Поток воздуха

Side-to-back

Слоты для

супервизоров

(1-2)

Слоты для

интерфейсных

карт (3-4)

Блоки питания

Вентилятор

Супервизор 2Супервизор 18 * 55G = до 440G для связи

модулей между собой

Модуль 4Модуль 3

Crossbar

ASICCrossbar

ASIC

Crossbar

ASIC

Crossbar

ASIC

2 канала по 55G к

супервизорам

Не нужны коммутационные фабрики

Page 12: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Разделение уровней управления и коммутации

Полная изоляция уровней управления

(супервизор) и коммутации данных (фабрики)

Передача данных не прекращается при

переключении супервизоров (Non-Stop

Forwarding)

Полностью распределенная аппаратная

коммутация

Многопоточная модульная ОС позволяет

масштабировать производительность с

многоядерными CPU

Ресурсоемкие распределѐнные задачи

выгружаются на процессоры интерфейсных

модулей

Управление Коммутация

Page 13: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Nexus 7000: супервизоры 2 поколенияSup 2 and Sup 2E – разные уровни масштабирования

Более быстрые процессоры

Больше ядер, памяти

CPU Shares

USB Flash

ПреимуществаРост производительности

Масштабируемость VDC, VRF, FEX...

Приоритезация ресурсов VDC

Удобство использования

Возможности

2x Quad Core CPU32 GB of RAM

8+1 (Admin) VDCМаксимальная масштабируемость

Sup2E

Quad Core CPU12 GB of RAM

Та же цена, что и Sup14+1 (Admin) VDC

Sup2

Поддержка FCoE на

модулях F2

Page 14: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Коммутационные матрицы

второго поколения

Рост производительности более чем в 2 раза:

• Каждая фабрика обеспечивает по 110Гбит/с на слот

• До 550 Гбит/с на слот с 5-ю фабриками

• Масштабирование и отказоустойчивость

• Более 15 Тбит/с на шасси (для 7018)

• Все поставляемые на сегодня модули поддерживаются

матрицами и 1-го и 2-го поколения

N7K-C7009-FAB-2N7K-C7010-FAB-2

N7K-C7018-FAB-2

Page 15: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Масштабируемость системы

с фабриками второго поколения

Пожддержка модулей с 40/100Гбит/с портами

10GbE Module

GbE Module

In-service upgrade коммутационных фабрик

550GbpsНа слот

80G

46G

230G

Fab2

Fab2

Fab2

Fab2

Fab2

Защита инвестиций

550G230G 230Gbps

Page 16: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Интерфейсные модули для Cisco Nexus 7000

• M серия – L2/L3/L4 с большими таблицами (128K MAC/1M FIB) и богатым функционалом (MPLS, VPLS*, OTV, LISP (M132), GRE, NetFlow v5/v9…)

N7K-M108X2-12L 8*10G X2N7K-M148GT-11L 48*10/100/1000BASE-T

N7K-M148GS-11L 48*1G SFP

N7K-F132XP-15 32*1/10G SFP

Только L2

N7K-F248XP-25 48*1/10G SFP+

N7K-M132XP-12L 32*10G SFP+

• F серия – Высокопроизводительные модули, с низкой задержкой и энергопотреблением, поддержка FCoE, FabricPath/TRILL

N7K-F248XP-25E 48*1/10G SFP+

N7K-M224XP-23L 24*10G SFP+

N7K-M206FQ-23L 6*40G QSFP

N7K-M202CF-23L 2*100G CFP

F248XT-25E 48*1/10GBASE-T

M1XL, 46G на слот M1XL, 80G на слот M2, 240G на слот

*В будущей версии ПО

Page 17: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль M2 24 порта 10 GE N7K-M224XP-23L

• 24 порта 10G с трансиверами SFP+

• До 384 портов на шасси

• Производительность 240G /120Mpps

• Поддержка коммутационных фабрик 1-го и 2-го поколения

• Активируемая лицензией XL функциональность

• Поддержка FEX

N7K-M224XP-23L

Page 18: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль M2 6 портов 40 GE N7K-M206FQ-23L

• 6 портов 40G с трансиверами QSFP+

• До 96 портов на шасси

• Производительность 240G /120Mpps

• Поддержка коммутационных фабрик 1-го и 2-го поколения

• Активируемая лицензией XL функциональность

• Поддерживаемые трансиверы: QSFP-40G-SR4 (первоначально)

• Поддержка до 24*10G с использованием переходных кабелей*

N7K-M206FQ-23L

*В будущей версии ПО

Page 19: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль M2 2 порта 100 GE N7K-M202CF-22L

• 2 порта 100G с трансиверами CFP

• До 32 портов на шасси

• Производительность 200G /120Mpps

• Поддержка коммутационных фабрик 1-го и 2-го поколения

• Активируемая лицензией XL функциональность

• Поддерживаемые трансиверы: CFP-100G-LR4 (первоначально)

• Модуль готов к поддержке 10G/40G

N7K-M202CF-22L

Page 20: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль F2 48 портов SFP+ 1/10GN7K-F248XP-25

• 48 портов 1G/10G SFP+

• Коммутация L2 / L3 с сервисами L3/L4

(ACL/QoS)

–32K FIB TCAM

• Поддержка классического Ethernet и

FabricPath

• Поддержка DCB/FCoE (требует Sup2)

• Поддержка FEX

• Поддержка фабрик 1 и 2 поколения

• Неблокируемая L2/L3 коммутация на всех

48 портах

• Производительность:

–480 Гбит/с на слот

–714 Mpps на слот

• Задержка коммутации ~6 мкс

• Требует отдельного VDC

Page 21: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль F2Е 48 портов SFP+ 1/10GN7K-F248XP-25E

N7K-F248XP-25E

Общие возможности для F2 и F2E:

48 портов 1/10GE (SFP+)

Неблокируемая коммутация Layer 2 / Layer 3

Поддержка FCoE, FabricPath, FEX

Дополнительные возможности F2E (* - в планах, потребуется новая версия NX-OS):

Может работать (в L2 режиме) в одном VDC с M1XL/M2 картами*

MACSec (802.1AE) – 8 портов*

IPv6 DSCP-to-Queue Mapping

Возможности, открываемые взаимодействием F2E и M1XL/M2 карт:

Интеграция FabricPath сети с MPLS и LISP

Масштабирование числа MAC адресов

Page 22: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Модуль F2Е 48 портов 1/10GBASE-TN7K-F248XT-25E

48 портов 1G/10G по «витой паре» - до 100 м (в зависимости от СКС)

Возможность для миграции серверных подключений с 1G на 10G

Неблокируемая коммутация L2 / L3 с сервисами L3/L4 (ACL/QoS)

Поддержка классического Ethernet и FabricPath

Невысокое энергопотребление ~8 Вт на порт

Поддержка Energy Efficient Ethernet (EEE)

Возможности F2E аналогичные карте N7K-F248XP-25E (SFP+)

Page 23: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Общие рекомендации по использованию модулей

серий M и FM1/M2 F2 F1

Уровень доступа

Высокая плотность 1/10GE ✔ ✔

Миграция с 1 на 10GE ✔ ✔

Низкая задержка ✔ ✔

L2 и L3 ✔ ✔

FabricPath Leaf ✔ ✔

Уровень агрегирования

Высокая плотность 10GE ✔

Большие таблицы маршрутизации и ACL ✔

Граница Layer2-Layer3 ✔ ✔

FabricPath Spine ✔ ✔

FEX based POD ✔ ✔

MPLS в ядро ✔

OTV и LISP ✔

Уровень ядра

Высокая плотность неблокируемы х 10GE ✔ ✔

Большие таблицы маршрутизации и ACL ✔

Layer 3 ✔ ✔

MPLS ✔

✔ Основной вариант ✔ Альтернатива

Page 24: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Распределѐнный виртуальный

модульный коммутатор

(до 48FEX/2048 Ethernet

интерфейсов на N7K/SUP2E)

+

Cisco Nexus® 2000 FEX

Cisco Nexus® 5500

Cisco Nexus® 2000 FEX

Cisco Nexus® 7000

+

Виртуальное модульное шасси с FEXNexus 5500/7000 + Nexus 2000

• Nexus 2000 FEX выполняет роль виртуальной карты для Nexus 5500/7000

• Единый конфигурационный файл

• Между FEX и Nexus 5500/7000 не используется STP

Page 25: Семейство коммутаторов Cisco Nexus: возможности и развитие.

activeactive

5.2 (VPC+: 6.1(2))5.2

Варианты подключения Cisco Nexus 2000 к Cisco

Nexus 7000

• Подключение сервера одним каналом

• Подключение сервера двумя каналами – NIC teaming

• Объединение двух каналов с разных FEX в Portchannel (active/active)

• Подключение сервера Portchannel–ом к одному FEX

• Объединенный с двух FEX Portchannel

5.1

standbyactive

5.1

activeactive

5.1

Page 26: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Операционная система NX-OS

Page 27: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco NX-OS: операционная система

разработанная для ЦОД

NX-OSSAN-OS

IOS

CatOS

MDS 9000

Catalyst 6500

Nexus 7000/5000/1000V

Page 28: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Архитектура NX-OS

• Основные технологии ЦОД: коммутация 2 и 3 уровней, протоколы сети хранения

• Модульный код с вытесняющей многозадачностью

• Каждый процесс работает в своей области памяти

• Автоматический перезапуск процессов с восстановлением состояния

Инфраструктура

Ядро

HA

Man

ag

er

Storage ProtocolsLayer 3 Protocols

OSPF

BGP

EIGRP

GLBP

HSRP

IGMP

PIM SNMP

Layer 2 Protocols

VLAN

PVLAN

UDLD

CDP

802.1XSTP

LACP CTS

VSANs

FCIP

Zoning

FSPF

IVR …

Other services

… …

Page 29: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Kernel

BG

P

OS

PF

PIM

TC

P/U

DP

IPv

6

ST

P

HS

RP

LA

CP

etc

HA Manager

Перезапуск!

N7K Data Plane

PSS

Перезапуск процесса

с сохранением состояния

Процессы могут перезапускаться

за миллисекунды и сохранять

предыдущее состояние

Результат: отсутствие влияния

на взаимодействие с соседними

устройствами

Для всех L2 протоколов и

OSPFv2

Page 30: Семейство коммутаторов Cisco Nexus: возможности и развитие.

I/O Module Images

Release 4.1

Release4.2

Kernel

OS

PF

BG

P

PIM etc

.

HA Manager

N7K Data PlaneKernel

HA Manager

Active

Upgrade and reboot

OS

PF

BG

P

PIM e

tc.

Standby

Initiate stateful failover

Upgrade and reboot

Upgrade and reboot I/O CPU

Release 4.1

Release4.2

Release 4.1

Release4.2Предотвращение плановых

простоев

Обновление на minor и major

версии NX-OS

Поддержка критичных функция

для L2/L3

Обновление ПО «на лету» In Service Software Upgrade (ISSU)

In Service Software Upgrades

Page 31: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Виртуализация на Nexus 7000

VDC – Virtual Device Context• Изоляция программных компонент и протоколов • Изоляция аппаратных ресурсов и данных• Полная изоляция доменов управления и

доменов передачи данных обеспечивает безопасность

• До 8+1 VDC с Sup 2E

Инфраструктура

Ядро

VDC 1

VDC 2

VDC 3

Layer 2 Protocols Layer 3 Protocols

VLAN

PVLAN

OSPF

BGP

EIGRP

GLBP

HSRP

IGMP

UDLD

CDP

802.1XSTP

LACP PIMCTS SNMP

……

VDC 1

VDC 4

Layer 3 Protocols

OSPF

BGP

EIGRP

GLBP

HSRP

IGMP

PIM SNMP

VDC 2

Layer 2 Protocols

VLAN

PVLAN

UDLD

CDP

802.1XSTP

LACP CTS

Все функции VRF-aware

Дополнительный уровень виртуализации для разделения трафика разных задач и подсистем

Page 32: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Virtual Port Channel на Cisco NexusОбзор функции

• Возможность организации агрегированного

канала (port channel) приходящего на два

разных коммутатора

• Избавляет от опоры на STP

• Использование полосы всех имеющихся

соединений

• Быстрая сходимость при отказе устройства

или канала

• Обеспечение отказоустойивости и

масштабируемости при подключении

серверов

• Сокращение CAPEX и OPEX

• Совместимость со всеми функциями

Без vPC

С использованием vPC

Page 33: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Эволюция сетевой архитектуры

Spanning-Tree vPC FabricPath

Полоса

пропускания

Активных

путей До 10 Гбит/с До 20 Гбит/с До 160 Гбит/с

Один Два 16 путей

16

Switches

Преимущества Cisco FabricPath

• Создаѐт сетевую «фабрику», работающую как один коммутатор → разрушает «острова»,

делает возможной мобильность нагрузки

• Упрощение дизайна – меньше коммутаторов, ниже переподписка, выше «горизонтальная»

масштабируемость

• Опора на открытый протокол с важными усовершенствованями

• Упрощение взаимодействия между сетевои и серверной «командами»

Page 34: Семейство коммутаторов Cisco Nexus: возможности и развитие.

• Оптимальная коммутация на 2 уровне с использованием

произвольной топологии

• Простая настройка превращает сеть в «фабрику»:

• Не опирается на STP – используется открытый протокол,

основанный на принципах маршрутизации (IS-IS)

Превращает сеть в единую коммутационную среду

N7K(config)# interface ethernet 1/1

N7K(config-if)# switchport mode fabricpath

FabricPath

Технология FabricPath

Page 35: Семейство коммутаторов Cisco Nexus: возможности и развитие.

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

Nexus 7000 FCoEКонвергентное решение директорного класса

Первый конвергентный

коммутатор класса

«директора»

Самая

высокопроизводительная

коммутационная

платформа для сетей

хранения

Преимущества

Соответствует требованиям высокой доступности для критичных SANs

Использование для iSCSI, NAS, и FCoE

Масштабируемость более 15Tbps, готовность к 40G и 100G

Функционал

VE_port, NPIV, FCoE ISL, FSPF, FCoE Multihop (7 hops), IVR

До 16-ти портов в группе при подключении к FCoEкоммутаторам (Nexus5000, MDS9500)

Поддержка стандартов T11 FCoE, IEEE DCB

F2/F2E 48 портовF1 32 порта

Page 36: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Применение Nexus 7000

Page 37: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000 в архитектуре ЦОД

IP

Page 38: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000 на уровне ядра ЦОД

• Высокая надежность, высокая доступность и

быстрая сходимость

ISSU, HA, nonblocking operations, FabricPath

• Большие таблицы маршрутизации

До 1М RIB, 128K MAC, MPLS

• Масштабируемость и большая плотность

неблокируемых портов

550Гбит/с на слот, до 768 неблокируемых 10Гбит/с портов,

поддержка 40/100Г

• Сегментация/изоляция/виртуализация

VDC, VRF

Page 39: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000 на уровне агрегации ЦОД

• Масштабируемость и высокая плотность

неблокируемых портов 10Гбит/с

550Гбит/с на слот, до 768 неблокируемых 10Гбит/с

портов, поддержка 40/100Г

• Большие таблицы маршрутизации

До 1М RIB, 128K MAC, MPLS

• Консолидация сети передачи данных и сети хранения

Director-class FCoE, DCB

• Высокая доступность, надежность, балансировка нагрузки

ISSU, HA, nonblocking operations, vPC, FabricPath

• Сегментация/изоляция/виртуализация

VDC, VRF

• Масштабируемость control plane и функции мониторинга

Netflow, CoPP и ограничение аппаратными средствами полосы пропускания

Page 40: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000 на уровне доступа ЦОД

• Высокая плотность портов доступа1/10Гбит/с

768 портов 1/10Гбит/с, поддержка “виртуальных модулей”

- Nexus 2000

• Масштабируемость и гибкость решения

EOR/MOR/TOR (Nexus 2000), миграция с 1Гбит/с на

10Гбит/c

• Консолидация ввода-вывода серверов

Director-class FCoE, DCB

• Высокая доступность и надежность

ISSU, HA, vPC, FabricPath Leaf/VPC+

• Сегментация/изоляция/виртуализация

VDC, VRF

Page 41: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Cisco Nexus 7000 для связи ЦОД

• OTV (Overlay Transport Virtualization)

Изоляция сбоев,

L2 связь через любые доступные каналы (IP, MPLS, темная оптика)

Простое объединение любого количества площадок ЦОД

• LISP – оптимизация пути к сервисам

• FCoE на расстоянии до 80 km (карты F2)

• Высокие скорости: 10G/40G/100G

• Дальнобойные трансиверы: SFP-10G-LR, SFP-10G-ER, SFP-10G-ZR, DWDM SFP+

• MacSec – L2 шифрование на скорости порта

• Сегментация/изоляция/виртуализация

VDC, VRF

IP

Page 42: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Сочетание уровней в Nexus 7000 с помощью VDC

2in1

Инфраструктура внутри ЦОД + Связь между площадками ЦОД

Page 43: Семейство коммутаторов Cisco Nexus: возможности и развитие.

Спасибо!

Заполняйте анкеты он-лайн и получайте подарки в Cisco

Shop: http://ciscoexpo.ru/expo2012/quest

Ваше мнение очень важно для нас!