YJTC18 A-1 データセンタネットワークの取り組み

データセンタネットワークの取り組み

サイトオペレーション本部インフラ技術3部

村越健哉

Copyright 2018 Yahoo Japan Corporation. All Rights Reserved.


自己紹介

•村越健哉（むらこしけんや）

•サイトオペレーション本部インフラ技術3部部長

•第6代/第7代黒帯〜ネットワーク〜

• 2012年からヤフーへ

• プロダクションネットワーク全般を担当


アジェンダ

• ネットワーク概要• Backbone Network

• Data Center Network

• 苦労している点

• データセンタネットワークの取り組み• Design

• Box/Chip

• Automation

ネットワーク概要




Internet

EDGE（CDN）

Backbone Network

Data CenterNetwork



Internet

EDGE（CDN）

Backbone Network

Data CenterNetwork

Yahoo! JAPAN Network Infra



Internet

EDGE（CDN）

Backbone Network

Data CenterNetwork

Yahoo! JAPAN Network Infra

サーバ：80,000VM：100,000ルータ：70+コアスイッチ：200+ロードバランサ：600+エッジスイッチ：4500+マネージメントスイッチ：3000+



Internet

EDGE（CDN）

Backbone Network

Data CenterNetwork


Backbone Network

東北

東京

大阪

九州

AS 24572 AS 23816

Internet Internet

CDNCDN


Actapio, Inc.

AS24572

Actapio, Inc.

AS23816

AS18140


Actapio, Inc.

Actapio, Inc.

IngressZilla


Backbone Network

東北

東京

大阪

九州

CDNCDN

AS 24572 AS 23816

Internet Internet


Backbone Network

東北

東京

大阪

九州

CDNCDN

AS 24572 AS 23816

Internet Internet

対外接続 500Gbps以上


Backbone Network

東北

東京

大阪

九州

CDNCDN

AS 24572 AS 23816

Internet Internet

対外接続 500Gbps以上動画トラフィックは7〜8割ニュース動画、GYAOなどによりNorth-Southのトラフィックは増加傾向


Backbone Network

東北

東京

大阪

九州

CDNCDN

AS 24572 AS 23816

Internet Internet

対外接続 500Gbps以上動画トラフィックは7〜8割ニュース動画、GYAOなどによりNorth-Southのトラフィックは増加傾向

IF増速、機器のグレードアップ＝Scale Upで対応



Internet

EDGE（CDN）

Backbone Network

Data CenterNetwork


Data Center Network

・・・・・・


Data Center Network

Backbone

Aggregation（棟 or フロア集約）

1棟 or 1フロア 1棟 or 1フロア 1棟 or 1フロア

・・・・・・


Data Center Network

・・・・・・

ToRのトータルトラフィックは？


Data Center Network

九州DCのエッジ uplinkTotal Traffic

東北DCのエッジ uplinkTotal Traffic

・・・・・・

約3.6 Tbps 約1.5 Tbps


Data Center Network

・・・・・・

全拠点で約10Tbps対外接続500Gbpsの20倍




Data Center Network

HadoopやComputeとストレージ分離などによりEast-Westトラフィックが急激に増加

・・・・・・

全拠点で約10Tbps対外接続500Gbpsの20倍




Data Center Network

Traditional Network CLOS Fabric Network(zone security)

・・・・・・

East-Westに弱い East-Westに強い


Data Center Network

• Janog38 ヤフーのIP CLOS ネットワークを参照• https://www.janog.gr.jp/meeting/janog38/download_file/clos.pdf

・・・・・

Internet

・・・・・

Spine

Core

Router

Layer3

Layer2

ルーティング経路はECMP（Equal Cost Multi Path）

eBGP

・・・・・・・・・・

4x40G

AS6500

AS65101 AS65102 AS651xx AS651xy AS65301 AS65302 AS653xx AS653xy

リンク間は/31で節約

leaf配下は/26や/27

BFDで素早く検知Bidirectional Forwarding Detection

BGPのAS番号はPrivate ASを利⽤

ACL(zone security)


苦労している点

• Traditional Networkの更改• 20年以上の歴史

• それぞれの時代に応じたネットワーク機器・構成

• 保守費、保守期限、故障との戦い


ネットワーク概要まとめ

• North-South トラフィック• 動画トラフィックにより増加傾向

• Scale Upで増速、増強し対応

• East-West トラフィック• Hadoop、ストレージネットワークなどにより急激に増加

• Scale Upでは限界のため、Scale Outで対応

• zone securityでCLOS Fabric ネットワークを構築

•歴史のあるネットワーク更改に苦労




https://code.facebook.com/posts/1782709872057497




Facebook Yahoo! JAPAN

Design CLOS Fabric NW CLOS Fabric NW

Automation Home Grown Tool Home Grown + OSS + Apstra

SoftwareNWメーカー

OSFBOSS

NWメーカーOS

EOS CumulusNX-OSJunos

Chip汎用ASIC

（Broadcomなど）カスタム

ASIC汎用ASIC


ASIC

Box NWメーカーOCP

(Wedge, Backpack)NWメーカー Arista White Box

CiscoJuniper


Design





OSFBOSS

NWメーカーOS


Chip汎用ASIC


ASIC汎用ASIC


ASIC



CiscoJuniper


Design

Traditional Network CLOS Fabric Network(zone security)

ACLACL 同じセキュリティポリシー

であれば構築可能

L3

L2

・・・・・・


Design

• ACL数がコアスイッチで最大110,000以上


Design

• ACL数がコアスイッチで最大110,000以上

分散が必要


Design

• iptablesベースのセキュリティ管理システムを開発

•開発環境で最終テスト中

・・・・・・

様々なセキュリティポリシーが共存可能


Box/Chip





OSFBOSS

NWメーカーOS


Chip汎用ASIC


ASIC汎用ASIC


ASIC



CiscoJuniper


Box/Chip

•汎用ASICとカスタムASIC• 安く、タイムリーな速度のIFを利用 → 汎用ASIC（Broadcomなど）

• Inbound TelemetryなどカスタムASICでしかできないことも検討中

•昔：メーカー冗長

•今：Chip Diversity


Box/Chip

• Advent Calendar 2017 参照• データセンタネットワークの取り組みとFacebook Backpack• https://techblog.yahoo.co.jp/advent-calendar-2017/datacenternetwork_backpack/

Fabric1 Fabric2 Fabric3 Fabric4

LC1-L LC1-R LC2-L LC2-R LC3-L LC3-R LC4-L LC4-R

Backpack

swp1〜16 swp17〜32

ECMPBGP

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OSCumulus® Linux®

Network OS

Cumulus® Linux®

Net work OSCumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS

Cumulus® Linux®

Net work OS


Automation





OSFBOSS

NWメーカーOS


Chip汎用ASIC


ASIC汎用ASIC


ASIC



CiscoJuniper


Automation

• Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-00.pdf


Automation

• Janog40 ソフトウェアエンジニアがネットワーク部隊に来ていろいろやってみた参照• https://www.janog.gr.jp/meeting/janog40/application/files/9015/0103/0898/janog40-soft-ando-00.pdf

既存のネットワーク機器は自動化、可視化ができている


Automation

• Apstra AOS：CLOS Fabricに特化した自動化ツール• Intentベース（アドレス、ラック数、アップリンク帯域などを定義するだけ）

• Config自動生成

• ケーブルミス、障害解析、Telemetryなど運用向上

自前でできないものをカバー


Automation

• 国内DC Hadoopネットワークリプレース

100GBGP, ECMP


DCNW取り組みまとめ

• Hyper Scale(OTT)の良いところをうまく取り入れる

• Design• 新しいセキュリティ管理システム• CLOS Fabric Network

• Box/Chip• Chip Diversity• 新しい取り組みとしてFacebook Bakcpack

• Automation• 自前運用ツール• CLOS Fabricに新しい運用ツール（Apstra）


YJTC18 A-1 データセンタネットワークの取り組み

Technology