さくらのクラウドにおける L2ネットワークの仕様についてMAC：AAAA IP：192.168.0.2 MAC：BBBB IP：192.168.0.3 MAC：CCCC IP：192.168.0.4 MAC：DDDD MACアドレステーブル

さくらのクラウドにおけるL2ネットワークの仕様について

～DSR構成のLVS構築時にお気をつけいただくために～

2018/9 さくらインターネット株式会社クラウドチーム

(C) Copyright 1996-2018 SAKURA Internet Inc

ARPの仕組み（１）

2

A B C DサーバBに通信したい

IP：192.168.0.1MAC：AAAA

IP：192.168.0.2MAC：BBBB

IP：192.168.0.3MAC：CCCC

IP：192.168.0.4MAC：DDDD

1 2 3 4

MACアドレステーブル

ポート MACアドレスサーバAからサーバBに通信をしようとしています。この時点ではスイッチのMACアドレステーブルは空の状態とします。

ARPの仕組み（２）

3

A B C D

ARPリクエスト

1 2 3 4






ポート MACアドレスTCP/IPのネットワークでは、通信を行う際、送信先のIPアドレスとMACアドレスが必要となります。そのアドレス解決を行うプロトコルをARPと言います。

サーバAはサーバBのMACアドレスを知る必要があるので、そのリクエスト（ARPリクエスト）をブロードキャスト（宛先 FF:FF:FF:FF:FF:FF）で送信します。

192.168.0.2の機器のMACアドレスを知りたい

IPアドレス MACアドレス

arpテーブル

ARPの仕組み（３）

4

A B C D


1 2 3 4





ポート MACアドレスポート1 ： AAAA

スイッチのポート1でARPリクエストを受信した時点で、MACアドレステーブルに送信元（サーバA）の情報が登録されます。

ARPリクエスト


arpテーブル

ARPの仕組み（４）

5

A B C D

1 2 3 4







ARPリクエストが同一セグメントにブロードキャストされます。


arpテーブル

ARPの仕組み（５）

6

A B C D

1 2 3 4







サーバBはARPリクエストの中身を見て、自分宛のリクエストだと気付きます。

192.168.0.2の機器は自分！

自分ではないので無視

自分ではないので無視


arpテーブル

ARPの仕組み（６）

7

A B C D

1 2 3 4







サーバBは自身のMACアドレスをサーバAに伝えるため、ARPリプライを送信します。※送信先はサーバAのみ

ARPリプライ


arpテーブル

ARPの仕組み（７）

8

A B C D

1 2 3 4






ポート MACアドレスポート1 ： AAAAポート2 ： BBBB

スイッチのポート2でARPリプライを受信した時点で、MACアドレステーブルに送信元（サーバB）の情報が登録されます。


arpテーブル

ARPの仕組み（８）

9

A B C D

1 2 3 4







ARPリプライがサーバAに届き、サーバAはサーバBのMACアドレスを知ることができました。

IPアドレス MACアドレス192.168.0.2 ： BBBB

ARPテーブル

ARPの仕組み（９）

10

A B C D

1 2 3 4







送信元：192.168.0.1（AAAA）送信先：192.168.0.2（BBBB）

パケットの中身

サーバAからBへの通信

MACアドレステーブルの情報は一定時間で消去されます。※一般的には5分後、さくらのクラウドでは24時間後https://manual.sakura.ad.jp/cloud/support/technical/network.html


ARPテーブル

※一定時間で消去

サーバAはサーバB（送信先）のMACアドレスを知ることができたので、サーバBに通信することができます。

通信が同一セグメントにフラッディングされるケース

11

A B C D

1 2 3 4






ポート MACアドレス

サーバAからBへの通信


ARPテーブル

サーバAからBへの通信時、・スイッチのMACアドレステーブルは空・サーバAのARPテーブルに情報あり

この場合、サーバAからの通信は送信元以外のポートにフラッディングされます。

フラッディングの通信（1対多）が発生した場合、回線が輻輳し他のお客様へ影響を与える可能性があります。そのため、さくらのクラウドではフラッディングパケットの総量帯域が制限されています。https://manual.sakura.ad.jp/cloud/support/technical/network-settings.html#dsr

空

12

DSR構成のLVSを構築するケース

DSR構成のLVSのケース（構成概要）

13

DB

LVSを使用したネットワーク構成例

LVS（DSR構成）

AP

WEB ・・・

B C




LVS（DSR構成）

DB1 DB2

A

AP-A


物理スイッチα仮想スイッチ

物理スイッチβ・・・3 5

1 2 6

4

DSR構成のLVSのケース

14

APサーバからDBへの通信をLVSで分散する部分を抽出した図になります。

なお、今回はDSR構成ですので、DBサーバに分散された通信は、LVSを経由せず直接APサーバに返ります。

※以下は、LVSがサーバCを分散先としたケース

B C




LVS（DSR構成）


DB1 DB2

A

AP-A


物理スイッチβ・・・

1 2 6

43 5


15

通信初期の段階では、サーバAのARPテーブル、各物理スイッチのMACアドレステーブルは空の状態とします。

まず、サーバAはLVSに通信するためにARPリクエストをブロードキャストで送信します。

B C




LVS（DSR構成）

DB1 DB2

LVSに通信したいIPアドレス MACアドレス


ARPテーブル


A

AP-A




2 61

4



ARPリクエスト


16

B C




LVS（DSR構成）

DB1 DB2


ARPリクエストが同一セグメントにブロードキャストされます。

スイッチの各ポートでARPリクエストを受信した時点で、MACアドレステーブルに送信元（サーバA）の情報が登録されます。


A

AP-A



ARPテーブル



2 61

4

ポート MACアドレスポート5 ： AAAAポート MACアドレス

ポート4 ： AAAA


17

B C




LVS（DSR構成）

DB1 DB2


LVSはARPリクエストの中身を見て、自分宛のリクエストだと気付きます。


A

AP-A



ARPテーブル



2 6


1


4


18

B C




LVS（DSR構成）

DB1 DB2


ARPリプライ

LVSは自身のサーバAにARPリプライを送信します。※送信先はサーバAのみ


A

AP-A


ARPテーブル




21 6

4




19

B C




LVS（DSR構成）

DB1 DB2


ARPリプライ

ARPリプライがサーバAに届き、サーバAはLVSのMACアドレスを知ることができました。


A

AP-A

IPアドレス MACアドレス192.168.0.4 ： DDDD

ARPテーブル




1 2

4

6


ポート4 ： AAAAポート1 ： DDDD


20

B C




LVS（DSR構成）

DB1 DB2


サーバAはLVSのMACアドレスを知ることができたので、LVSに通信することができます。



A

AP-A


ARPテーブル


送信元 IP：クライアント送信元 Mac：クライアントあて先 IP：LVS（VIP）あて先 Mac：振り分け先サーバ

送信元：192.168.0.1（AAAA）送信先：192.168.0.4（DDDD）

物理スイッチα3 5仮想スイッチ


1 2 6


ポート4 ： AAAAポート1 ： DDDD

4


21

B C




LVS（DSR構成）

DB1 DB2

6


LVSは分散先のサーバとしてサーバCを選択したとします。LVSはサーバCのMACアドレスを調べるため、ARPリクエストを送信します。

ARPテーブル

IPアドレス MACアドレス192.168.0.1 ： AAAA


A

AP-A



ARPテーブル



ARPリクエスト

ポート MACアドレスポート5 ： AAAAポート5 ： DDDD

4

1 2

ポート MACアドレスポート4 ： AAAAポート1 ： DDDD


22

B C




LVS（DSR構成）

DB1 DB2


ARPテーブル

IPアドレス MACアドレス192.168.0.1 ： AAAA192.168.0.3 ： CCCC

ARPリプライがLVSに届き、LVSはサーバCのMACアドレスを知ることができました。

ARPリプライ


A

AP-A



ARPテーブル



621

4

ポート MACアドレスポート5 ： AAAAポート5 ： DDDDポート6 ： CCCC



23

B C




LVS（DSR構成）

DB1 DB2


ARPテーブル


LVSはサーバCのMACアドレスを知ることができたので、サーバCに通信することができます。

送信元：192.168.0.1（DDDD）送信先：192.168.0.4（CCCC）


A

AP-A



ARPテーブル


送信元 IP：クライアント送信元 Mac： LVS（VIP）あて先 IP：VIPあて先 Mac：振り分け先サーバ



1 2 6

4




24

B C




LVS（DSR構成）

DB1 DB2


ARPテーブル


DSR構成のため、サーバCからの戻りの通信は、LVSを経由せず直接サーバAに送信されます。

サーバCはサーバAのMACアドレスを調べるため、ARPリクエストを送信します。

ARPリクエスト

A

AP-A



ARPテーブル



ARPテーブル



621



4


25

B C




LVS（DSR構成）

DB1 DB2


ARPテーブル


ARPリプライがサーバCに届き、サーバCはサーバAのMACアドレスを知ることができました。


AP-A



ARPテーブル

A


ARPテーブル



1

4

2 ARPリプライ 6




26

B C




LVS（DSR構成）

DB1 DB2



ARPテーブル


サーバCはサーバAのMACアドレスを知ることができたので、サーバAに通信することができます。

送信元：192.168.0.3（CCCC）送信先：192.168.0.1（AAAA）


AP-A



ARPテーブル

A


ARPテーブル

送信元 IP：VIP送信元 Mac：振り分け先サーバあて先 IP：クライアントあて先 Mac：クライアント


物理スイッチβ4

1 2 6



意図せず帯域制限される可能性のあるケースについて（1）

27

B C




LVS（DSR構成）

DB1 DB2

物理スイッチα





ARPテーブル


このDSR構成ですとサーバAとサーバCによるARPリクエスト（ブロードキャスト）以外、「サーバA⇒サーバC」の通信が発生ません。また、LinuxサーバのARPテーブルは仕様上保持される傾向があり、サーバからARPリクエストは送信されません。つまり、物理スイッチβはサーバAのMACアドレスを、改めて知る機会をほぼ失ったことになります。


AP-A



ARPテーブル

A


ARPテーブル

321

54

仮想スイッチ物理スイッチβ

6・・・


28

B C




LVS（DSR構成）

DB1 DB2



ARPテーブル


この状態が続き、物理スイッチβのMACアドレステーブルの情報が消去（エージング）されると、サーバCからサーバA宛ての通信は、以下のようにフラッディングされます。


AP-A



ARPテーブル

A


ARPテーブル


物理スイッチβ

1 2

4

6・・・




29

各サーバから定期的なpingを打ち相互にMACアドレスの学習を促す仕組みの実装(弊社のロードバランサー仮想アプライアンスは元々対策を実装済みです)

対策例

さくらのクラウドにおける L2ネットワークの仕様についてMAC：AAAA IP：192.168.0.2 MAC：BBBB IP：192.168.0.3 MAC：CCCC IP：192.168.0.4 MAC：DDDD MACアドレステーブル

Documents