いまさら聞けないDirect Connectのお話し

はじめに

こんにちは、園田です。

前回に引き続き、「いまさら聞けない」シリーズを開催したいと思います。

いまさら聞けないシリーズの第8弾はDirect Connectになります。

結構たくさんNWについてお話ししていましたが、Direct Connectについては書いてなかったみたいなのでいまさら聞けないシリーズで書いてみたいと思います。

今回はNW 100%の記事になります。
NW（BGP含む）が分からない人は置いてきぼりになる可能性がありますが、たまには専門的な記事を書いても良いよね。ということでDirect Connectの記事になります。

一応NWエンジニアを名乗っているので、ちょっとそれっぽい記事を書いてみたいと思います。

恒例のAWS資料を貼っておきます。

Direct Connectってなに？

いまさら聞けないシリーズのお約束です。
まずは、Direct Connectってなに？、から始めましょう。

Direct Connectはお客様のオンプレミス環境とAWS環境を専用線で接続するサービスです。図にすると、こんな感じですね。

こんな感じで、AA（アスキーアート）を使うと途端にNWエンジニアっぽくなりますね。これで園田がNWエンジニアだという事が分かってもらえたと思います。

NWが好きかどうかは、構成図をすぐにAAで示したくなるかを確認するのが良いかもしれません。

話を戻して、
Direct ConnectはオンプレミスとAWSを専用線で接続するサービスですが、他のサービスと異なり、AWSで完結しないサービスです。

どういうことかというと、上の図を分解するとこんな感じになるという事です。

■Direct ConnectのNW分解

簡単に説明すると

①WAN（キャリア回線）

AWSのデータセンター（実際にはAWSのデータセンターでなく、エクイニクスのデータセンターになります）までの足回り回線になります。
99%キャリアが用意する回線を利用します。

②Direct Connect接続ポイント

こちらはエクイニクスのデータセンターになります。
東京であれば、AT TOKYO、Equinix TY2になります。大阪の場合はEquinix OS1になります。

③AWSサービス

現状はDirect Connect Gatewayを使って接続するのが一般的ですね。
ここからAWSの世界になります。

Direct Connect GatewayからVPCをアタッチするパターンもあれば、Transit Gatewayを接続するパターンも存在します。

④VPC

ようやく目的とするNWに接続できました。
結構長いですね。

Direct Connectの接続パターン

Direct Connectの接続パターンですが、どのようなキャリアのサービスを利用するかにより何通りかの接続パターンがあります。

Direct Connectの接続を実施する際はBGPルータが必要となりますが、BGPルータの設置、設定含めキャリアが用意してくれるパターン、自分で用意するパターンなどありますので、ここで纏めておきましょう。

大きく分けて以下の大体4種類ぐらいです。

パターンA

月額XX万円で、AWSと接続してくれるサービスになります。

BGPルータもキャリアが用意して、月額の中に含めてくれます。
オンプレミス側のルータはキャリアが用意してくれたIPアドレスにルーティングを設定すればOKです。
大体冗長接続にしてくれているはずです。（キャリアの担当者に確認しましょう。）

基本全部キャリアにお任せのパターンです。餅は餅屋です。

パターンＢ

現状、WAN（KDDI様のWVSとか、NTTコミュニケーションズ様のUniversal Oneなど）を利用している場合、WAN網から直接Direct Connectを利用可能です。

この場合キャリア側が全て対応してくれるので、利用者は特に何もしなくてよいです。
大体冗長接続にしてくれているはずです。（こちらもキャリアの担当者に確認しましょう。）

パターンAとの違いはすでにキャリアのWANに接続しているか、否かです。
全国に拠点がたくさんあるお客様はこれに該当しますね。

パターンC

構成としては以下の通りです。

キャリアにはあくまでも契約しているエクイニクスラックまでの足回り回線を契約して、AWSと接続するパターンです。

クロスコネクトはエクイニクスのラック間をシングルモードファイバで接続してくれるサービスですが、データセンターが異なる場合は、メトロコネクトというサービスでAWSのDirect Connect接続スイッチと接続してくれるサービスです。

この場合、利用者はAWSのマネジメントコンソールからDirect Connectからポートの払い出しを実施し、LOA-CFAをエクイニクスの担当者に提出しましょう。
AWSとの接続を実施してくれます。
（LOA-CFAは、AWSのどのポートと回線をつなぐといいよ。という指示書になります。）

当然ですが、この場合、BGPルータはお客様が用意、設定する必要があります。
冗長接続にしたい場合、回線を2本用意し、お客様自身で冗長構成にする必要があります。

物理的に用意できない回線（そもそもケーブルを土に埋める工事って、NTTなどの回線業者、ケーブルテレビ会社、鉄道会社ぐらいしかしないです。）以外は、すべて自分たちで用意するという事でかなりの知識量を要求されます。

パターンD

有名どころでは、Coltテクノロジーサービス株式会社様の「AWS専用線／閉域網接続サービス」が該当します。
あくまでL2回線だけを提供するよ。というサービスですね。

標準仕様では、BGPルータはお客様にて用意する形になります。（キャリア側でのレンタルも可能です。割高ですけど）

また、パターンCと同様、LOA-CFAを取得する必要があります。
（取得したLOA-CFAはキャリアに渡すパターンになります。）

なお、この接続の場合、BGPルータはお客様拠点に配置する形となります。（キャリアは光の増幅装置を用意して、お客様先まで光が届くようにしてくれます。）

キャリアから機器をレンタルした場合も、一般的にはお客様拠点のラックに設置になります。コスパの観点から基本はレンタルせずに、用意することを推奨します。

こちらもパターンCと同様、冗長接続にしたい場合、回線を2本契約し、お客様自身で冗長構成にする必要があります。パターンCとDの場合、BGPの知識（設計・設定）は必須となりますね。

接続パターンのメリット・デメリット

各構成のメリット・デメリットですが、

という感じです。
東阪で冗長を組みたいという場合、一般的にはパターンC・Dでないと実施できません。
（BGPで経路制御する形になります。キャリアに東阪で冗長したいと言えば対応してくれるかもしれません。この辺はキャリアの担当者に聞いてみましょう。）

現状、新規で回線引きたいというお客様の場合、パターンC（お客様にてエクイニクスのラックを借りるパターン）は、ほぼ選択されないでしょう。（そんなお客様は既に回線引いているはずなので）

複数拠点を接続するのにWANを利用しているため、パターンBにする。
パターンAをSIerが提案してきたけど、費用が高いのでパターンCになった。みたいなことが多いのではないでしょうか。

Direct Connectの作業担当者はどのパターンの時、どんな作業が発生するのか押さえておきたいところです。
でないと、想定外の作業が発生して慌てることになります。
回線は物理的な作業が発生するので、想定外作業があると、スケジュールに著しく影響が出る可能性がありますので。

Direct Connectの冗長化

Direct Connectの冗長ですが、こちらはBGPにて実施します。

ASが異なるため、EBGPになります。

こんな感じですね。

ルータA、ルータB共にAWSとBGPで接続する形になります。

〇AS番号

AWS側、およびオンプレミス側のAS番号はプライベートASを任意で指定可能です。
64512～65534の間で任意に指定しましょう。

なお、AWS側はDirect Connect Gateway（もしくは直接接続する際はvgw）を作成する際に「ASN」として指定する形になります。ASNはAS Numberの略ですが、ASNって凄く分かりにくいので、AS Numとかして欲しいです。

デフォルトは64512になっていますので、オンプレミス側のルータは64512以外の番号にしておくと良いでしょう。
AS番号が被れないことを念頭に入れ、65510とか微妙な番号にしておくのが良いと思います。

〇IPアドレス

AWSとの接続IPは何でも良いです。
「/30」の空いているプライベートIPを使うと良いでしょう。

プライベートIPを払い出したくないという場合は、特殊なIPを使ってもよいでしょう。

特殊なIPはこんな感じ
169.254.0.0/16　リンクローカルアドレス
100.64.0.0/10　共有アドレス（Share Address Space）
198.18.0.0/15　ネットワークベンチマークテストアドレス

よく分からないという場合は、プライベートIPを使いましょう。その方が無難です。
なお、パターン①、②のパターンの場合、大体キャリアがこのIPを指定してくれるはずです。

〇経路制御

オンプレミス→AWSについては、「local preference」になります。
①に200、②に100とか設定すれば、ルータAを通る形になります。

AWS→オンプレミスについては、「AS PATH Prepend」になります。

①は特に何も設定しない。②に自身のAS PATHを追加すれば、ルータAを通る形になります。

一応、AWS側のASは同じになるので、「MED」も利用可能です。
ただし、MEDについては正式ドキュメントに記載が無いため、非推奨になります。

MEDの場合、①にMED 10、②にMED 20を設定するとルータAを通る形になります。
（「local preference」と「MED」は逆なのでややこしいですね）

なお、経路制御を一切しない場合、BGPの経路制御ルールに則り、BGP Peerのリンクアップの時間が早い経路を利用します。
ただし、こちらもAWSのドキュメントに記載が無いため、変更になる可能性があります。

一点注意点ですが、この経路制御ですが、AWS側からは一切確認することはできません。
オンプレミス側の機器からBGPコマンドで確認する必要があるのでご注意ください。

Direct Connectの接続先

とりあえずDirect Connect Gatewayにしておけば問題ありません。
Direct Connect Gatewayは最大20個のVPC（厳密にはvgw）と接続が可能です。

別アカウント、並びに別リージョンのVPCと接続が出来るので、AWSを大規模に利用する場合でなければ全く問題がありません。
20個以上VPCを接続する予定がある場合は、以下のどちらかを選択する形になります。

案1：Transit Gatewayを利用する

のパターンになります。

この場合、Transit Gatewayが接続できるVPCの数に制限はありません。

注意点としては、Transit Gateway のアタッチメントごと「50.4ドル（30日）」の費用が発生することです。
また、Transit Gatewayは別リージョンのVPCと接続できないので、リージョン毎にTransit Gatewayを作る必要があります。

若干構成が複雑になるのと費用が発生するのがネックですね。

とはいえ、Transit Gatewayを利用するのが一般的でしょう。

契約したキャリアの制限でTransit Gatewayの利用が出来ない場合もありますので注意が必要です。必ずキャリアにTransit Gatewayに接続できるかを確認しましょう。

案2：Direct ConnectのVIFを追加で払い出す

最初の方で記載した、設計パターンC、Dの場合、複数のVIFを払い出すことが出来ます。
（ぶっちゃけ、回線側から見るとただ単にVLANの払い出しです）

1つのDirect ConnectのVIFにつき、1つのDirect Connect Gatewayを接続可能になるため、VIFを複数払い出すことが出来ると複数Direct Connect Gatewayを作成・接続が可能です。

具体的には100個のVPCと接続するにはDirect ConnectのVIFを5個払い出せばOKです。

設計パターンA、Bでこの構成が取れるかどうかは回線業者に確認ください。
なお、Direct Connect Gatewayを経由してVPC間接続は利用できません。

具体的にはこんな構成の場合、VPC1とVPC2は通信できません。

VPC1とVPC2が通信したい場合は、別途Transit Gateway、またはVPC Peeringを利用する必要があります

耐障害性の強化

AWSとの接続についてはBFDが利用できるので、BFDが利用可能なルータの利用を推奨します。

BFDの設定についてはこちら

BFDが無いとBGPの標準、Keep Alive 30秒、Hold Time 90秒という設定になってしまいますからね。（RFC 4271）

なお、いくら何でも90秒は長すぎ、という場合もBFDが無いとせいぜいKeep Alive 10秒、Hold Time 30秒が限界でしょう。
（10/30についてはCUVICnAWSのサービスでの安定稼働の実績があります）

BFDを使えば1秒とかで切り替え可能なので、レベルが違います。

問題はCisco様のとかの場合、高いルータしかBFDに対応していない点ですね。
担当者にBFDに対応している機器としていない機器の見積もりを必ず取るようにしましょう。

終わりに

という訳で、「いまさら聞けないDirect Connectの話」でした。

うーん、Direct Connectはちょっと難しいですね。
書いていてあれですが、読んだ人がきちんと理解できる自信がありません。

ただ書き終わった後、AWSの資料を見たらやっぱり難解なのでまぁいいかな、と思いました。
NWは分かる人は分かるけど、分からない人は分からない感が凄く、分かり易く書くのは本当に難しいです。

前提知識の濃淡でだいぶ理解度が変わってしまうというのが、NWがとっつきにくい由縁だと思います。

とりあえず、いまさら聞けないシリーズの目標である、「とりあえずこれ読んでおけば何とかなる」レベルまで記載はしています。
細かい点は所々諸々ありますが、取りあえず読んでおけばキャリアと話は出来ると思います。

クラウドが全盛とはいえ、結局つなぐという点でNWはなくなりません。というか、重要度が増している気がします。
NWが苦手な方も頑張って勉強しましょう！
Direct Connectは正直最後の山場です。

ではまた、別の記事でお会いしましょう。