JapaneseEnglish

事例・レポート

事例

Cumulus LinuxをYJ Americaデータセンターに導入し「L3 Closネットワーク」を構築

ヤフー株式会社 様

会社名
ヤフー株式会社
所在地
〒107-6211 東京都港区赤坂9-7-1 ミッドタウン・タワー
設立
1996年1月31日
従業員数
5,480人(2015年12月31日現在)
URL
http://www.yahoo.co.jp/

2015年4月、米国の現地法人であるYJ America, Inc(以下、YJ America)のデータセンターを本格稼働させたヤフー株式会社(以下、ヤフー)は、同データセンターにて構築中の次期Hadoop基盤向けネットワークにCumulus Networks合同会社(以下、Cumulus)が提供するネットワークOSであるCumulus Linuxを利用して「L3 Closネットワーク」を構築。Cumulus Linuxの先進的なアーキテクチャを使い、指数関数的に増大するビッグデータを分析するためのインフラ整備を進めるヤフーを、CTCは事前の入念な検証や現地データセンターにおける導入サポートで支えた。

ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 部長 村越 健哉氏

ヤフー株式会社
システム統括本部
サイトオペレーション本部
インフラ技術3部
部長 村越 健哉氏

ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 津秦 知士氏

ヤフー株式会社
システム統括本部
サイトオペレーション本部
インフラ技術3部
津秦 知士氏

導入背景

大規模Hadoop基盤向けネットワークでの課題

日本最大級のポータルサイト「Yahoo! JAPAN」を運営するヤフーでは、検索・広告・ショッピング・ニュースなど100を超えるサービスを提供しており、月間ページビューは631億(2015年10~12月平均)に達する。このサービスコンテンツから得られた膨大なデータを日々活用するため、7,000台という大規模なHadoop基盤を運用している。当然、それを支えるネットワークインフラにも高い要求があった。「当初はパフォーマンスと安定性に欠けていました」と、同社 システム統括本部 サイトオペレーション本部 インフラ技術3部 部長 村越 健哉氏は振り返る。

2012~2013年にかけて、ヤフーではL2ファブリックで構成されたネットワークでリンクの利用を効率化した。ところが、BUMトラフィックによるコアスイッチのCPUリソースに影響が出始めるなど、新たな課題が浮上していた。

2015年6月、YJ Americaのデータセンターに次期Hadoop基盤を2,000ノード構築するプロジェクトが立ち上がり、既存ネットワークの課題を踏まえた検討が始まった。そこで、以前から検討していたL3 Closネットワークの採用を決めた。「L3 Closネットワークを導入すれば、BUMトラフィックの影響範囲をLeafスイッチ内に極小化することができます。また、Spineスイッチを増設することでシステムの帯域が広がり、スモールスタートが可能になりました」(村越氏)。

課題と期待効果

課題と期待効果

システム概要

先進的なCumulus Linuxの機能とCTCの技術

大規模なネットワークではスイッチ間のリンクやBGP(経路制御プロトコル:Border Gateway Protocol)のネイバー数が膨大になり管理が煩雑になるため、L3 Closネットワークに移行する上での問題点であった。これらの問題点に対して、解決策を用意していたのがCumulus Linuxだった。

「Cumulus Linuxには、スイッチ同士の配線ミスを自動検知することで物理作業時間を短縮する『PTM』、ユニークなIPアドレス設定をせずにBGPネイバーを確立することで膨大なIPアドレス管理の負荷を最小化できる『BGP unnumbered』、スイッチにリンクを接続するだけでその端末へのルーティング情報をネットワーク上に広報できる『Redistribute Neighbor』など、他社にはない先進的な機能があり、選定の決め手になりました。今後利用していきたいと思います」と、村越氏はCumulus Linuxの先進性を高く評価した。

Hadoop基盤を稼働させるサーバ、ストレージについては、現地法人であるYJ AmericaがOCP(Open Compute Project)の使用を検討し、機種選定のための検証支援をCTCに依頼。CTCのグループ会社であるCTCアメリカが各OCPベンダーと連携し、YJ Americaでの検証を支援した。

一方、日本ではヤフーとCTCの共同でCumulus LinuxでのL3 Closネットワーク採用に向けた検証を実施。村越氏は「CTCは新しい技術に対しても非常にアグレッシブに提案してくれます」と、先進的なアーキテクチャであるCumulus Linuxに対して共同検証を提案し、課題の解決を行ったCTCも高く評価した。システム統括本部 サイトオペレーション本部 インフラ技術3部 津秦 知士 氏も「CTCには弊社システムの保守も依頼していますが、日頃の障害対応でも非常に丁寧で信頼があります」と語る。

検証結果は良好で、「CTCが詳細な検証を行ってくれたので運用のイメージがしやすく、すぐに吸収できました」と津秦氏が語る通り、運用への不安も取り除かれた2015年の秋、ヤフーは正式に導入を決めた。

L3 Clos ネットワーク

導入効果

導入コスト・学習コストを削減

本格的な稼働はこれからだが、ホワイトボックススイッチを使うことで従来のスイッチに比べておよそ2倍のコストダウンを実現した。「Leafスイッチやリンクの数は増えますが、一般的な光トランシーバーが使えるのはメリットです」と村越氏は断言。「開発を行っていた社員が異動してくることも多いので、Linuxベースであることも大きなポイントでした。コマンドやアーキテクチャが学習しやすく、DevOpsの取り組みにも生かすことができます」と、津秦氏は使いやすさについてもCumulus Linuxを評価する。

今後の展望

最新機能を利用してCumulus Linuxを展開

「おかげさまでインフラ整備のきっかけになりました」という村越氏は、いずれはCumulus Linuxの先進的な機能を全面的に利用していきたいと意気込んだ。また、「L3 Closネットワークが適したHadoopなどのネットワークインフラには、今後も積極的に採用していきたいです」と今後の展望を語る一方で、「CTCとCTCアメリカの連携は素晴らしく、北米の最新技術の提案だけでなく、導入中の初期障害対応もサポートいただきました。時差によりベンダーとのコミュニケーションが遅れる不安もなく心強かったです。今後も最新技術を共有していただきたいです」と、改めてCTCグループの総合力を高く評価した。情報技術で人々や社会の課題を解決する「課題解決エンジン」であり続けるYahoo! JAPANをCTCが新たな技術で支えている。

お問い合せはこちらから

お問い合わせフォーム

記載内容は掲載当時のものであり、変更されている場合がございます。

トップに戻る