信頼性の高いインターネットエクスチェンジインフラ

オーストラリア・インターネット協会（IAA）の持続可能なIXPネットワークの構築

オーストラリア・インターネット協会（IAA: Internet Association of Australia）は、オーストラリア全土でピアリング、仮想専用線（VLL）、クラウドアクセスサービスを提供するインターネットエクスチェンジネットワークを運営しており、同国においてより優れた、100％信頼性の高いインターネット環境を構築することを目標としています。インターネット・ピアリングは、インターネットを構成する基盤であり、企業、公的機関、個人が貴重なデジタルリソースに接続するために不可欠です。つまり、ウェブホスティングから教育、動画ストリーミング、ゲーム、その他無数のデジタルサービスに至るまで、増大する需要を支えるために、適切な重要インフラが整備されていなければなりません。

しかし、IAAがピーク時に100％の可用性と900Gbpsの速度を提供するというパフォーマンス目標を達成し続けるためには、頻繁な改善、更新、および近代化の取り組みを通じてインフラを維持しなければなりません。つまり、どの機器が目標達成を支援し、どの機器が足かせとなっているかを絶えず評価する必要があるのです。

IAAの既存のネットワーク管理ソリューションはサポート終了を迎え、このジレンマの焦点となりました。Arista、Cisco、Extreme Networks、Juniperの機器が設置された35の分散拠点に加え、数多くのサーバーリソースを抱えるIAAには、インフラを24時間体制で稼働させ続けるために、ファイバー接続と真の無人運用（lights-out）管理を実現できる新しいネットワーク管理ソリューションが必要でした。これには、以下の課題を克服することが求められました：

• 本番ネットワークとは完全に分離された真のアウト・オブ・バンド管理ネットワークを構築し、ルーティングエラー発生時に管理アクセスを確保する
• 全35カ所の拠点において、完全なリモート仮想環境を提供する
• ネットワークスイッチおよびサーバーへのリモートアップグレードを提供し、アップグレードの失敗、設定の問題、人為ミスからリモートで復旧できる機能を提供する
• パケットキャプチャやトラブルシューティングのためのツールをローカルで実行する
• 自動化を実現し、迅速な導入と人的介入の削減を図る

IAAは、Nodegrid NetSRおよびNodegrid GateSRを導入することで、これらの課題に対処しました。

インターネットは、さまざまなインターネットサービスプロバイダ（ISP）、コンテンツプロバイダ、政府機関、教育機関、および企業ネットワークからなる多数のネットワークで構成されており、これらは高価な物理リンクを介して相互に接続されています。

インターネットエクスチェンジポイント（IXP）は、接続ハブとして機能することで、これらの異なるネットワーク間でインターネットトラフィックを効率的かつ低コストに交換するために設立されました。IAAはインターネットエクスチェンジ（IX）ネットワークを運営し、オーストラリア全土で6つの独立したIXPを管理しており、その目標は、インターネット伝送コストを最小限に抑えるだけでなく、オーストラリアのインターネットの速度と信頼性を高めることにもあります。

図：ピアリングなしで接続するISP（左）、ピアリングありで接続するISP（右）

IAAのインフラストラクチャは、いわゆる「ピアリング契約」を可能にします。各ISPが接続先のすべてのISPと個別に物理的な回線を設ける（左の図参照）のではなく、IXPを利用することで、ISPは1本の回線を使ってピアと接続できるようになります（右の図参照）。これにより、特に接続するISPの数が増えるにつれて、接続数の削減とそれに伴うコストの削減が可能になります。

ピアリングサービスに加え、IAAはNetflix、Google、Facebookといった人気コンテンツサービスに代わって、コンテンツリポジトリやキャッシュも運用しています。これにより、大容量のトラフィックが最も安価かつ最速の経路を通じてISPのネットワークに直接流入するため、ISPにとっての価値はさらに高まります。

IAAがユーザーにインターネットサービスを提供するために、オーストラリア全土の35カ所のポイント・オブ・プレゼンス（PoP）で6つのエクスチェンジポイントを運用しています。各サイトでは、本番ネットワークと管理ネットワークの両方を運用するために、Arista、Cisco、Extreme Networksなど、さまざまなベンダーの機器が必要です。

インターネットエクスチェンジ（IX）事業者として、IAAはユーザーに対し高水準の可用性を提供しなければなりません。

同社のアーキテクチャには、専用のインバンドおよびアウトオブバンド（OOB）管理ネットワークが含まれており、これは主に老朽化したCisco製の機器で構成されていました。また、このネットワークは複雑で、加盟顧客にVLANを提供するほか、オーストラリア全土にわたってISPや著名な企業・政府ネットワークに対して、リモートピアリングおよびクラウドへの直接相互接続サービスを提供しています。

画像：IAAの既存のソリューションでは、各拠点に3台の別々の管理デバイスを設置する必要があった

この既存のアウト・オブ・バンド管理ソリューションでは、各拠点に以下の3台の別々のデバイスを設置する必要がありました。

• ネットワーク間のトラフィックを管理し、複数の拠点デバイスが同じインターネット接続を利用できるようにするルーター
• オンサイトおよびVLAN間のルーティングをサポートする、L2/L3スイッチ／ルーターとして機能するルーター
• 予備の接続手段を提供するLTEモデム

しかし、Cisco製デバイスがEOL（製造終了）を迎えることを知ったIAAは、近代化の取り組みに遅れを取らないよう、アーキテクチャの再評価を行いました。

これにより、同社はいくつかの重大な課題を特定することができました：

• 2台のデバイスがアップデートやサポートの対象外となったため、管理ネットワークが本番ネットワークを完全にサポートできなくなり、ダウンタイムやセキュリティ侵害のリスクが高まっていました
• 各拠点に3台の別々のデバイスが設置されていたため、1台が故障するだけで管理ネットワークが停止する可能性があり、ダウンタイムのリスクが高まっていました
• 専用機器を使用していたため、チームは合計100台以上のデバイスの管理と保守を余儀なくされ、作業負荷が増大し、ビジネス目標に注力する時間が奪われていました
• LTEモデムは管理ネットワークのバックアップ接続としてのみ機能しており、本番ネットワークが停止した場合には使用できませんでした
• 既存のソリューションは、進行中の自動化の取り組みに対応しておらず、迅速な導入や自動化されたメンテナンスを通じてサービスを改善することが妨げられていました
• これらの問題により、既存のソリューションでは、故障したデバイスへの信頼性の高いリモートアクセスを保証できず、現場への訪問が必要となるケースが増加していました

IAAは、1台あたり月額250ドル以上かかることもあるサードパーティの保守プロバイダーへの投資を避けるため、インフラの刷新を図りました。しかし、前述の課題が相まって、IAAは「サービスを停止させることなく、より耐障害性の高いインフラをどのように導入するか」という極めて重要な課題に直面することになりました。

IAAは、既存スイッチメーカーの新しい製品を利用してEOL（製造終了）デバイスをアップグレードすることを検討しましたが、数年後には同じ問題に直面することになるため、最終的にはこの案を見送りました。また、既存のベンダーが提供するクラウドベースの管理ソリューションも検討しましたが、コストが高すぎる上、カスタム自動化スクリプトの使用など、IAAが必要とするカスタマイズ機能も提供されませんでした。また、別のベンダーから概念実証（PoC）も実施してもらいましたが、そのベンダーはネットワーク、ルーティング、セルラー接続、その他の機能を統合して複雑さを軽減することができませんでした。

こうした代替案に内在する欠点から、IAAは、機能性、簡便性、または耐障害性を損なうことなく、重要なインフラを無期限に維持できるソリューションを模索することになりました。

同社が求める理想的なソリューションは、以下の要件を満たすものです。

• 5年以上の製品サポートライフサイクルにより、近い将来のEOL（製造終了）を回避すること
• 機能を統合し、複雑さとデバイス在庫を削減すること
• 柔軟かつ安全なインバンドおよびアウトオブバンドのネットワーク機能を提供すること
• 導入時に重要なインフラの回復力を確保し、100%の持続可能な稼働時間を実現すること
• 一元化されたアクセスと管理により、分散した拠点の運用を容易にできること

IAAは、これらの要件をすべて満たすことができるため、既存のCiscoアプライアンスおよびLTEモデムに代わるソリューションとしてNodegridを選択しました。

画像：ラックの上部に設置されたNodegrid GateSRは、インバンドおよびアウトオブバンドのネットワーク機能を提供 ※出典：IAA提供

同社のソリューションの中核をなしていたのは、Nodegrid OSでした。このLinuxベースのオペレーティングシステムは、すべてのNodegridアプライアンスに標準搭載されており、長期サポートライフサイクルが特徴です。また、Nodegrid OSは、カスタムネットワーク構成や任意のサードパーティ製ソリューションを導入する柔軟性を提供しており、これによりIAAは、多数のVPN、ASN、VLANを組み込んだ複雑なルーティングおよびスイッチングアーキテクチャを展開することが可能になりました。これらの機能により、IAAは必要なインバンドおよびアウトオブバンド機能を単一の耐障害性の高いアプライアンスに統合できたため、設計を簡素化し、単一デバイスによるソリューションを検討することができました。

ハードウェアについては、IAAはシドニーとパースのデータセンターにNodegrid NetSRアプライアンスを導入し、アーキテクチャのヘッドエンドとして機能させました。NetSRのモジュール性により、機能が過剰または不足しているデバイスに妥協することなく、導入規模を最適化できる柔軟性が得られました。各NetSRに適切なモジュールを装備するだけで、インバンドおよびアウトオブバンドの要件に対応することができました。

• 16ポートSFPモジュール — 既存のファイバー接続を通じて、必要なすべてのデバイス管理インターフェースに完全なネットワーク接続を提供することで、完全なインバンド管理機能を実現しました。
• 16ポートシリアルモジュール — シリアルインターフェースを介して強化されたアウトオブバンド管理機能を提供し、完全な自動化サポートを可能にしました。
• デュアルSIM 4G/LTE セルラーモジュール — 別々の無線ネットワークへの自動フェイルオーバーアクセスを通じて、インバンドおよびアウトオブバンドリンクに対する冗長バックアップ接続の耐障害性を向上させました。

IAAは、35カ所以上のPoP拠点において、デュアルSIM対応の4G/LTEセルラーアドオンを搭載した「Nodegrid GateSR」を導入しました。GateSRは、NetSRと同等のすべての機能を備えつつ、よりコンパクトなフォームファクタを実現しました。これにより、各PoPでも大規模サイトと同等の耐障害性と機能性を確保することができました。GateSRは、8つのシリアルポートに加え、SFP+や複数のギガビットインターフェースを含む多様なイーサネットポートを備えています。この単一のデバイスにより、各拠点のネットワークスタック全体に接続し、インバンドおよびアウトオブバンドのネットワーク通信に対応することが可能となりました。

画像：Nodegrid GateSRの前面（左）、背面（右）

Nodegrid OS、NetSR、GateSRの組み合わせにより、IAAが抱えていた以下の懸念事項に対処することが可能となりました：

• 製品ライフサイクルの延長による、近い将来のEOL（製造終了）の防止
• 機能の統合による複雑さとデバイス在庫の削減
• 柔軟かつ安全なインバンドおよびアウトオブバンドのネットワーク機能の提供

また、Nodegridのソリューションにより、IAAは「Puppetインフラ（設定自動化機能）」を活用して、新ソリューションの展開全体を自動化・オーケストレーションし、導入初日（Day 0）から2日目（Day 2）までの実装を管理することが可能になりました。また、Nodegridはオープンでベンダー中立のプラットフォームであるため、あらゆるデータセンターおよび支店のデバイスと連携可能です。

これらの機能により、IAAが抱えていた以下の懸念事項に対処することが可能になります。

• 導入中においても回復力を確保し、100%の持続可能な稼働時間を実現する
• 一元化されたアクセスと管理を通じて、分散した拠点の運用を容易にする

Nodegridの導入により、IAAはインバンドおよびアウトオブバンドのネットワーク双方において、インターネットエクスチェンジ管理インフラを刷新することができました。

Nodegrid OSは、EOL（サポート終了）に関する懸念を解消する基盤としての役割を果たしました。ZPE Systemsは、大規模かつ迅速に対応できるエンジニアリングチームを擁しており、最も古いNodegridデバイスも引き続きサポートするNodegrid OSのリリースを提供しています。その結果、IAAは次のような特徴を備えたソリューションを導入することになりました。

• 5年を超える製品ライフサイクル
• 年間少なくとも6回のメジャー／マイナーリリースの組み合わせ
• 迅速なセキュリティパッチ適用
  • （脆弱性は数時間～数日以内に修正：例：log4jは1日以内に修正）
• 業界の最新ベストプラクティスを実装・有効化する一貫した製品アップデート

画像：Nodegrid Gate SRは、インバンド、アウトオブバンド、およびセルラー接続を1台のデバイスに統合しました

Nodegrid NetSRおよびGateSRの導入により、IAAはこの複雑さを軽減することができました。

これらの機能豊富なボックスは、シリアル、イーサネット、ファイバー、セルラーといった接続要件を満たすだけでなく、Nodegrid OSを介して柔軟なインバンドおよびアウトオブバンドアクセスを提供しました。Nodegrid OSの長期的なサポートライフサイクルと相まって、このトータルソリューションにより、IAAは、予見可能な将来を超えて維持管理が可能で、100%の耐障害性と稼働率を維持するためのバックボーンとして機能する、安全で信頼性の高いインフラストラクチャを展開することができました。

各ヘッドエンドにおいて、NetSRによりロードバランシングや静的IPアドレスの必要性が排除されました。

その代わりに、NetSRは光ファイバー経由でインターネットに接続し、Nodegrid OSに組み込まれたフリーレンジルーティング（FRR）機能による動的ルーティングを活用して、各ヘッドエンドとPoP拠点間のBGPリンクを確立するためにVPLSインスタンスを実行しました。また、Nodegrid OSのWireGuard機能により、複数のVPNトンネルの設定と管理が容易に行えるようになったほか、NetSRのデュアルSIM 4G/LTEモジュールがバックアップ接続を提供しました。

PoPレベルにおいて、GateSRは3つのデバイスの機能を1台に統合しました。

GateSRは、各サイトの対象デバイスに対して、ルーティング、スイッチング、セルラーバックアップ、およびアウトオブバンド管理機能を提供しました。Nodegrid OSのFRR機能（Free Range Routing: ダイナミックルーティングを提供する機能）により、IAAは各ヘッドエンドに対して2つのBGPセッションを実行し、冗長性を確保するためのカスタマイズを行うことができました。プライマリリンクに障害が発生した場合、内蔵のWireGuard（VPNプロトコルの一つ。トンネル構築と管理が容易でフェイルオーバー時のシームレスな通信維持が可能）が4G/LTEへのフェイルオーバーを行い、トラフィックの安全性を確保します（Nodegrid OSでは複数のVPN方式をサポートしています）。

Nodegrid OSは、自動化ツールや言語に関してもベンダー中立です。

IAAは特定のスキルを習得する必要がなく、チームがすでに持っていたPuppetスクリプト（自動化スクリプト）の知識を活用して、デプロイを自動化することができました。さらに、拠点ごとにGateSRを1台のみという簡素化されたデバイス構成と相まって、新しいインフラの構築ペースを急速に高めることができました。チームは、100%の稼働率を維持するというコミットメントを損なうことなく、刷新された重要インフラを本番環境に投入することができました。

集中管理に関しては、IAAのインフラが分散しているにもかかわらず、Nodegridのクラスタリング機能が使いやすいソリューションを提供しました。

NetSRやGateSRのいずれかにアクセスするだけで、チームは他のサイトやデバイスにも容易にアクセスできるようになりました。Nodegridにより、拠点名やIPアドレスを記憶する必要がなくなり、ヘッドエンドのデバイスラックからPoP拠点のサーバーやスイッチに至るまで、ポイント＆クリック操作による直感的なアウトオブバンド管理が可能になりました。

IAAにとって、老朽化したインフラの管理負担は、時間の経過とともに増大する一方でした。しかし、Nodegridの導入により、持続可能なインフラの基盤を築くことが可能になりました。

Nodegrid OS、NetSR、GateSRへの刷新により、IAAはすべての要件を満たし、次のようなメリットを得ることができました。

• 少なくとも5年間は運用可能なソリューションを導入したことで得られる安心感
• サードパーティによる保守を回避することで、月額17,500ドル（≒200万円）以上のコスト削減を実現
• デバイス数を3分の1に削減し、各拠点における複雑さと在庫を軽減
• バンドルされたオープンプラットフォームによる、持続可能なインバンドおよびアウトオブバンドのネットワーク環境
• 自動化と一元管理による、時間、ITリソース、およびコストのさらなる節約

35カ所の拠点にEOL（製造終了）デバイスが存在していたIAAは、既存のインフラを維持するために、デバイス1台あたり月額250ドル以上を費やす可能性がありました。Nodegridによる刷新を選択したことで、この継続的なコストを回避し、代わりに同社および加盟顧客が少なくとも5年間は信頼して利用できるインフラを構築しました。

Nodegridの統合ソリューションにより、ロードバランシングや静的IPアドレスに関連する複雑さとコストが解消されました。NetSRは各ヘッドエンドで高速かつ信頼性の高いVPNコンセントレータとして機能し、Nodegrid OSがデータセンターと拠点間のルーティングを簡素化しました。

Gate SRの導入により、35カ所の分散拠点におけるハードウェア構成が簡素化され、管理負荷から70台のデバイスが削減されました。このアプライアンスの多彩なインターフェースにより、イーサネットやシリアルデバイスへの接続が可能となり、デュアルSIMによるセルラーフェイルオーバー機能により、インバンドおよびアウトオブバンドの両ネットワークに対して高冗長性のバックアップが提供されました。

出典：https://internet.asn.au/technical/out-of-band-network/

Nodegrid OSに組み込まれたFRRおよびWireGuard機能を活用し、チームはすべての拠点間で動的かつ安全なプライマリおよびセカンダリリンクを確立しました。

これにより、障害が発生したリンクとその発生元デバイスを特定し、Nodegridの一元管理機能を用いて復旧できるようになったため、トラブルシューティングの迅速化も実現しました。

従来のソリューションと比較して、Nodegridのもう一つの大きなメリットは、Nodegrid OSが提供する自動化の自由度です。

多くのソリューションでは、1か所のセットアップに少なくとも1日を要しますが、Nodegrid OSの自動化機能により、IAAはわずか数時間でサイトをセットアップすることができました。同社のチームは設定を自動化し、最終的にサービスを停止させることなく、わずか4日間で全35か所のサイトを展開しました。

インターネットエクスチェンジネットワーク、デジタルサービス、ホスティング、コンテンツ配信など、持続可能なネットワークインフラストラクチャが必要な場合、Nodegridは信頼できるソリューションです。世界のトップ10テクノロジー企業のうち6社が、将来にわたってインフラを稼働させ続けるためにNodegridを信頼しており、貴社も同様の耐障害性を実現できます。Nodegridのデモを申し込んで、その仕組みをご確認ください。

※本稿はZPESystems社CaseStudy「Reliable Internet Exchange infrastructure」を日本語翻訳したものです。
※本稿の転載を禁じます。