映像音声設備IPネットワークにおけるPTP同期障害のトラブルシューティング事例 〜Calnex Paragon-Xによる障害箇所の可視化〜
放送局の映像音声IPネットワークで発生した、PTP(SMPTE ST 2059-2)同期エラーのトラブルシューティング事例をご紹介します。マルチベンダー機器で構成され、実トラフィックが流れる環境において、Calnex社のPTP解析装置「Paragon-X」をネットワーク機器間に挟み込み、区間ごとの時間誤差(Time Error)・パケット遅延揺らぎ(PDV)・プロファイル規格準拠状況を測定。障害箇所の切り分けと可視化の手法を、実測データとともに解説します。
|
目次
●まとめ
|
検証の背景と目的
某放送局様の音声設備において、PTP(Precision Time Protocol)を用いたIP同期環境を構築した際、エンドデバイス(音声機器)側で突発的なPTP同期エラー(揺らぎ・オフセット飛び)が発生する課題を抱えていました。
マルチベンダー機器で構成されるネットワークでは、どの機器・区間に原因があるのかを切り分ける必要がありますが、通常のネットワークツールではPTP特有の時間誤差や揺らぎを特定することが困難です。そこでPTP解析装置を取り扱う丸文にお声がけいただき、Calnex社「Paragon-X」を用いてネットワークの各区間を可視化し、課題を洗い出す検証を合同で実施しました。
検証環境のシステム構成と測定アプローチ
システム構成
障害原因を切り分けるため、現地にて以下の構成で測定を行いました。
- PTP Grandmaster(PTP GM) 使用プロファイル:SMPTE ST 2059-2:2015
- Core Switch(Media-SW)
- Edge Switch(Audio-SW)
- End Device(音声エンドデバイス)
図1 システム構成(主系・副系の冗長構成)
実トラフィックが混在する環境での測定
今回の検証は、対象のIPネットワーク上にPTPパケットだけでなく、実際の映像・音声などのデータトラフィックも混在して流れている環境を前提として実施しました。トラフィックの負荷がPTPの同期精度にどう影響するかを正確に切り分けるため、「インライン測定モード(機器間通過)」を持つCalnex社Paragon-Xを解析装置として選定しました。
測定器の接続方法に関する注意点
Paragon-Xをネットワーク機器間に直接挟み込む「インライン測定モード」は、仕様上ラインレートの60%までのデータしか通過させることができません。映像・音声データが大量に流れる本番環境でこれを行うと、データトラフィック側にパケットロスを引き起こす危険性があります。そのため、実稼働ネットワークを安全に解析する場合は「Sentinel測定器とTAPを併用してモニターする構成」が強く推奨されます。本検証ではネットワーク負荷を考慮し、区間ごとに最適なアプローチを選定しています。
本検証で使用したPTP解析ソリューション
Calnex Paragon-X(PTP解析装置ハードウェア)
ナノ秒単位での超高精度な時間同期測定(Time Error測定)とパケットジッター(PDV)計測を同時に行えるPTP解析ハードウェアです。「インライン測定モード」により、実際の映像・音声トラフィックを通過させながら、ネットワーク機器を跨ぐPTPの挙動を1台でリアルタイムにトラッキング・可視化します。
CAT(Calnex Analysis Tool:解析用ソフトウェア)
Paragon-Xがキャプチャした膨大なナノ秒単位の測定データをグラフィカルに集計・可視化し、詳細な相関分析を行う専用PCソフトウェアです。定常時の細かな揺らぎから突発的なマイクロ秒規模の「オフセット飛び」まで、タイムスケールを自由に変更しながら不具合発生の瞬間を視覚的に特定します。
通信経路上のPTPパケットをプロトコルレベルで詳細にデコードし、SMPTE ST 2059-2などのプロファイル規格に正しく準拠しているかを自動検証するソフトウェアです。単なる通信の有無の確認(Wireshark等でのパケットキャプチャ)に留まらず、PTPメッセージ(Sync、Delay Req等)のフィールド定義や実装に異常がないかをチェックし、マルチベンダー環境における「相性問題」や「パケットドロップ」の原因をパケットレベルで突き止めます。
PTPにおける主要な評価指標
SMPTE ST 2059-2:2015
放送業界のIP化(ST 2110等)において、映像・音声をナノ秒単位で同期させるためのPTP運用ルールです。
Time Error(時間誤差)
クロック(機器の時計)が、グランドマスタークロック(GM)の基準時刻に対して「何ナノ秒ズレているか」を示す、最終的な同期精度の値です。
PDV(Packet Delay Variation:パケット遅延揺らぎ)
ネットワーク中を流れるPTPパケットの到着時間のばらつき幅で、スイッチの混雑等によって発生します。
検証シナリオと測定結果
検証①:Media-SWを経由しないバイパス構成での挙動確認
PTP GMとAudio-SWを直結させ、Media-SWの影響を排除したバイパス構成でエンドデバイスの挙動を確認しました。
図1-1 接続図(検証①)
結果・考察
バイパス構成においても、エンドデバイス側でのPTP揺らぎ・オフセット飛び(アラート発生状態)は改善されませんでした。このことから、Media-SWには直接的な影響がないと判断できます。また、バイパス構成への変更後は、エンドデバイスのPTP揺らぎ・オフセット値が許容値を超えるアラートの発生頻度が増加しました。
検証②:PTP GM直下にParagon-Xを挿入して測定
検証①の接続構成にParagon-Xを挟み込み、PTP GMから出力されるPTPパケットを測定しました。
図2-1 接続図(検証②)
時間誤差の観点
PTP GMから出力されているPTPパケット(T1 Time Error)自体に大きな時間誤差(図2-2赤枠内)があることが確認されました。一方、この段階では、これがエンドデバイスの突発的なPTP同期エラーの発生原因とは断定できませんでした。
図2-2 PTPパケット測定結果(CAT)
| Time Error(時間誤差) | Min [ns] | Max [ns] | Mean [ns] |
| 2Way Time Error | -286 | -144 | -212 |
| T1 Time Error | -6664 | -6587 | -6606 |
| T4 Time Error | 6057 | 6305 | 6181 |
図2-3 PTPパケット測定結果(タイムスケールを変更して拡大)
パケット揺らぎの観点
ネットワークの上り方向(Delay Request)に平均124ns、下り方向(Sync)に平均19nsの揺らぎが観測されました。上り・下りで非対称が存在していますが、直接的な原因とは断定できませんでした。
図2-4 パケットの揺らぎ(CAT)
| PDV(パケット遅延揺らぎ) | Min [ns] | Max [ns] | Mean [ns] |
| Sync | 0 | 77 | 19 |
| Delay Request | 0 | 248 | 124 |
プロファイル規格準拠の観点
IEEE 1588-2008規格に準拠しない項目「flagField1」「logMessageInterval」が発見されました。
- flagField1:0xC(CurrentUtcOffsetValid=true、PtpTimescale=true)
この項目はAnnounceメッセージでのみ使用すると厳格に定義されていますが、DEL-REQメッセージでTrueになっていました。規格に準拠するには、正しい値「0x0」とする必要があります。 - logMessageInterval:-3
DEL-REQはSlaveが自身のタイミング(またはMasterから指定された頻度)で自発的に送信するリクエストメッセージです。そのため、DEL-REQメッセージ自身のヘッダーにあるlogMessageIntervalには、具体的な送信間隔の数値(-3や0など)ではなく、「未規定」を意味する127(0x7F)を書き込んで送信するのが規格上の正しい実装となります。
図2-5 プロファイルの準拠チェック(PFV)※機器を識別できる情報は非表示にしています
検証③:Media-SWとAudio-SWの間にParagon-Xを挿入して測定
Media-SWとAudio-SWの間(主系・副系)にParagon-Xを挟み込み、測定を実施しました。
図3-1 接続図(検証③)
時間誤差の観点
Media-SWから出力されているPTPパケット(T1 Time Error)の時間誤差は比較的安定していることを確認しました。上位PTP GMからの大きな時間誤差をMedia-SWで吸収しているものと考えられます。また、検証②と比べると、エンドデバイスでPTP揺らぎ・オフセット値が許容値を超えるアラートの発生頻度も減少することが確認できました。
図3-2 PTPパケット測定結果(CAT) 左:主系 右:副系
| Time Error(時間誤差)[ns] | 主系 Min | 主系 Max | 主系 Mean | 副系 Min | 副系 Max | 副系 Mean |
| 2Way Time Error | -343 | -108 | -219 | -350 | -76 | -226 |
| T1 Time Error | <-533 | -294 | -407 | -548 | -272 | -411 |
| T4 Time Error | -160 | 80 | -30 | -183 | 121 | -40 |
パケット揺らぎの観点
ネットワークの上り方向(Delay Request)に約130〜140ns、下り方向(Sync)に約110〜140nsの揺らぎが観測されました。上り・下りがほぼ対称であることから、揺らぎが少ない安定したネットワークであることが確認できました。
図3-3 パケットの揺らぎ(CAT) 左:主系 右:副系
| PDV(パケット遅延揺らぎ)[ns] | 主系 Min | 主系 Max | 主系 Mean | 副系 Min | 副系 Max | 副系 Mean |
| Sync | 0 | 239 | 113 | 0 | 276 | 139 |
| Delay Request | 0 | 240 | 130 | 0 | 304 | 142 |
プロファイル規格準拠の観点
検証②と同様に、IEEE 1588-2008規格に準拠しない項目「flagField1」「logMessageInterval」が発見されました。
図3-4 プロファイルの準拠チェック(PFV)※機器を識別できる情報は非表示にしています
検証④:Audio-SWとエンドデバイスの間にParagon-Xを挿入して測定
Audio-SWとエンドデバイスの間にParagon-Xを挟み込み、最末端区間の測定を実施しました。
図4-1 接続図(検証④)
時間誤差の観点
Audio-SWから出力されたPTPパケットは定常時には比較的安定した値でしたが、突発的に時間誤差が増大する事象を観測しました(図4-2赤枠部分)。また、同じタイミングでエンドデバイス側のPTP揺らぎ・オフセット値が許容値を超えたことを確認しました。この事象はお客様が直面していた不具合事象と同様の挙動であり、現地測定において事象発生の瞬間を捉えることができました。
検証②・③の結果と合わせると、同期障害の発生メカニズムとして次の可能性が示唆されました。定常時はMedia-SWおよびAudio-SWのBC機能がPTP GMの時間誤差を吸収していますが、スイッチの追従能力を超える時間誤差の変動が上位から突発的に入力された場合に、同期障害のトリガーとなっている可能性があります。
具体的には、上位からの急激な変動に対してBCスイッチの同期アルゴリズムが追従しきれずに過補正が生じ、その時間のジャンプが最末端のエンドデバイスへ伝播して許容値を超えた、というシナリオが考えられます。ただし、別環境で実施した再現検証では同様の事象は再現しておらず、PTP GMのリファレンスであるBB(ブラックバースト)信号の影響も含め、原因の特定には追加の確認が必要です。
図4-2 PTPパケット測定結果(CAT)
| Time Error(時間誤差) | Min [ns] | Max [ns] | Mean [ns] |
| 2Way Time Error | -753 | -51 | -276 |
| T1 Time Error | -1570 | -865 | -1088 |
| T4 Time Error | 60 | 763 | 537 |
パケット揺らぎの観点
時間誤差が増大したタイミングと同時に、ネットワークの上り方向・下り方向ともに揺らぎが増大しました。
図4-3 パケットの揺らぎ(CAT)
| PDV(パケット遅延揺らぎ) | Min [ns] | Max [ns] | Mean [ns] |
| Sync | 0 | 705 | 223 |
| Delay Request | 0 | 703 | 477 |
プロファイル規格準拠の観点
IEEE 1588-2008規格に準拠しない項目「flagField1」が発見されました。
- flagField1:0xC(CurrentUtcOffsetValid=true、PtpTimescale=true)
この項目はAnnounceメッセージでのみ使用すると厳格に定義されていますが、SYNC、FOLLOW-UP、DEL-RESPメッセージでTrueになっていました。規格に準拠するには、正しい値「0x0」とする必要があります。
図4-4 プロファイルの準拠チェック(PFV)※機器を識別できる情報は非表示にしています
技術的考察
flagField1異常に関する考察
検証②・③ではスレーブ側からのDEL-REQが規格違反(0xC)となっていたのに対し、最末端の検証④ではDEL-REQは正常で、逆に上流から配信されるSYNC、FOLLOW-UP、DEL-RESPのフラグが0xCになっていることが確認されました。このことから、中間に位置するAudio-SWがBCとして動作する際、上下流へのPTPメッセージの中継・生成処理において、ヘッダー内のflagField1を0xC(本来Announceのみに許される値)へ書き換えている可能性が示唆されました。どの段階で書き換えが発生しているかについては、各機器の設定・実装を確認する必要があります。
規格不適合(flagField1=0xC)が同期精度に与える影響
PFVにおける不適合判定について、Calnex社に問い合わせたところ、以下の技術的見解が得られました。
IEEE 1588-2008 Table 20および13.3.2.6の定義に基づき、SYNC、FOLLOW-UP、DEL-RESP等のメッセージにおいてCurrentUtcOffsetValidおよびPtpTimescaleがTRUE(0xC)で送信されている状態は、明確な規格非準拠(FAIL)です。しかし、PTPの遅延計算はパケット内のタイムスタンプ(t1、t2、t3、t4)のみを使用して実行されるため、これらのフラグビットが直接Time Errorや突発的なオフセットジャンプを誘発するメカニズムは存在しません。
一方で、本規格非準拠がもたらす現実的なリスクとして、「マルチベンダー環境下における各機器のPTPプロトコルスタックによる例外処理(パケットドロップ)」が挙げられます。仮に各機器(PTP GM、BCスイッチ、エンドデバイス)が、規格に適合しないフラグを持つPTPパケットを不正なパケットとして破棄する厳格な実装となっていた場合、往復の遅延計算や時刻更新が一時的に成立しなくなり、間接的にスレーブ(エンドデバイス)のロック外れを起こすリスクがあります。
SYNCレート最大値(32Hz)設定の背景と限界
本検証では、SYNCパケットのレートは元々デフォルトの「8Hz」に設定されていましたが、エンドデバイスのロック外れが頻発したため、現場の回避策として「32Hz」に引き上げて測定を実施しました(図4-4下部のMessage RateでSYNC:31.25 msg/secを確認)。
時刻のアップデート頻度を4倍(31.25ミリ秒に1回)に高速化したことで、上位からの時間誤差変動に対してエンドデバイス側の内部クロックが細かく追従できるようになり、ロック外れの頻度は減少しました。しかし、この対策をもってしても測定中に1度ロック外れが再発しており、突発的な時間変動幅がスレーブの追従許容限界を一時的に超えた可能性が考えられます。SYNCレートの引き上げは暫定的な回避策にとどまるため、根本解決に向けては、GM側の時間誤差の要因(BB信号リファレンスの影響を含む)の確認と、プロトコル非準拠項目の解消について検討する必要があります。
まとめ
■測定結果まとめ
| 測定区間 | T1 Time Error(Mean値) | スイッチの挙動 |
| 検証②:PTP GM直下 | -6,605.9ns | 出力の時点で基準に対し約6.6μsの時間誤差を観測 |
| 検証③:Media-SW直下 | -406.9ns | スイッチのBC機能により、GMの時間誤差を約1/16にまで吸収・平滑化 |
| 検証④:Audio-SW直下 | -1,088.4ns(突発最大 -1,570ns) | 定常時は安定しているが、突発的な時間誤差の増大と同時にアラートが発生(スイッチの過補正の可能性)。PFV解析により、本区間で中継されるパケットのflagField1が「0xC」に書き換えられている可能性も確認 |
本検証により、PTP GM直下で約6.6μsの時間誤差が観測され、配下のスイッチがその時間誤差の変動に追従する過程で同期障害が発生している可能性が示唆されました。また、PTPパケットの解析により、プロファイルに準拠しない項目も洗い出されました。これらが直接的なロック外れの要因とは断定できないものの、マルチベンダー環境下での予期せぬパケットドロップや相互接続性のリスクを排除するため、規格準拠状況の確認と、PTP GMの時間誤差(BB信号リファレンスの影響を含む)に対する追加評価を行う必要があります。
今回は区間ごとの段階的なアプローチをとりましたが、今後Paragon-Xを複数台用いた同時測定を行うことで、マルチベンダー環境におけるタイムスタンプの伝播と変化を、リアルタイムかつ一貫してトラッキングすることが可能になります。
実トラフィックが混在する複雑なIPメディアネットワークにおいて、「ネットワークの混雑による遅延なのか、機器由来のクロック異常なのか」を勘で切り分けることは困難です。本事例は、Calnex Paragon-Xを用いた可視化・解析が、マルチベンダー環境におけるトラブルシューティングを「推測」から「確信」へと変える有効な手段となり得ることを示しています。
PTP同期のトラブルシューティングや測定器の選定・デモ機のご依頼など、お気軽に丸文までお問い合わせください。
著者名
会社名:丸文株式会社
部署名:アントレプレナ事業本部 イーリスカンパニー 測位タイミング課
執筆者名:横塚 慎太郎
執筆者の略歴:丸文株式会社にて、時刻同期・周波数計測分野の製品営業を担当。Calnex社のPTP/同期ネットワーク測定器、Microchip社の時刻同期製品、Pendulum社の周波数カウンタなどの提案・技術サポートに従事