ウルトラ・イーサネット・テスト

スケールアウト型イーサネット：大規模なAIおよびHPCファブリックの構築

大規模なAIおよびHPCシステムでは、イーサネットを用いてラック間の演算リソースを相互接続し、数千ノード規模にまで拡張可能なファブリックを形成しています。こうしたスケールアウト環境は、通信が多数のデバイスやスイッチを経由し、システム全体のパフォーマンスが個々のリンクではなくネットワーク全体の協調動作に依存する、分散型のトレーニングおよび推論ワークロードをサポートします。

ネットワーク規模が拡大するにつれ、主な課題は、単純なポイント間帯域幅から、大規模環境における耐障害性、輻輳管理、および公平性へと移行します。パケット損失、輻輳の集中箇所、あるいはリンク障害は、多数のフローに同時に影響を及ぼし、システム全体の運用を妨げる可能性があります。共有ネットワークリソースを効率的に活用しつつ、多数のホップにわたって予測可能な動作を確保することは、大規模なAIワークロードにおいてスループットを維持し、反復処理時間を最小限に抑えるために不可欠です。

こうした要求に応えるため、スケールアウト型イーサネット設計では、輻輳の管理、障害の吸収、競合するトラフィックストリーム間の公平性の維持を目的とした、さまざまなメカニズムが一般的に組み込まれています。 ベンダー各社は従来、大規模なマルチホップ・ファブリックにおけるこれらの課題に対処するため、キューイング戦略、輻輳制御技術、テレメトリ、およびトランスポート最適化をさまざまな組み合わせで実装してきた。こうした実装の選択は、大規模な環境で信頼性が高く効率的なイーサネット運用を実現するための異なるアプローチを反映している。一方、「スケールアウト・イーサネット」という用語自体は、単一の標準化されたプロトコルというよりも、導入時の特性やワークロードの要件に焦点を当てたものである。

Ultra Ethernetは、AIに特化したイーサネット・ファブリックにおける信頼性、輻輳処理、および復旧動作を向上させることを目的としたアーキテクチャ上の仕組みを導入しています。スケールアウト環境において、こうした機能は、多数のホップにわたるパケット損失や輻輳の波及による影響を抑制することで、既存のイーサネット技術を補完します。これにより、特定のトポロジーやベンダーの実装を規定することなく、ファブリックレベルでの動作の予測可能性を高めることに寄与します。

したがって、スケールアウト型イーサネット・ファブリックのテストは、リンク速度や個別のデバイスの検証にとどまりません。ネットワーク機器は、現実的なマルチホップ・トポロジーおよび分散トラフィック環境下で評価され、大規模な環境における輻輳への対応、公平性、障害復旧、および相互運用性を検証する必要があります。これには、Ultra Ethernetの機能と従来のイーサネットの動作を併せて検証し、大規模なAIおよびHPCファブリックが、過酷な実環境のワークロード下でも効率的、確実、かつ予測可能な動作を実現することを保証することが含まれます。

リンク層検出プロトコル（LLDP）

Ultra Ethernet環境では、LLDPが機能検出およびファブリック認識のための基盤となるメカニズムとして使用されます。Ultra Ethernetでは、LLDP内にUE固有のType-Length-Value（TLV）拡張が導入されており、これにより直接接続されたデバイスは、Ultra Ethernet機能のサポートをアドバタイズし、ネゴシエーションを行うことが可能になります。

これらのTLVにより、ピア間ではサポートされている機能、動作モード、および機能の利用可否に関する情報を交換することができ、データトラフィックが流れる前にリンクの挙動について共通の認識を形成できます。この機能検出機能により、Ultra Ethernetの拡張機能が、リンクの両端でサポートされている場合にのみ適用されることが保証され、異種混在のAIおよびHPCファブリック全体において、予測可能で相互運用性の高い運用が実現されます。

リンク層リトライ（LLR）

リンク層リトライ（LLR）は、直接接続されたデバイス間で失われたイーサネットフレームを迅速に回復させる、局所的なレイヤ2リトライメカニズムを導入するものです。ウルトラ・イーサネットは、既存のイーサネットのフレーミングおよびエンコーディング構造を活用しつつ、LLRの対象となるフレームと対象とならないフレームを明示的に識別する仕組みを導入しています。

大まかに言えば、これには、トラフィックの種類を区別するためのプリアンブル信号やPCSブロック符号化の指示の使用に加え、ピア間の再送信動作を調整するために使用される専用の制御フレーム（CtlOSフレーム）が含まれます。 LLRは、リンク層でローカルに再送信を行うことで、上位層のエンドツーエンド回復への依存度を低減し、一時的な損失の伝播を抑制します。これにより、スケールアップ環境とスケールアウト環境の両方で、低遅延とより決定論的なパフォーマンスを維持するのに役立ちます。

クレジットベースのフロー制御（CBFC）

クレジットベースのフロー制御（CBFC）は、AIワークロードで一般的な、高度に同期化されたインキャスト中心のトラフィックパターン下において、イーサネットファブリックが輻輳に反応する方法を強化します。Ultra Ethernetは、確立されたイーサネットの輻輳シグナリングの概念を基盤としつつ、デバイス間の輻輳およびバックプレッシャーに関する通信をより明確かつタイムリーなものにします。

CBFCは、輻輳状態を発生地点に近い場所で検知・対応できるようにすることで、輻輳がファブリック全体に広がるのを防ぎ、競合するトラフィック間の公平性を向上させます。これにより、特に多数の並列トラフィックストリームが存在する大規模なAIおよびHPCファブリックにおいて、パフォーマンスの予測可能性が高まり、共有リソースの効率的な活用が促進されます。