MellanoxのInfiniBandをイーサーネットモードで使う方法

サーバー
スポンサーリンク
スポンサーリンク

この記事を読む前に

自宅のLAN環境の一部をInfiniBand(QSFP)で40Gbpsに対応させてみた #動作検証編
購入したもの Mellanox ConnectX-3 InfiniBand HCA(Fujitsu)40Gbps(2400円) 4個 Mellanox QSFPケーブル 15m 56Gbps(10800円) 1個 (ケ、ケーブルの方が4倍も...

この記事は「自宅のLAN環境の一部をInfiniBand(QSFP)で40Gbpsに対応させてみた #動作検証編」の付録です。

興味があれば動作検証編も読んでください。

今回やること

  1. ドライバ、Mellanox Firmware Tools(以下MST)、ファームウェアのダウンロード
  2. ドライバ、MSTのインストール
  3. NICのモードの切り替え(infiniband → ethernet)
  4. NIC同士を接続

設定に必要なもの

  • ドライバ
  • MST

の2つです。

ダウンロードに意外と手こずったので、ダウンロード手順も記載しておきます。(今回はWindows10の1904で解説していきます)

ドライバのダウンロード

まずはこちらのサイトにアクセスします。(クリックすると新しいタブで開きます)

サイトが移動したみたいなのでこちらから。

  1. WinOFダウンロードをクリック。
  2. バージョンは5.50.53000をクリック。
  3. OSはWindows Clientをクリック。
  4. OSバージョンは10(1909)をクリック。
  5. WinOF Driver: MKNX_VPI……をクリック。

 

これでダウンロードができます。

MSTのダウンロード

まずはこちらのサイトにアクセスします。(クリックすると新しいタブで開きます)

サイトが移動したみたいなのでこちらから。

  1. バージョンは4.16.3をクリック。
  2. OSはWindowsをクリック。
  3. OSバージョンはAllをクリック。
  4. アーキテクチャはx64をクリック。
  5. Windows: WinMFT_x64…..をクリック。

これでダウンロードができます。

ドライバ、MSTのインストール

インストール作業はパパパっとやっちゃってください。

Nextポチポチしてたら終わります。

両方インストールしたら再起動を忘れずに。

MSTでNICの設定

MSTでNICの確認

コマンドプロンプトを管理者で実行して「mst status」コマンドを実行します。

すると以下のようにNICの名前が表示されると思います。(名前は個々に違いあり)

このmt4099_pci_cr0(NICの名前1)を覚えておいてください。

NICのモード変更

コマンドは「mlxconfig -d [NICの名前] s LINK_TYPE_P1=[モード]」です。

「mlxconfig -d mt4099_pci_cr0 s LINK_TYPE_P1=ETH」を実行します。

Apply new Configuration?と聞かれるのでyと答えてください。

その後に再起動してね~と言われるので再起動してください。

 

*ここでアップデートが必要と表示された場合はNICのファームウェアのアップデートが必要です。

以下の記事を確認ください。

MellanoxのInfiniBandでNICのファームウェアアップデートを行う方法
はじめに この記事ではMellanox ConnectX3のファームウェアのアップデートを行います。 前提として以下の記事のドライバーとMSTをインストールされていること。 ファームウェアのダウンロード ファームウェアは正規品かOEMでダウ...

NICのモード確認

コマンドは「mlxconfig -d [NICの名前] q」です。

管理者でコマンドプロンプトを立ち上げて「mlxconfig -d mt4099_pci_cr0 q」を実行します。

LINK_TYPE_P1でNICのモードを確認することができます。

ETHであればイーサーネットモードなのでQSFPモジュールを接続してDAC接続ができると思います。

参考文献

Mellanox ConnectX3,4系のモード切り替え(イーサネット、InfiniBand) - Qiita
SFP+あるいはQSFP+のNIC、Mellanox ConnectXのイーサネットモードへの切り替え法。デフォルトの設定はInfiniBandになっている。調べるのが大変だったのでメモ。###…

コメント

タイトルとURLをコピーしました