自宅のLAN環境の一部をInfiniBand(QSFP)で40Gbpsに対応させてみた #動作検証編

サーバー
スポンサーリンク
スポンサーリンク

購入したもの

  • Mellanox ConnectX-3 InfiniBand HCA(Fujitsu)40Gbps(2400円) 4個
  • Mellanox QSFPケーブル 15m 56Gbps(10800円) 1個

(ケ、ケーブルの方が4倍も値段が高いッ…!!?)

今回はFujitsuのOEM品のNICを購入しました。

Mellanoxってどんな会社?

Mellanoxは、あのGPUで有名なNVIDIAにも認められたコンピューターネットワーキング製品のサプライヤーです。

一般家庭では馴染みの無い会社ですが、企業等ではそこそこ有名な会社ではないかな、と思います。

40Gbpsなんて帯域…何に使うのか?

ズバリ、ストレージにフルでアクセスするためです。

こちらの環境ではまだストレージサーバが600MB/s付近で頭打ちなので40GbpsをMaxに使うことはできませんが、今後M.2を使ってRiadを組み、40Gbpsをフルで使えるような環境を構築しようと考えています。

今回はそれの第一歩です。

現環境

全部1Gbpsで構築されています。

LanケーブルはほぼすべてCat6の自作Lanケーブルを使用しています。

一部Cat5eがあったりします。

配線図

いたってシンプルです。

PCとPCを直接繋ぎます。

PC1、PC2で速度の計測

今回速度の計測に使用するソフトは「iPerf」です。

僕、私も使ってみたい!!!という方はこちらからダウンロードしてください。

今回使用するiPerfのバージョンは3.1.3です。

それでは結果をどうぞ。

スペック

PC1

CPU:Ryzen 7 3700X

メモリ:DDR4 3200MHz 16GB x 2(32GB)

PC2

CPU:Core i9 10900k

メモリ:DDR4 2400MHz 8GB x 2 + 4GB(20GB)

計測値

1回目:37.6Gbps

2回目:39.4Gbps

3回目:34.0Gbps

4回目:34.4Gbps

5回目:39.2Gbps

6回目:33.2Gbps

7回目:32.8Gbps

8回目:34.8Gbps

9回目:32.4Gbps

10回目:33.6Gbps

 

平均値:35.14Gbps

最小値:32.8Gbps

最大値:39.4Gbps

結果より

Max 39.4Gbpsが出て満足しています。

Min 32.8GbpsとMax 39.4Gbpsのように結構な差がついてしまいましたが、これは後半につれ大きくなっているのでNICかモジュールの発熱のせいかと思われます。

それでも30Gbpsは十分な速度です。

ストレージとしての利用

試しに10GB程のデータをPC間で転送しましたが、1.1GB/sを記録しました。

転送自体は10秒ほどで完了しました。

ちなみに、1.1GB/sはbpsに直すと8.8Gbps。

帯域が全然使えてないじゃないか!と思うかもしれませんがこれはSSDの転送速度の問題です。

SSDの転送速度が追い付いていない…空いた口がふさがりません…

正直、ストレージの転送用のネットワークとしては十分すぎる結果になりました。

40Gbpsにしてみて思ったこと

1Gbps民からしたらもう天と地の差です。

1Gbpsではバイトに直すと125MB/s、40Gbpsはバイトに直すと5GB/s。

秒間5GBって…。

想像できないですね…。

転送速度が5GB/sもあるので、ファイルをストレスなくコピーができます。

あと40Gbpsを使っているという優越感が出ますね…。

あ、”一般のご家庭”にはこんな設備絶対にいらないですよ?

くれぐれも”一般のご家庭”の方は40Gbpsなんて導入しないように…

(え?逸般の誤家庭だって?それならいいんじゃないかなぁ!)

コメント

タイトルとURLをコピーしました