mellanox

10GBpeのネットワークを作ろうとしたとき、真面目にメタル(RJ45)で作ろうとすると破産してしまうので、光や同軸で組む10GBpeのNICとしては中古では最安の部類に入る

mellanox connectx-3

もっとも出回っているNIC, ebayで安く買うことができる

3000円から5000円が目安

Linuxで使う

基本的に適切に設定されていればなにかドライバー等を当てる必要はないが、一応、ファームウェアとドライバーのセットがあり、これを当てるとファームウェアが上がるので、当てておいたほうがいい。

$ wget http://www.mellanox.com/downloads/ofed/MLNX_EN-5.0-1.0.0.0/mlnx-en-5.0-1.0.0.0-ubuntu20.04-x86_64.tgz
$ tar xvf mlnx-en-5.0-1.0.0.0-ubuntu20.04-x86_64.tgz
$ cd mlnx-en-5.0-1.0.0.0-ubuntu20.04-x86_64
$ sudo ./install

mftをインストールした後、PCIのアドレスを特定できるようになるので、特定した上で sudo lspci -vv -s するとフルカタログがわかるので、このデータから必要に応じてファームウェアをアップグレードする

デバイスアドレスの確認

$ sudo mst status            
MST modules:
------------
    MST PCI module is not loaded
    MST PCI configuration module is not loaded

PCI Devices:
------------

05:00.0 # これがデバイスアドレス

ここでデバイスアドレスがわからない場合、 sudo lshw で知ることができる

フルカタログの確認

Part number 付近がフルカタログ

$ sudo lspci -vv -s 05:00.0 | less

Firmwareのバージョンの確認

$ sudo lshw | less # で Mellanox 付近を見れば書いてある

Windowsで使う

基本的になにか特別なソフトをインストールする必要はない。

管理ソフトウェアとして MFT 等がある

• https://www.mellanox.com/support/firmware/update-instructions

ファームウェアやイーサネットとinfinibandのモード等があり、必要に応じて切り替える必要がある

• https://www.next-hop.net/blog/hiraga/network/mellanox-connectx-3-firmware-update/