安装系统环境

主机配置   2 * Intel(R) Xeon(R) CPU E5-2696 v4/内存128GB/960GB SSD/1 * Nvidia 3090/1 * Infiniband网卡(MT27500 Family [ConnectX-3])

操作系统   CentOS 7.9

系统内核版本  Linux version 3.10.0-1160.el7.x86_64 (mockbuild@kbuilder.bsys.centos.org) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC) ) #1 SMP Mon Oct 19 16:18:59 UTC 2020

驱动版本   MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64

操作账号   root

安装环境准备

1. 下载安装包

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/

请注意：

Mellanox已经提示， 只有MLNX_OFED 4.9-x LTS以下版本的驱动支持ConnectX-3产品。

2. 安装必要软件包和库文件

 yum install -y gtk2 atk tcl tcsh tk createrepo puthon-devel redhat-rpm-config rpm-build gcc-gfortran

3. 解压安装：

tar -zxvf MLNX_OFED_LINUX-4.9-7.1.0.0-rhe17.9-x86_64.tgz

cd MLNX_OFED_LINUX-4.9-7.1.0.0-rhe17.9-x86_64/

4. 重新生成支持系统内核的驱动包

 [root@scu-ce MLNX_OFED_LINUX-4.9-6.0.6.0-rhel7.9-x86_64]# ./mlnxofedinstall

运行./mlnxofedinstall安装驱动都会报如下信息：

所以我在现有驱动的基础上，添加自有系统内核的支持。

5. 运行添加内核脚本

./mlnx_add_kernel_support.sh

显示如下信息：

6. 添加参数再次运行添加内核脚本

 ./mlnx_add_kernel_support.sh -m /tmp/MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64 -v

过程输出如下：

注意：出现缺少yum依赖包得需要安装

然后在执行：

./mlnx_add_kernel_support.sh -m /tmp/MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64 -v

7. 安装新生成的驱动

1. 解压并进入新驱动包

tar xvf MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64-ext.tgz

cd MLNX_OFED_LINUX-4.9-7.1.0.0-rhel7.9-x86_64-ext

2. 运行安装脚本

./mlnxofedinstall

3. 更新initramfs

dracut -f

4. 重启服务

/etc/init.d/openibd restart

/etc/init.d/opensmd restart

5. 服务开启自启。

systemctl enable openibd

chkconfig on opensmd

6. 重启系统

reboot

7. 测试网卡

ip addr

检查IB网络

1. 检查IB网卡状态：ibstat

查询IB设备信息

ibv_devices #显示系统中目前所有设备  查看本主机的infiniband设备

ibnodes  #查看网络中的infiniband设备

配置网络

首先，使用命令ifconfig查看是否存在ib0网卡：

在/etc/sysconfig/network-scripts目录下，可以看到ifcfg-ib0文件，配置方法修改这个文件
（如果没有的话在nmtui中自己添加ib0的网）
也可以使用nmtui设置ib0网络的ip地址，
注意：不要使ib网的IP地址和以太网的IP地址一样