SPOJE.NET

Tato stránka je pouze pro čtení. Můžete si pouze prohlédnout zdrojový kód, ale ne ho měnit. Zeptejte se správce, pokud si myslíte, že něco není v pořádku.
====== Mellanox ETH ======

===== Upgrade firmwaru karty =====


Zjisteni part numberu a verze firmwaru u Mellanox karet. Potrebujeme mit nainstalovany balicek ''%%mstflint%%''

<code>
# ethtool -i ens4f0np0
driver: mlx5_core
version: 5.5-1.0.3
firmware-version: 14.27.1016 (MT_2420110004)
expansion-rom-version: 
bus-info: 0000:10:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes

# lspci | grep Mella
10:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
10:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
81:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
81:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]

# lspci -vv -s 10:00.0 | grep "Part number" -A 3
			[PN] Part number: MCX4121A-XCAT        
			[EC] Engineering changes: AJ
			[SN] Serial number: MT2031J10949            
			[V0] Vendor specific: PCIeGen3 x8        

# mstflint -d 10:00.0 q
Image type:            FS3
FW Version:            14.27.1016
FW Release Date:       27.2.2020
Product Version:       14.27.1016
Rom Info:              type=UEFI version=14.20.19 cpu=AMD64,AARCH64
                       type=PXE version=3.5.901 cpu=AMD64
Description:           UID                GuidsNumber
Base GUID:             0c42a10300eabd04        4
Base MAC:              0c42a1eabd04            4
Image VSD:             N/A
Device VSD:            N/A
PSID:                  MT_2420110004
Security Attributes:   N/A
</code>

==== Upgrade FW ====

Podle part number a PSID vybereme konkretni verzi FW na webu NVIDIA. V našem případě je to **Part number: MCX4121A-XCAT** a **PSID:                  MT_2420110004**. Vybereme tedy nasledujici firmware:

{{:howto:hw:mellanox-fw.jpg|}}

Po stazeni je dobre overit md5 prikazem md5sum a porovnat, jestli sedí s checksumem uvedeným na webu.

''%%06adda309f41dae265387470cae6c880  fw-ConnectX4Lx-rel-14_32_1900-MCX4121A-XCA_Ax-UEFI-14.25.17-FlexBoot-3.6.502.bin.zip
%%''

A nyní můžeme po rozbalení přejít k upgradu FW:

<code>
# mstflint -d 10:00.0 -i fw-ConnectX4Lx-rel-14_32_1900-MCX4121A-XCA_Ax-UEFI-14.25.17-FlexBoot-3.6.502.bin burn

    Current FW version on flash:  14.27.1016
    New FW version:               14.32.1900

FSMST_INITIALIZE -   OK
Writing Boot image component -   OK
-I- To load new FW run mstfwreset or reboot machine.

# mstflint -d 10:00.0 v

FS3 failsafe image

     /0x00800038-0x00801e8b (0x001e54)/ (BOOT2) - OK
     /0x00802000-0x0080201f (0x000020)/ (ITOC_HEADER) - OK
     /0x00804000-0x0081472b (0x01072c)/ (IRON_PREP_CODE) - OK
     /0x00815000-0x008150ff (0x000100)/ (FS3_RESET_INFO) - OK
     /0x00816000-0x00816bff (0x000c00)/ (FW_MAIN_CFG) - OK
     /0x00817000-0x008174bf (0x0004c0)/ (FW_BOOT_CFG) - OK
     /0x00818000-0x008195ff (0x001600)/ (HW_MAIN_CFG) - OK
     /0x0081a000-0x0081a13f (0x000140)/ (HW_BOOT_CFG) - OK
     /0x0081b000-0x0081dc7f (0x002c80)/ (PHY_UC_CONSTS) - OK
     /0x0081e000-0x0081e13f (0x000140)/ (IMAGE_SIGNATURE_256) - OK
     /0x0081f000-0x0081f8ff (0x000900)/ (PUBLIC_KEYS_2048) - OK
     /0x00820000-0x0082008f (0x000090)/ (FORBIDDEN_VERSIONS) - OK
     /0x00821000-0x0082123f (0x000240)/ (IMAGE_SIGNATURE_512) - OK
     /0x00822000-0x008230ff (0x001100)/ (PUBLIC_KEYS_4096) - OK
     /0x00824000-0x00873fff (0x050000)/ (FS4_PART_TYPE_PROGRAMMABLE_HW_FW) - OK
     /0x00874000-0x00925e27 (0x0b1e28)/ (ROM_CODE) - OK
     /0x00926000-0x00935fff (0x010000)/ (CRDUMP_MASK_DATA) - OK
     /0x00936000-0x009369ff (0x000a00)/ (PHY_UC_CMD) - OK
     /0x00937000-0x0094091f (0x009920)/ (PHY_UC_CODE) - OK
     /0x00941000-0x0096c457 (0x02b458)/ (PCI_CODE) - OK
     /0x0096d000-0x00cbb8bf (0x34e8c0)/ (MAIN_CODE) - OK
     /0x00cbc000-0x00cc9cbf (0x00dcc0)/ (PCIE_LINK_CODE) - OK
     /0x00cca000-0x00ccae3f (0x000e40)/ (POST_IRON_BOOT_CODE) - OK
     /0x00ccb000-0x00ccce0f (0x001e10)/ (UPGRADE_CODE) - OK
     /0x00ccd000-0x00ccd3ff (0x000400)/ (IMAGE_INFO) - OK
     /0x00ccd400-0x00ccdb6f (0x000770)/ (DBG_FW_INI) - OK
     /0x00ccdb70-0x00ccdb77 (0x000008)/ (DBG_FW_PARAMS) - OK
     /0x00fa0000-0x00faffff (0x010000)/ (NV_DATA) - CRC IGNORED
     /0x00fb0000-0x00fbffff (0x010000)/ (NV_DATA) - CRC IGNORED
     /0x00fc0000-0x00fcffff (0x010000)/ (FW_NV_LOG) - CRC IGNORED
     /0x00fee000-0x00fee1ff (0x000200)/ (DEV_INFO) - OK
     /0x00ff8000-0x00ff813f (0x000140)/ (MFG_INFO) - OK
     /0x00ff8140-0x00ff81b7 (0x000078)/ (VPD_R0) - OK

-I- FW image verification succeeded. Image is bootable.

# mstflint -d 10:00.0 q full
Image type:            FS3
FW Version:            14.32.1900
FW Version(Running):   14.27.1016
FW Release Date:       25.8.2024
Part Number:           MCX4121A-XCA_Ax
Description:           ConnectX-4 Lx EN network interface card; 10GbE dual-port SFP28; PCIe3.0 x8; ROHS R6
Product Version:       14.27.1016
Rom Info:              type=UEFI version=14.20.19 cpu=AMD64,AARCH64
                       type=PXE version=3.5.901 cpu=AMD64
Description:           UID                GuidsNumber
Base GUID:             0c42a10300eabd04        4
Base MAC:              0c42a1eabd04            4
Image VSD:             N/A
Device VSD:            N/A
PSID:                  MT_2420110004
Security Attributes:   N/A
Default Update Method: fw_ctrl
</code>

Nakonec provedeme reboot stroje.

<code>
Image type:            FS3
FW Version:            14.32.1900
FW Release Date:       25.8.2024
Product Version:       14.32.1900
Rom Info:              type=UEFI version=14.25.17 cpu=AMD64,AARCH64
                       type=PXE version=3.6.502 cpu=AMD64
Description:           UID                GuidsNumber
Base GUID:             0c42a10300eabd04        4
Base MAC:              0c42a1eabd04            4
Image VSD:             N/A
Device VSD:            N/A
PSID:                  MT_2420110004
Security Attributes:   N/A
</code>

Cerpano odtud:

  * [[https://network.nvidia.com/support/firmware/connectx4lxen/|Firmware Connect-X4]]


===== Upgrade ovladacu v jadre =====

  - Ovladace je mozne stahnout z [[https://network.nvidia.com/products/ethernet-drivers/linux/mlnx_en/|teto stránky]]
  - Doporučuje se stáhnout vždy zdrojový balíček pro příslušnou nejbližší verzi OS
  - Před instalací modulu jádra potřebujeme aktuální zdrojové kody spuštěného jádra systému. V debianu toho docílíme instalací balíčku **linux-headers-amd64**
  - Po rozbaleni archivu do adresáře /usr/src spustíme příkaz ''%%/install.pl --force-dkms%%''
  - Tímto způsobem zajistíme kompilaci kodulu pomocí dkms avygenerování pčíslušných instalčních balíčků, které se sami i nainstalují. 
  - Po úspěšném dokončení restartujeme system.

Následně můžeme ověřit příkazem **ethool** instalaci nového modulu jádra

<code>
# ethtool -i eth2
driver: mlx5_core
version: 5.8-6.0.4
firmware-version: 14.32.1900 (MT_2420110004)
expansion-rom-version: 
bus-info: 0000:03:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: yes
</code>

Instalace řes DKMS zajistí, že se modul překompije pro aktuální verzi kernelu v případě že v budoucnu dojde k upgradu jádra systému.

Po instalaci nových ovladačů bjude potřeba asi doinstalovat znovu balíček mstflint, protože instalační skript preventivně před instalací nové verze modulu odinstaluje všchny stávající balíčky týkající se mellanox karet.

=== Odkazy ===

  * [[https://network.nvidia.com/support/firmware/firmware-downloads/|Firmware Download]]
  * [[https://network.nvidia.com/products/ethernet-drivers/linux/mlnx_en/|Ovladace MLNX_EN]]

===== Prepnuti rezimu karty =====

Kartu lze prepnout mezi rezimem **InfiniBand** a **Ethernet** timto prikazem:

''%%mstconfig -d 85:00.0 set LINK_TYPE_P2=2%%''

  * Nečíslovaný seznamLINK_TYPE_**P1** nebo LINK_TYPE_**P2** - vyber portu na karte
  * parametr 1 = InifiniBand (hlasi se v systemu jako ibx), parametr 2 = ethernet

<code>
Device #1:
----------

Device type:    ConnectX4       
Name:           N/A             
Description:    N/A             
Device:         85:00.0         

Configurations:                              Next Boot       New
         LINK_TYPE_P2                        IB(1)           ETH(2)          

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
</code>

Zobrazeni aktualniho nastaveni

<code>
mstconfig -d 85:00.0 q | grep LINK
         LINK_TYPE_P1                        IB(1)           
         LINK_TYPE_P2                        IB(1)           
         KEEP_ETH_LINK_UP_P1                 True(1)         
         KEEP_IB_LINK_UP_P1                  False(0)        
         KEEP_LINK_UP_ON_BOOT_P1             False(0)        
         KEEP_LINK_UP_ON_STANDBY_P1          False(0)        
         KEEP_ETH_LINK_UP_P2                 True(1)         
         KEEP_IB_LINK_UP_P2                  False(0)        
         KEEP_LINK_UP_ON_BOOT_P2             False(0)        
         KEEP_LINK_UP_ON_STANDBY_P2          False(0)        
</code>         
<code>
mstconfig -d 85:00.0 q | grep LINK
         LINK_TYPE_P1                        ETH(2)          
         LINK_TYPE_P2                        ETH(2)          
         KEEP_ETH_LINK_UP_P1                 True(1)         
         KEEP_IB_LINK_UP_P1                  False(0)        
         KEEP_LINK_UP_ON_BOOT_P1             False(0)        
         KEEP_LINK_UP_ON_STANDBY_P1          False(0)        
         KEEP_ETH_LINK_UP_P2                 True(1)         
         KEEP_IB_LINK_UP_P2                  False(0)        
         KEEP_LINK_UP_ON_BOOT_P2             False(0)        
         KEEP_LINK_UP_ON_STANDBY_P2          False(0)        

</code>