Adresses IP des machines du réseau Cluster
3 sous-réseaux (classe B : 172.16.0.0/12) ont été mis en place pour gérer le cluster :
IPMI |
172.24/16 |
Slurm/BPL |
172.20/16 |
Extérieur/NFS |
172.16/16 |
1. Tableau récapitulatif des adresses IP privées
Ce tableau regroupe les adresses de toutes les machines connectées au réseau local du cluster Summit2 :
Nom Hôte |
Adresse Ext/NFS |
Adresse Slurm/BPL |
Adresse IPMI |
Adresse IPoIB |
DNS |
Passerelle |
|
BPLnuc |
172.16.254.7/16 |
172.20.254.7/16 |
172.24.254.7/16 |
- |
195.83.22.19 |
172.16.254.254 |
|
summit2* |
172.16.253.6/16 |
172.20.254.6/16 |
172.24.254.6/16 |
- |
195.83.22.19 |
172.16.254.254 |
|
Baie 0 |
n1 |
172.16.0.1/16 |
172.20.0.1/16 |
172.24.0.1 |
192.168.0.1 |
- |
- |
Baie 1 |
n101 |
172.16.1.1/16 |
172.20.1.1/16 |
172.24.1.1 |
192.168.1.1 |
- |
- |
Baie 2 |
n201 |
172.16.2.1/16 |
172.20.2.1/16 |
172.24.2.1 |
192.168.2.1 |
- |
- |
Baie 3 |
n301 |
172.16.3.1/16 |
172.20.3.1/16 |
172.24.3.1 |
192.168.3.1 |
- |
- |
aum4 |
172.16.254.4/16 |
- |
172.24.254.4/16 |
- |
195.83.22.19 |
172.16.254.254 |
|
aum5 |
172.16.254.5/16 |
- |
172.24.254.5/16 |
- |
195.83.22.19 |
172.16.254.254 |
|
Un nœud nXYZ appartient à la baie X et possède 2 adresses IP sur la même interface : 172.20.X.YZ/16 et 172.16.X.YZ/16
(*) Pour des soucis de stabilité/équilibrage de charge, trois interfaces réseaux ont été configurées sur Summit2 :
172.20.254.6/16 (em4, 1Gb/s)
communications démons Slurm
172.16.253.6/16 (em1, 10Gb/s)
export NFS (notamment /home) vers nœuds
172.16.254.6/24 (em3, 1Gb/s)
connexions utilisateurs (via passerelle)
montage zones stockage
Prévention de l'ARP FLUX : l'utilisation de plusieurs interfaces réseau sur Summit2 a introduit des problèmes sur les réponses ARP avec la configuration réseau par défaut du noyau Linux. Pour y remédier, il a été nécessaire de rajouter les lignes suivantes dans le fichier /etc/sysctl.conf de Summit2 :
# preventing arp flux net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2
2. Calcul de l'adresse IPMI d'un nœud
L'adresse IPMI d'un nœud est calculée à partir de son adresse IP suivant la formule :
Adresse IP
Adresse IPMI
a.b.c.d
a.24.c.d
La commande Ipmihost nX ou Ipmihost X permet d'afficher l'adresse IPMI du nœud X :
BPLnuc:~ # Ipmihost 25 172.24.0.25
Il s'agit de la fonction bash :
function Ipmihost(){
[ "$1" == "aum4" ] && echo 172.24.254.4 && return
[ "$1" == "aum5" ] && echo 172.24.254.5 && return
[ "$1" == "summit2" ] && echo 172.24.254.6 && return
[ "$1" == "pocsv1" ] && echo 172.24.254.111 && return
[ "$1" == "pocsv3" ] && echo 172.24.254.113 && return
[ "$1" == "pocsv5" ] && echo 172.24.254.115 && return
getent hosts n${1#n}|cut -f1 -d \ | { IFS=. read a b c d && echo $a.24.$c.$d ;}
}
La configuration de l'ipmi sur les nœuds Dell R410 est décrite dans ConfigIpmiR410.