L’infrastruttura del data center

Overview

Si tratta di un data center riconosciuto tra i 62 in gruppo A su 1.152 censiti da AgID su tutta la Pubblica Amministrazione nazionale, che fa uso di tutte le più moderne tecnologie per alimentare un grande numero di server riducendo al minimo i costi necessari al raffreddamento.

Il data center è detto Green poiché nell’arco di 3 anni ha registrato un PUE di 1,2 ovverosia per ogni KW assorbito per il calcolo utile si sono resi necessari solo 200W aggiuntivi per il raffreddamento.

La sala macchine

La sala macchine, la cui pianta è illustrata nella figura di seguito a sinista, è progettata per un efficente raffreddamento mediante confinamento ad isola calda, come esemplificato nella figura seguente a desta.

 

 

Attualmente nel Data Center sono complessivamente a disposizione del calcolo scientifico 440 nodi per un totale di 10.312 core , 68TB di RAM e 55 GPU (22 Tesla V100, 4 Tesla K80, 8 Tesla P100, 4 Tesla M40, 15 Tesla T4, 2 Xeon Phi 7210).

 

 

Delle risorse di calcolo su descritte, una parte sono a disposizione di tutti i ricercatori del nostro Ateneo, un’altra parte sono state acquistate su fondi di progetto e sono quindi a disposizione esclusiva di alcuni gruppi di ricerca. Il dettaglio delle risorse totali di calcolo è dato dalla seguente tabella.

 

Risorse disponibili
Nodes Tot RAM GB Tot Cores V100 P100 M40 K80 T4 Phi GPU
Ateneo 192 34944 4944 18 4 4 4 2 32
Riservate 248 33156 5368 4 4 15 23
Total 440 68100 10312 22 8 4 4 15 2 55

 

La parte delle risorse di calcolo acquistata dall’Ateneo, e quindi a disposizione di tutti i ricercatori, consta di 192 nodi per un totale di 4.944 core , 34TB di RAM e 32 GPU (18 Tesla V100, 4 Tesla K80, 4 Tesla P100, 4 Tesla M40, 2 Xeon Phi 7210). Il dettaglio di queste risorse di calcolo è dato dalla seguente tabella.

 

Risorse ad accesso di Ateneo
Cluster Name CPU GPU Nodes Tot RAM GB Tot Cores
OpenHPC0 Intel Xeon E5-2697 v4 8 1024 288
OpenHPC1 Intel Xeon Silver 4114 16 2048 320
OpenHPC2 Intel Xeon Silver 4114 16 2048 320
OpenHPC3 Intel Xeon Silver 4114 16 2048 320
OpenHPC4 Intel Xeon Silver 4114 16 2048 320
OpenHPC4 Intel Xeon Gold 5120 16 3072 448
HPC2019 Intel Xeon Gold 5120 32 4096 896
HPC-UNIPI Intel Xeon E5-2640 v4 32 4096 640
DL580-CPU1 Intel Xeon Gold 6140M 1 1280 72
DL580-CPU2 Intel Xeon Gold 6140M 1 1280 72
DL580-CPU3 Intel Xeon Gold 6140M 1 1280 72
DL580-CPU4 Intel Xeon Gold 6140M 1 1280 72
DL580-GPU1 Intel Xeon Gold 6140M 4 x Tesla V100 1 1280 72
DL580-GPU2 Intel Xeon Gold 6140M 4 x Tesla V100 1 1280 72
DL580-GPU3 Intel Xeon Gold 6140M 4 x Tesla V100 1 1280 72
DL580-GPU4 Intel Xeon Gold 6140M 4 x Tesla K80 1 1280 72
C6320P Intel Xeon Phi 7210 2 96 128
C4130-1 Intel Xeon E5-2698 v4 4 x Tesla V100 16GB 1 256 40
C4130-2 Intel Xeon E5-2670 v3 4 x Tesla M40 12GB 1 128 24
C4140 Intel Xeon Silver 4114 4 x Tesla P100 12GB 1 32 40
IBM POWER 9 IBM Power 9 2 x Tesla V100 1 384 64
Unipi-Dipartimenti Intel Xeon E5-2640 v4 26 3328 520
Total 32 192 34944 4944

 

Come già anticipato, una parte delle risorse di calcolo è stata acquistata su fondi di progetto e è quindi a disposizione esclusiva di alcuni gruppi di ricerca. Si tratta di 248 nodi per un totale di 5.368 core , 33TB di RAM e 23 GPU (4 Tesla V100, 4 Tesla P100, 15 Tesla T4). Il dettaglio di queste risorse di calcolo è dato dalla seguente tabella.

 

Risorse ad accesso esclusivo
Cluster Name CPU GPU Nodes Tot RAM GB Tot Cores
Molecolab-Mennucci Intel Xeon Gold 5120 61 8068 1704
Molecolab-Mennucci Intel Xeon X5690 22 1408 264
Molecolab-Mennucci Intel Xeon E5-2650 v3 21 6144 336
Molecolab-Mennucci Intel Xeon E5-2698 v4 4 x Tesla V100 16GB 1 256 40
Graphene Lab-Fiori Intel Xeon E5-2650 34 4352 680
Graphene Lab-Fiori Intel Xeon X5690 24 1408 384
Chimica-Cacelli Intel Xeon X5690 9 1152 144
Chimica-Cacelli Intel Xeon E5-2650 v4 2 256 48
DST Intel Xeon E5-2650 v4 27 3456 648
Fisica Intel Xeon Gold 5220 1 Tesla T4 1 128 36
Informatica 1 Intel Xeon Gold 5118 1 128 24
Informatica 2 Intel Xeon Gold 5118 1 128 24
Informatica Intel Xeon Gold 6132 4 x Tesla T4 1 384 28
Informatica Intel Xeon E5-2698 v4 4 x Tesla P100 16GB 1 512 40
Ingegneria-Vallati Intel Xeon Gold 5120 10 x Tesla T4 16 2048 448
Unipi-Dipartimenti Intel Xeon E5-2640 v4 26 3328 520
Total 23 248 33156 5368

Sistema di Alimentazione e Raffreddamento

Il sistema di alimentazione consiste in due linee indipendenti (rete e gruppo elettrogeno) con doppio UPS.

 

 

Il sistema di raffreddamento è basato free cooling e su chiller adiabatici che, avvalendosi dell’evaporazione dell’acqua per abbassare la temperatura dell’aria, consente di ottenere alti livelli di efficenza energetica.

 

 

L’accoppiamento di queste tecnologie consente di ottenere un basso PUE: nell’arco di 3 anni si è registrato un PUE di 1,2 (per ogni KW assorbito per il calcolo utile si sono resi necessari solo 200W aggiuntivi per il raffreddamento) quando molti data center hanno un PUE di 2 (per ogni KW utile al calcolo ne serve un altro per garantire il raffreddamento).

 

La rete

Il Data Center possiede una connettività interna ed esterna ad alta velocità ed elevata affidabilità.

È presente una connessione con topologia spine-leaf da 100Gb/s intra-datacenter e inter-datacenter. Le connessioni sono ridondate sia a livello fisico (fibre ottiche) sia ai livelli superiori (apparati di rete) per ottenere No Single Point of Failure.

La rete di interconnessione si basa sulla commutazione Ethernet di ultima generazione 25-100 Gb/s e Infiniband / Omnipath per i servizi HPC. Il DataCenter è collegato alla rete universitaria con una rete in fibra da 200 Gb/s e alla rete GARR con un collegamento da 10 Gb/s.

 

La possibilità di espansione

Le infrastrutture del Data Center (impianti e locali) sono state progettate per offrire ampi margini di crescita in termini di capacità di calcolo scientifico e di connessione alla rete.