Overview
Si tratta di un data center riconosciuto tra i 62 in gruppo A su 1.152 censiti da AgID su tutta la Pubblica Amministrazione nazionale, che fa uso di tutte le più moderne tecnologie per alimentare un grande numero di server riducendo al minimo i costi necessari al raffreddamento.
Il data center è detto Green poiché nell’arco di 3 anni ha registrato un PUE di 1,2 ovverosia per ogni KW assorbito per il calcolo utile si sono resi necessari solo 200W aggiuntivi per il raffreddamento.
La sala macchine
La sala macchine, la cui pianta è illustrata nella figura di seguito a sinista, è progettata per un efficente raffreddamento mediante confinamento ad isola calda, come esemplificato nella figura seguente a desta.
Attualmente nel Data Center sono complessivamente a disposizione del calcolo scientifico 440 nodi per un totale di 10.312 core , 68TB di RAM e 55 GPU (22 Tesla V100, 4 Tesla K80, 8 Tesla P100, 4 Tesla M40, 15 Tesla T4, 2 Xeon Phi 7210).
Delle risorse di calcolo su descritte, una parte sono a disposizione di tutti i ricercatori del nostro Ateneo, un’altra parte sono state acquistate su fondi di progetto e sono quindi a disposizione esclusiva di alcuni gruppi di ricerca. Il dettaglio delle risorse totali di calcolo è dato dalla seguente tabella.
Nodes | Tot RAM GB | Tot Cores | V100 | P100 | M40 | K80 | T4 | Phi | GPU | |
Ateneo | 192 | 34944 | 4944 | 18 | 4 | 4 | 4 | 2 | 32 | |
Riservate | 248 | 33156 | 5368 | 4 | 4 | 15 | 23 | |||
Total | 440 | 68100 | 10312 | 22 | 8 | 4 | 4 | 15 | 2 | 55 |
La parte delle risorse di calcolo acquistata dall’Ateneo, e quindi a disposizione di tutti i ricercatori, consta di 192 nodi per un totale di 4.944 core , 34TB di RAM e 32 GPU (18 Tesla V100, 4 Tesla K80, 4 Tesla P100, 4 Tesla M40, 2 Xeon Phi 7210). Il dettaglio di queste risorse di calcolo è dato dalla seguente tabella.
Cluster Name | CPU | GPU | Nodes | Tot RAM GB | Tot Cores |
OpenHPC0 | Intel Xeon E5-2697 v4 | 8 | 1024 | 288 | |
OpenHPC1 | Intel Xeon Silver 4114 | 16 | 2048 | 320 | |
OpenHPC2 | Intel Xeon Silver 4114 | 16 | 2048 | 320 | |
OpenHPC3 | Intel Xeon Silver 4114 | 16 | 2048 | 320 | |
OpenHPC4 | Intel Xeon Silver 4114 | 16 | 2048 | 320 | |
OpenHPC4 | Intel Xeon Gold 5120 | 16 | 3072 | 448 | |
HPC2019 | Intel Xeon Gold 5120 | 32 | 4096 | 896 | |
HPC-UNIPI | Intel Xeon E5-2640 v4 | 32 | 4096 | 640 | |
DL580-CPU1 | Intel Xeon Gold 6140M | 1 | 1280 | 72 | |
DL580-CPU2 | Intel Xeon Gold 6140M | 1 | 1280 | 72 | |
DL580-CPU3 | Intel Xeon Gold 6140M | 1 | 1280 | 72 | |
DL580-CPU4 | Intel Xeon Gold 6140M | 1 | 1280 | 72 | |
DL580-GPU1 | Intel Xeon Gold 6140M | 4 x Tesla V100 | 1 | 1280 | 72 |
DL580-GPU2 | Intel Xeon Gold 6140M | 4 x Tesla V100 | 1 | 1280 | 72 |
DL580-GPU3 | Intel Xeon Gold 6140M | 4 x Tesla V100 | 1 | 1280 | 72 |
DL580-GPU4 | Intel Xeon Gold 6140M | 4 x Tesla K80 | 1 | 1280 | 72 |
C6320P | Intel Xeon Phi 7210 | 2 | 96 | 128 | |
C4130-1 | Intel Xeon E5-2698 v4 | 4 x Tesla V100 16GB | 1 | 256 | 40 |
C4130-2 | Intel Xeon E5-2670 v3 | 4 x Tesla M40 12GB | 1 | 128 | 24 |
C4140 | Intel Xeon Silver 4114 | 4 x Tesla P100 12GB | 1 | 32 | 40 |
IBM POWER 9 | IBM Power 9 | 2 x Tesla V100 | 1 | 384 | 64 |
Unipi-Dipartimenti | Intel Xeon E5-2640 v4 | 26 | 3328 | 520 | |
Total | 32 | 192 | 34944 | 4944 |
Come già anticipato, una parte delle risorse di calcolo è stata acquistata su fondi di progetto e è quindi a disposizione esclusiva di alcuni gruppi di ricerca. Si tratta di 248 nodi per un totale di 5.368 core , 33TB di RAM e 23 GPU (4 Tesla V100, 4 Tesla P100, 15 Tesla T4). Il dettaglio di queste risorse di calcolo è dato dalla seguente tabella.
Cluster Name | CPU | GPU | Nodes | Tot RAM GB | Tot Cores |
Molecolab-Mennucci | Intel Xeon Gold 5120 | 61 | 8068 | 1704 | |
Molecolab-Mennucci | Intel Xeon X5690 | 22 | 1408 | 264 | |
Molecolab-Mennucci | Intel Xeon E5-2650 v3 | 21 | 6144 | 336 | |
Molecolab-Mennucci | Intel Xeon E5-2698 v4 | 4 x Tesla V100 16GB | 1 | 256 | 40 |
Graphene Lab-Fiori | Intel Xeon E5-2650 | 34 | 4352 | 680 | |
Graphene Lab-Fiori | Intel Xeon X5690 | 24 | 1408 | 384 | |
Chimica-Cacelli | Intel Xeon X5690 | 9 | 1152 | 144 | |
Chimica-Cacelli | Intel Xeon E5-2650 v4 | 2 | 256 | 48 | |
DST | Intel Xeon E5-2650 v4 | 27 | 3456 | 648 | |
Fisica | Intel Xeon Gold 5220 | 1 Tesla T4 | 1 | 128 | 36 |
Informatica 1 | Intel Xeon Gold 5118 | 1 | 128 | 24 | |
Informatica 2 | Intel Xeon Gold 5118 | 1 | 128 | 24 | |
Informatica | Intel Xeon Gold 6132 | 4 x Tesla T4 | 1 | 384 | 28 |
Informatica | Intel Xeon E5-2698 v4 | 4 x Tesla P100 16GB | 1 | 512 | 40 |
Ingegneria-Vallati | Intel Xeon Gold 5120 | 10 x Tesla T4 | 16 | 2048 | 448 |
Unipi-Dipartimenti | Intel Xeon E5-2640 v4 | 26 | 3328 | 520 | |
Total | 23 | 248 | 33156 | 5368 |
Sistema di Alimentazione e Raffreddamento
Il sistema di alimentazione consiste in due linee indipendenti (rete e gruppo elettrogeno) con doppio UPS.
Il sistema di raffreddamento è basato free cooling e su chiller adiabatici che, avvalendosi dell’evaporazione dell’acqua per abbassare la temperatura dell’aria, consente di ottenere alti livelli di efficenza energetica.
L’accoppiamento di queste tecnologie consente di ottenere un basso PUE: nell’arco di 3 anni si è registrato un PUE di 1,2 (per ogni KW assorbito per il calcolo utile si sono resi necessari solo 200W aggiuntivi per il raffreddamento) quando molti data center hanno un PUE di 2 (per ogni KW utile al calcolo ne serve un altro per garantire il raffreddamento).
La rete
Il Data Center possiede una connettività interna ed esterna ad alta velocità ed elevata affidabilità.
È presente una connessione con topologia spine-leaf da 100Gb/s intra-datacenter e inter-datacenter. Le connessioni sono ridondate sia a livello fisico (fibre ottiche) sia ai livelli superiori (apparati di rete) per ottenere No Single Point of Failure.
La rete di interconnessione si basa sulla commutazione Ethernet di ultima generazione 25-100 Gb/s e Infiniband / Omnipath per i servizi HPC. Il DataCenter è collegato alla rete universitaria con una rete in fibra da 200 Gb/s e alla rete GARR con un collegamento da 10 Gb/s.
La possibilità di espansione
Le infrastrutture del Data Center (impianti e locali) sono state progettate per offrire ampi margini di crescita in termini di capacità di calcolo scientifico e di connessione alla rete.