Ewch i’r prif gynnwys
Uwch-gyfrifiadura ar gyfer Ymchwil

Ein huwchgyfrifiadur

Mae’n bosibl cyrchu ein huwchgyfrifiadur ‘Hawk’ o unrhyw le sydd â chysylltiad i’r rhyngrwyd.

Ynghylch Hawk


Hawk yw ein clwstwr Cyfrifiadura Perfformiad Uchel diweddaraf (HPC), system sy'n darparu cynnydd mawr mewn gallu o'i gymharu â'i ragflaenydd, Raven a stopiodd weithredu ym mis Hydref 2019. Bydd uwchraddio i wasanaeth craidd Hawk yn cael ei ddarparu yn 2024.

Ers i Hawk gael ei lansio ym mis Awst 2018, mae'r system gyffredinol wedi gweld twf parhaus gan ehangu gan ffactor o tua 2.5 mewn llai na dwy flynedd. Gwneir hyn yn bosibl drwy gynllun pensaernïol y system sydd, drwy athroniaeth "seilwaith y gellir ei blygio" a ddangoswyd yn y lle cyntaf ar Raven, wedi galluogi'r rhaniad "craidd" sydd ar gael i bob ymchwilydd, ynghyd ag is-systemau a ariennir gan ymchwilwyr penodol, i gael eu hintegreiddio mewn modd hynod effeithlon a chadarn.

Mae ein clwstwr Linux Hawk yn cynnwys dau nod Intel Skylake Gold a nodau AMD sy'n cynnwys proseswyr AMD EPYC Rome 7502 deuol (32 Zen-2 graidd, 2.5 GHz).

Mae hyn yn cynnwys proseswyr Intel Skylake Gold 6148 (2.4 GHz/4.8 GB y craidd / 20 craidd fesul prosesydd) fel y Prif raniad MPI cyfochrog (gan gynnwys cof uchel, adran SMP), yn ogystal â nodau prosesydd deuol AMD Rome 7502 sy'n darparu gallu X86-64, ynghyd â Intel Skylake Gold ychwanegol fel is-system cyfresol/ trwybwn uchel. Mae perfformiad wedi’i gyflymu ar gael trwy gyfuniad o nodau Nvidia V100 a P100 GPU, adnoddau mewn galw uchel o'r gymuned Deallusrwydd Artiffisial (AI) a Dysgu Dwfn (DL) sy’n tyfu.

Manyleb dechnegol

Trosolwg Byr:

  • Cyfanswm y creiddiau ar Hawk yw +20,000
  • Cyfanswm y cof ar draws y clwstwr cyfan yw +100 TB
  • Cyfanswm capasiti storfa ffeiliau cyfochrog eang Lustre y gellir ei ddefnyddio yw 1.2 PB
  • Cyfanswm capasiti rhaniad NFS y gellir ei ddefnyddio ar gyfer storio data yn y tymor hirach yw 480 TB
  • Mae’r nodau wedi’u cysylltu drwy dechnoleg InfiniBand EDR (cuddni 100 Gbps / 1.0 μsec) gan Mellanox.

Mae’r clwstwr cyfredol yn cynnwys 19,416 o greiddiau sy’n cynnwys:

  • 8,040 craidd - nodau rhaniad craidd Intel Skylake Phase 1
  • 4,616 craidd – ehangiad ymchwilydd pwrpasol Intel Skylake
  • 2,064 craidd – nodau is-system Intel Broadwell a Haswell Raven wedi’u mudo
  • 4,696 craidd - nodau rhaniad craidd AMD Rome Phase 2

Rhaniad MPI Craidd

225 x Nod Intel Skylake yn seiliedig ar broseswyr Intel Skylake Gold 6148 (2.4GHz / 4.8GB y craidd / 20 craidd y prosesydd). Mae’n cynnwys:

  • Proseswyr Intel Xeon Gold 6148 (Skylake) 2.40GHz
  • 20 craidd/soced (2.40GHz, 10.4GT/e, Tyrbo+, 150W) sy’n rhoi 40 craidd y nod
  • 4.8GB RAM y craidd (ECC DDR4 2666MT/e RDIMMs dwy res)
  • Disg SSD 120GB SSD
  • Rhyngwyneb Infiband Cenhedlaeth3 PCIe-x8 EDR Cyswllt Un porth-X4
  • 136 x nod safonol cyfrifiadura yn seiliedig ar weinyddion soced ddeuol Dell PowerEdge C6420 ½ U
  • 26 × llafn gyfrifiadura cyfresol deuol yn seiliedig ar weinyddwr Server PowerEdge C6420 gyda 192GB RAM y nod
  • 26 × SMP, Nodau cyfrifiaduro cof uchel (1040 is-set graidd y Nodau MPI) yn seiliedig ar weinydd C6420 Dell PowerEdge, gyda 384GB RAM y nod.
  • 65 x nod AMD Rome

Proseswyr AMD EPYC Rome 7502 (32 craidd Zen-2, 2’5 GHz)

Mae’n cynnwys:

  • Proseswyr AMD 7502 (EPYC) 2.5GHz
  • 32 craidd/soced (2.5GHz,128M,180W) sy’n rhoi 64 craidd y nod
  • 4GB RAM y craidd (ECC DDR4 3200MT/e RDIMMs un rhes)
  • Disg SSD 240GB
  • Addaswr Infiniband ConnectX-6 HDR100 QSFP56 un porth

Nodau cyflymu GPU

28 Nod Cyflymu GPU sy'n cynnwys 15 x nod NVIDIA V100 a 13 x NVIDIA P100.

Mae’r nodau cyflymu 15 V100 yn weinyddion PowerEdge R740, gyda 2 x brosesydd Intel Xeon Gold 6248 2.5G, 20C/40T, 10.4GT/s, storfa 27.5M, Tyrbo, HT (150W), cof 384GB (12 x 32GB DDR4-2933 2933MT RDIMMs dwy res), dau gyflenwad pŵer afraid, a cherdyn rhyngwyneb gwesteiwr ffabrig Infiniband. Mae'r gweinydd wedi ei ffitio â phecyn galluogi GPU a 2 (dau) gerdyn GPU NVidia tesla V100 16GB PCIe.

Mae pob nod yn cynnwys:

  • Proseswyr Intel Xeon Gold 6248 2.5GHz
  • 20 craidd/soced (2.0GHz, 10.4GT/e, Tyrbo+, 150W) sy’n rhoi 40 craidd y nod
  • 4.8GB RAM y craidd (192GB cof ECC DDR4 2933MHz)
  • Disg SSD 240GB
  • Un rhyngwyneb Infiniband EDR/Cenhedlaeth3 PCIe-x8 wedi’i fewnosod yn y mamfwrdd
  • 2 (dau) gerdyn NVidia tesla V100 16GB PCIe GPU

Nodau cyflymu 13 P100

Mae’r nodau cyflymu 13 P100 yn weinyddion Dell PowerEdge R740, gyda 2 x Prosesydd craidd 2.4 GHz Intel Xeon Gold 6148 20-2, 384GB cof (12 x 32GB ECC DDR4 2666MT/e RDIMMs dwy res), cyflenwadau pŵer deuol afraid, a cherdyn rhyngwyneb gwesteiwr ffabrig Infiniband. Mae'r gweinydd wedi ei ffitio â phecyn galluogi GPU a 2 (dau) gerdyn GPU NVidia tesla P100 16GB PCIe.

Mae pob nod yn cynnwys:

  • Proseswyr Intel Xeon Gold 6148 (Skylake) 2.40GHz
  • 20 craidd/soced (2.40GHz, 10.4GT/e, Tyrbo+, 150W) sy’n rhoi 40 craidd y nod
  • 4.8GB RAM y craidd (192GB cof ECC DDR4 2666MHz)
  • Disg SSD 120GB SSD
  • Un rhyngwyneb Infiniband EDR/Cenhedlaeth3 PCIe-x8 wedi’i fewnosod yn y mamfwrdd
  • 2 (dau) gerdyn NVidia tesla P100 16GB PCIe GPU

Darperir y rhyng-gyswllt perfformiad uchel, Cyflymder Uchel, Cuddni Isel gan rwydwaith InfiniBand 100Gb/e gan ddefnyddio Swits IB MSB7700 Mellanox sy’n seiliedig ar 36 swits porth EDR nad ydynt yn atal. ConnectX-4 porth sengl EDR PCIe cenhedlaeth3-x16 HCAs (addasydd cerdyn gwesteiwr) yn cael eu darparu ym mhob nod cyfrifiadura.


Mae yna ddwy brif is-system storio, sef cyfundrefn ffeiliau clwstwr cyflym 1.2 PB sy'n seiliedig ar bensaernïaethau cyfeirio Dell EMC gan gynnwys meddalwedd Lustre (RAID-6), a System Ffeiliau Rhwydwaith afraid (NFS) o ddisg 420TB RAID-6 y gellir ei ddefnyddio.

System Ffeiliau Clwstwr

Mae gweithredoliant Lustre yn cynnwys 6 x amgaead nodau OSS a 6 x amgaead OST Mae pob amgaead yn darparu 60 x gyrrwr 4TB ar gyfer capasiti craidd o 240TB yr amgaead, sef cyfanswm o 1.44PB Ar ôl RAID6 mae hyn yn darparu 192TB yr amgaead, sef cyfanswm o 1.2PB.

System Ffeiliau Rhwydwaith

Mae'r is-system yn cynnwys 2 weinydd NFS sy'n gweithredu mewn modd gweithredol/goddefol, ynghlwm wrth amgaead disg RAID a rennir. Y Gweinyddion NFS yw gweinyddion Dell PowerEdge R640 1U gyda 2 x prosesydd Intel Xeon Gold 6130 16-craidd 2.1 GHz, 192GB RAM a dau yriant cychwyn SSD. Mae gan bob gweinydd ddau gyflenwad pŵer afraid, ffaniau afraid a dau reolwr SAS, ynghyd ag un addasydd Omni-Path ac Intel 2 x 10GbE a 2 x epil-gerdyn rhwydwaith 10GbE. Darperir dolen methiant curiad calon ychwanegol. Mae pob gweinydd wedi'i gysylltu â ffabrig Infiniband ar gyfer gweini ffeiliau, i switshis clwstwr 10GbE a GbE i ddarparu mynediad yn seiliedig ar Ethernet, ac i'r rhwydwaith y tu allan i'r band. Mae'r arae disg a rennir yn ddyfais MD3460 PowerVault, gydag oeri afraid, cyflenwadau pŵer a rheolwyr RAID deuol. Mae’r disgiau wedi’u ffurfweddu gyda RAID6 er mwyn darparu rhagor o wydnwch. Mae hyn yn darparu 600TB crai (60 x 10TB o yrwyr), 480TB ar ôl RAID6.

Cynnyrch meddalwedd Intel Parallel Studio XE Cluster Edition

Mae hyn yn rhoi i'r clwstwr amgylchedd datblygu cymwysiadau wedi’i diwnio, optimeiddio a dadfygio ar gyfer ceisiadau a ysgrifennwyd yn C/C + +, neu Fortran, a naill ai'n gyfresol neu'n gyfochrol gydag OpenMP a/neu MPI.

Llyfrgelloedd

  • Llyfrgell Cnewyll Mathemateg Intel - Trwydded Cluster Edition Medium Cluster ar gyfer Linux
  • FFTW
  • netCDF
  • gsl
  • CUDA ar gyfer cymwysiadau GPU
  • Trwyddedau meddalwedd ar gyfer SuperComputing Suite 5 (SCS) ar gyfer rheoli a monitro clystyrau.

Y Slurm Workload Manager

Yr amserlennydd ffynhonnell agored ar gyfer cnewyll tebyg i Linux ac Unix. Mae’n darparu tair swyddogaeth allweddol Yn gyntaf, mae’n dyrannu mynediad neilltuedig/ac anneilltuedig at adnoddau (nodau cyfrifiadur) i ddefnyddwyr am ryw gyfnod fel y gallant berfformio gwaith. Yn ail, mae’n darparu fframwaith ar gyfer cychwyn, gweithredu a monitro gwaith (yn nodweddiadol gwaith cyfochrog fel MPI) ar set o nodau a ddyrannwyd. Yn olaf, mae’n cymrodeddu gwrthdaro am adnodau trwy reoli rhestr o waith i’w wneud.

Dadansoddwyr, Proffilwyr a Dadfygwyr

  • Intel Mae stiwdio XE 2017 Cluster Edition yn cynnwys VTune Amplifier (galluoedd proffilio uwch gydag un rhyngwyneb dadansoddi, cyfeillgar
  • Mae offer pwerus i diwnio OpenCL a’r Unedau Prosesu CyffredinolIntel Inspector, dadfygiwr cof a gwallau edafu ar gyfer cof cyfochrog a dosbarthedig cymwysiadau C, C++ a Fortran sy’n rhedeg ar Windows a Linux
  • Meddalwedd dadfygio menter Arm/Allinea DDT ac Adroddiad Pefformiad Allinea.