{"id":228,"date":"2016-02-23T23:11:39","date_gmt":"2016-02-23T22:11:39","guid":{"rendered":"http:\/\/physics.uwb.edu.pl\/wf\/?page_id=228"},"modified":"2020-01-16T10:37:50","modified_gmt":"2020-01-16T09:37:50","slug":"centrum-obliczeniowe","status":"publish","type":"page","link":"https:\/\/physics.uwb.edu.pl\/wf\/?page_id=228","title":{"rendered":"Centrum Obliczeniowe"},"content":{"rendered":"

Centrum Obliczeniowe Wydzia\u0142u Fizyki UwB<\/strong><\/h2>\n

Centrum Obliczeniowe Wydzia\u0142u Fizyki UwB obejmuje Wydzia\u0142owy Klaster Obliczeniowy<\/strong>, mniejszy klaster obliczeniowy Moria<\/strong> (wykorzystywany przez Zak\u0142ad Fizyki Nieliniowej<\/a>), a tak\u017ce serwer www alpha oraz drukarki (HP Color LaserJet CP5225dn i HP LaserJet 4250dm). Centrum Obliczeniowe wykorzystywane jest przez wszystkich pracownik\u00f3w Wydzia\u0142u.<\/p>\n

Wydzia\u0142owy Klaster Obliczeniowy<\/strong><\/h3>\n

\"klaster2\"<\/h3>\n

Wydzia\u0142owy Klaster Obliczeniowy zbudowany z 22 jednostek obliczeniowych<\/strong> i jednego komputera dost\u0119powego. Jest najpot\u0119\u017cniejszym klastrem<\/strong> jakim dysponuje pojedynczy wydzia\u0142 w wojew\u00f3dztwie podlaskim (stan na rok 2016). Ka\u017cdy serwer obliczeniowy to maszyna dwuprocesorowa oparta na procesorze Intel Xeon E5-2650v2<\/strong> @2.6 GHz (8 rdzeni na procesor<\/strong>), wyposa\u017cona w 96 GB RAM oraz lokalny twardy dysk 3TB SATA 7200 rpm. Ca\u0142o\u015b\u0107 daje w sumie 44 CPU<\/strong>, 352 rdzeni obliczeniowych o teoretycznej wydajno\u015bci 10.4 Gflops\/s ka\u017cdego rdzenia, 166 Gflops\/s ka\u017cdej jednostki, 3660 Gflops\/s ca\u0142ego klastra. Rzeczywista wydajno\u015b\u0107 maszyn w te\u015bcie lapack-100 wynosi 4 Gflops\/s na ka\u017cdy rdze\u0144, daj\u0105c 1400 Gflops\/s wydajno\u015bci (38% wydajno\u015bci teoretycznej). Maszyny po\u0142\u0105czone s\u0105 Ethernetem o przepustowo\u015bci 1Mb\/s, z rzeczywistym transferem 60MB\/s.<\/p>\n

Do klastra pod\u0142\u0105czona jest macierz dyskowa<\/strong> zbudowana z 36 dysk\u00f3w twardych 3TB ka\u017cdy, tworz\u0105c dwa wolumeny o wielko\u015bciach 75 TB i 32 TB. Docelowo zasoby te maj\u0105 by\u0107 wykorzystywane do przechowywania danych generowanych przez programy pracuj\u0105ce na Klastrze, a tak\u017ce jako magazyn danych (backup) wszystkich pracownik\u00f3w Wydzia\u0142u. Planowane jest uwsp\u00f3lnienie cz\u0119\u015bci wolumenu dla student\u00f3w, oraz dla pracownik\u00f3w dydaktycznych jako pomoc podczas prowadzenia zaj\u0119\u0107.<\/p>\n

W\u0119z\u0142y obliczeniowe pracuj\u0105 pod kontrol\u0105 64-bitowego systemu Debian GNU\/Linux 7.8 (wheezy), dodatkowo zainstalowano 4 licencje Windows Ultimate 7 jako maszyny wirtualne. Docelowo ma zosta\u0107 zakupione oprogramowanie specyficzne dla ka\u017cdego zak\u0142adu z Wydzia\u0142u Fizyki (procedura w toku).<\/p>\n

Klaster Moria (Zak\u0142ad Fizyki Nieliniowej)<\/h3>\n

\"Unico_Anello\"<\/p>\n

Klaster Moria, kt\u00f3rego nazwa zaczerpni\u0119ta zosta\u0142a z trylogii J. R. R. Tolkiena<\/strong>, jest klastrem obliczeniowym typu Beowulf<\/strong>. Sk\u0142ada si\u0119 z 13 w\u0119z\u0142\u00f3w obliczeniowych oraz jednego komputera dost\u0119powego. Wszystkie jednostki pracuj\u0105 pod kontrol\u0105 systemu operacyjnego Linux\/Unix – r\u00f3\u017cnych dystrybucji (gentoo, Debian, Ubuntu). Aktualnie uruchomionych jest 7 w\u0119z\u0142\u00f3w (najs\u0142absze 7 jednostki zosta\u0142y wy\u0142\u0105czone), daj\u0105c \u0142\u0105czn\u0105 liczb\u0119 116 rdzeni obliczeniowych o cz\u0119stotliwo\u015bciach od 2.2 GHz do 2.6 GHz. (razem z wy\u0142\u0105czonymi jednostkami jest to 122 rdzeni). Klaster wyposa\u017cony jest (w sumie) w 412 GB RAM<\/strong>, z czego 3 jednostki maj\u0105 do swojej dyspozycji po 96 GB RAM (tym samym daj\u0105c mo\u017cliwo\u015b\u0107 przeprowadzania oblicze\u0144 wymagaj\u0105cych du\u017cych zasob\u00f3w pami\u0119ci na pojedynczym w\u0119\u017ale). Komputery posiadaj\u0105 lokalne dyski twarde. Rzeczywista moc obliczeniowa klastra w te\u015bcie lapack-100 wynosi 313 Gflops\/s. W\u0119z\u0142y klastra po\u0142\u0105czone s\u0105 ze sob\u0105 Ethernetem o przepustowo\u015bci 1Mb\/s (rzeczywisty transfer pomi\u0119dzy w\u0119z\u0142ami, uwzgl\u0119dniaj\u0105cy szybko\u015b\u0107 zapisu dysk\u00f3w twardych, wynosi 60MB\/s).<\/p>\n

Do czego s\u0142u\u017cy? Aktualnie prowadzimy obliczenia g\u0142\u00f3wnie w tematyce zimnych gaz\u00f3w atomowych<\/strong> – ca\u0142e moce obliczeniowe zaanga\u017cowane s\u0105 w symulowanie zjawiska kondensacji Bosego-Einsteina (BEC – Bose-Einstein Condensation), zdegenerowanego gazu Fermiego oraz mieszanin fermionowo-bozonowych i bozonowo-bozonowych.<\/p>\n

Co dok\u0142adnie robimy? Piszemy w\u0142asne programy<\/strong> (g\u0142\u00f3wnie w C i FORTRANIE) symuluj\u0105ce<\/strong> eksperymenty z zimnymi gazami atomowymi, kt\u00f3re zosta\u0142y przeprowadzone w mi\u0119dzynarodowych laboratoriach (USA, Niemcy, Francja). W ten spos\u00f3b mo\u017cemy podj\u0105\u0107 pr\u00f3b\u0119 analizy konkretnych do\u015bwiadcze\u0144, szuka\u0107 odpowiedzi na wiele pyta\u0144 pojawiaj\u0105cych si\u0119 w tym fascynuj\u0105cym kawa\u0142ku fizyki. Aktywnie dzia\u0142amy w \u015bwiatowej czo\u0142\u00f3wce fizyk\u00f3w zimnych atom\u00f3w, o czym \u015bwiadcz\u0105 nasze publikacje. Wsp\u00f3\u0142pracujemy tak\u017ce z jedynym w Europie Wschodniej laboratorium posiadaj\u0105cym kondensat Bosego-Einsteina, a znajduj\u0105cym si\u0119 w naszym kraju, w Toruniu.<\/p>\n

\"17ms00006\"<\/p>\n

Ewoulcja kondensatu Bosego-Einsteina w pu\u0142apce harmonicznej. Widoczne s\u0105 solitony tworz\u0105ce ,,poci\u0105g” (soliton trains). Kolorami przedstawiono g\u0119sto\u015b\u0107 prawdopodobie\u0144stwa atom\u00f3w (kolor niebieski – prawdopodobie\u0144stwo bliskie zeru, a dalej prawdopodobie\u0144stwo ro\u015bnie wed\u0142ug kolor\u00f3w t\u0119czy). Symulacja odtwarza eksperyment (K. E. Strecker, G. B. Partridge, A. G. Truscott and R. G. Hulet Nature 417<\/strong> 150-3) by dalej go analizowa\u0107.
\n<\/em><\/p>\n

Obliczenia wykonywane s\u0105 24 godz\/dob\u0119 przez 365 dni w roku. Pracujemy na w\u0142asnor\u0119cznie stworzonych programach (w j\u0119zyku C, FORTRAN), wykorzystuj\u0105cych nowoczesne rozwi\u0105zania komputer\u00f3w PC – wielordzeniowo\u015b\u0107<\/strong>. Programujemy wi\u0119c na wiele procesor\u00f3w jednocze\u015bnie<\/strong>, czyli tworzymy tzw. kod zr\u00f3wnoleglony.<\/p>\n

Zr\u00f3wnoleglanie<\/strong> dokonywane jest g\u0142\u00f3wnie za pomoc\u0105 biblioteki OpenMP. \"openmp_logo\"<\/a>Wyb\u00f3r tej biblioteki podyktowany by\u0142 konieczno\u015bci\u0105 pracy w systemie pami\u0119ci wsp\u00f3\u0142dzielonej<\/strong>, gdzie ka\u017cdy z procesor\u00f3w licz\u0105cych zadanie “widzi” ca\u0142\u0105 pami\u0119\u0107 operacyjn\u0105 i ma do niej dost\u0119p typu zapis \/odczyt. Brzmi to bardzo atrakcyjnie, jednak ma ogromne ograniczenie: procesory musz\u0105 by\u0107 umieszczone w jednym i tym samym komputerze. Ogranicza to liczb\u0119 procesor\u00f3w zaanga\u017cowan\u0105 w rozwi\u0105zywanie danego zadana. Producenci udost\u0119pniaj\u0105 platformy sprz\u0119towe z dwoma\/czteroma\/o\u015bmioma procesorami wielordzeniowymi, czyli mamy maksymalnie do 20-tu jednostek do wykorzystania. Por\u00f3wnuj\u0105c to do superkomputer\u00f3w<\/a>, wyposa\u017conych w setki procesor\u00f3w – to niewiele. Jednak w por\u00f3wnaniu do programowania na pojedynczym rdzeniu procesora, to przy dobrym programowaniu daje to i tak a\u017c dwudziestokrotne przyspieszenie programu!<\/p>\n

Innym typem pracy w \u015brodowisku wieloprocesorowym jest praca z pami\u0119ci\u0105 rozproszon\u0105, gdzie ka\u017cdy procesor ma przydzielon\u0105 pami\u0119\u0107 tylko dla siebie. Zalet\u0105 takiego rozwi\u0105zania jest mo\u017cliwo\u015b\u0107 zaanga\u017cowania ka\u017cdego komputera spi\u0119tego w sie\u0107 do pracy nad danym zadaniem. Nie ma wi\u0119c ograniczenia co do liczby procesor\u00f3w, jak poprzednio. Tutaj ca\u0142e dane zadania dzieli si\u0119 na porcje, kt\u00f3re wysy\u0142a si\u0119 do poszczeg\u00f3lnych maszyn, gdzie zostaj\u0105 obrabiane. Po sko\u0144czeniu oblicze\u0144 przez pojedynczy komputer, nast\u0119puje wys\u0142anie wynik\u00f3w do “komputera matki”, gdzie wyniki s\u0105 synchronizowane (MPI<\/strong>). Niestety, nie ka\u017cdy problem mo\u017cna rozwi\u0105za\u0107 w ten spos\u00f3b. Dodatkowo pojawia si\u0119 narzut czasu na przesy\u0142anie informacji (wymiana danych, w ko\u0144cu ka\u017cda jednostka “widzi” tylko sw\u00f3j RAM) sieci\u0105 pomi\u0119dzy jednostkami – co mo\u017ce dodatkowo mocno ograniczy\u0107 efektywno\u015b\u0107 programu.<\/p>\n

\"CUDA-logo-jegx\"<\/a>Nasze plany to wykorzystanie kart graficznych<\/strong> do symulacji zjawisk fizycznych; wsp\u00f3\u0142czesny rozw\u00f3j komputer\u00f3w poszed\u0142 w kierunku multimedi\u00f3w, gdzie nacisk po\u0142o\u017cono na grafik\u0119<\/strong>. W zwi\u0105zku z tym wydajno\u015b\u0107 kart graficznych wzros\u0142a ogromnie (co potwierdzi ka\u017cdy mi\u0142o\u015bnik gier komputerowych) i najnowsze procesory na kartach graficznych (GPU) zawieraj\u0105 a\u017c po kilkaset jednostek SP (stream processing unit) w swojej architekturze! (np. GPU karty ATI Radeon HD 4800 ma 800 jednostek SP). Zakupili\u015bmy ju\u017c odpowiedni sprz\u0119t do testowania (kart\u0119 nVidia GTX 285, GTX 750 Titanium) – i uczymy si\u0119 technologii CUDA<\/strong> firmy nVidia. Dla nas Polak\u00f3w, nazwa CUDA dobrze oddaje istot\u0119 rzeczy – przy jej wykorzystaniu (co nie jest tak \u0142atwe jak w przpadku OpenMP czy MPI) mo\u017cna osi\u0105gn\u0105\u0107 przyspieszenie program\u00f3w nawet kilkusetkrotnie (i dlatego s\u0105 to prawdziwe cuda<\/em> w dziedzinie informatyki).<\/p>\n

Monitor temperatury w serwerowni (na \u017cywo)<\/p>\n

IoT: Monitor temperatury w serwerowni (na \u017cywo)<\/h3>\n