Ako vytvoriť superpočítač: 9 krokov (s ilustráciami)

Potrebujete auto schopné vykonávať výpočty až do stoviek biliónov znakov po čiaste za sekundu? Alebo potrebujete príbeh, ktorý možno povedať v baroch, o tom, ako superpočítač vo vašom suteréne vyrazil dopravné zápchy? Vytvorenie vlastného vysoko výkonného počítača alebo superpočítač - úloha, ktorú si každý skúsený Gick môže vyriešiť cez víkend v prítomnosti voľného času a určitého množstva peňazí. Vyjadrený technickým jazykom, moderným viacprúdovým superpočítačom - sieť z počítačov, ktoré pracujú paralelne s cieľom vyriešiť problém. Tento článok stručne opisuje každý krok procesu budovania takejto siete, pozornosť sa venuje "žľaze" a softvéru.

Kroky

jeden. Po prvé, rozhodnúť, ktoré komponenty a zdroje budú potrebné. Potrebujete jeden hlavný uzol, minimálne desiatky identických výpočtových uzlov, ethernetový spínač, distribučná jednotka a stojana. Určite silu vedenia a chladenia, ako aj priestorovú oblasť, ktorú budete potrebovať. Rozhodnite sa tiež, ktoré IP adresy chcete použiť pre uzly, ktoré dodáte, a aké technológie budú musieť vytvoriť paralelný výpočtový výkon (viac o tejto nižšie).

Hoci "železo" je drahé, všetky programy uvedené v článku sú distribuované bezplatne a väčšina z nich je open source.
Ak chcete zistiť, ako rýchlo môže byť váš superpočítač teoreticky, použite tento nástroj: http: // HPL-kalkulačka.Sourceforge.Sieť

Obrázok s názvom Zostaviť superpočítač krok 2

2. Montážne uzly. Budete musieť zbierať sieťové uzly alebo zakúpiť predmontované servery.

Vyberte rámy pre servery s najzákladnejším využívaním priestoru a energie, ako aj s účinným chladením.

Alebo Môžete "likvidovať tucet alebo použité servery, trochu zastarané - a nechať svoju hmotnosť presahovať celkovú hmotnosť komponentov, ale ušetríte slušnú sumu. Všetky spracovatelia, sieťové adaptéry a základné dosky musia byť rovnaké, takže počítače fungujú dobre. Samozrejme, nezabudnite na RAM a pevné disky pre každý uzol, ako aj aspoň jednu optickú jednotku pre hlavný uzol.

Obrázok s názvom Zostaviť superpočítač krok 3

3. Nainštalujte servery do regálu. Začnite zdola tak, že stojan nie je ohromený zhora. Budete potrebovať pomoc priateľovi - Zozbierané servery môžu byť veľmi ťažké a dať ich do buniek, na ktorých držia v stojane, pomerne ťažké.

Obrázok s názvom Zostavať superpočítač krok 4

4. Nainštalujte ethernetový prepínač vedľa stojana. Je potrebné okamžite konfigurovať prepínač: Nastavte veľkosť bajtov Jumbo-Frame 9000, nastavte statickú IP adresu, ktorú ste vybrali v kroku 1 a vypnite nepotrebné protokoly, ako napríklad SMTP.

Obrázok s názvom Zostavať superpočítač krok 5

päť. Nainštalujte distribútor napájania (PDU alebo distribučná jednotka napájania). V závislosti na tom, ktoré maximálne zaťaženie poskytuje uzly vo vašej sieti, môžete potrebovať 220 voltov pre vysoko výkonný počítač.

Obrázok s názvom Zostaviť superpočítač krok 6

6. Keď je všetko nainštalované, prejdite na konfiguráciu. Linux V skutočnosti je hlavným systémom pre vysoko výkonné (HPC) klastrov - to nie je len dokonalé ako prostredie pre vedecké výpočty, ale stále nemusíte platiť za inštaláciu systému pre stovky a dokonca tisíce uzlov. Predstavte si, koľko by inštalácia systému Windows pre všetky uzly stála!

Začnite používať najnovšiu verziu systému BIOS pre základnú dosku a softvér od výrobcu, ktorý by mal byť rovnaký pre všetky servery.

Nainštalujte preferovanú distribúciu Linuxu na všetky uzly a do hlavného uzla - grafické rozloženie rozhrania. Populárne systémy: Centos, openSUSE, vedecký Linux, REDHAT a SLES.

Autor vysoko odporúča používať Rocks Cluster Distribúcia. Okrem inštalácie všetkých programov a nástrojov potrebných na klaster, skástky implementujú veľkú metódu pre rýchly "prenos množstva kópií systému na podobné servery pomocou pódia a procedúry `Kick Start` zo študovaného klobúka.

Obrázok s názvom Zostavať superpočítač krok 7

7. Nainštalujte rozhranie prenosu správ, Správca zdrojov a ďalšie potrebné knižnice. Ak ste v predchádzajúcom kroku nezastavili skaly, budete musieť manuálne nainštalovať potrebný softvér na konfiguráciu logiky paralelného výpočtu.

Ak chcete začať, budete potrebovať prenosný systém na prácu s bashom, napríklad manažérom zdrojov krútiaceho momentu, ktorý vám umožní oddeliť a distribuovať úlohy pre niekoľko strojov.

Pridať k mometu Viac Maui klastrový plánovač na dokončenie inštalácie.

Ďalej musíte vytvoriť rozhranie správ, ktoré je potrebné, aby sa jednotlivé procesy v každom individuálnom kóde mohli používať všeobecné údaje. OpenMP - najjednoduchšia možnosť.

Nezabudnite na multi-závitové matematické knižnice a kompilátory, ktoré budú "zbierať" vaše programy pre distribuované výpočty. Už som povedal, že by ste mali dať skaly?

Obrázok s názvom Zostavať superpočítač krok 8

osem. Pripojte počítače do siete. Hlavný uzol vysiela úlohy na výpočet na podriadených uzloch, ktoré musia zase vrátiť výsledok späť, ako aj posielať správy navzájom. A tým rýchlejšie všetko sa deje, tým lepšie.

Použite súkromnú sieť Ethernet na pripojenie všetkých uzlov do klastra.

Hlavný uzol môže tiež pracovať ako NFS, PXE, DHCP, TFTP a NTTP servery pri pripojení k Ethernetovi.

Túto sieť musíte oddeliť od verejnosti, aby ste si boli istí, že balíky sa neprekrývajú inými v LAN.

Obrázok s názvom Zostaviť superpočítač krok 9

deväť. Skúšobný klaster. Posledná vec, ktorú by ste mali urobiť skôr, ako budete mať prístup k počítačovým zariadeniam - testovací výkon.HPL (High Performance Lynpack) Benchmark- Populárna možnosť merania rýchlosti výpočtov v klastri. Musíte zostaviť zo zdrojov s najvyšším stupňom optimalizácie, že váš kompilátor umožňuje architektúru, ktorú ste si vybrali.

Musíte, samozrejme, zostaviť so všetkými možnými optimalizačnými nastaveniami, ktoré sú k dispozícii pre platformu, ktorú ste si vybrali. Napríklad pri použití AMD CPU, kompilovať v Open64 a Optimalization Level -0.

Porovnajte výsledky s Top500.Org porovnať svoj klaster s 500 najrýchlejšími superpočítačmi na svete!

Tipy

IPMI môže zjednodušiť správu veľkého klastra, ktorý poskytuje KVM-over-IP, diaľkové riadenie napájania a oveľa viac.
Ak chcete získať naozaj vysokú rýchlosť, pozrite sa na Infiniband Sieťové rozhranie. Ale byť pripravený zaplatiť prémiový prístup.
Použite gangliu na monitorovanie zaťaženia na samostatné uzly.

Upozornenia

Uistite sa, že infraštruktúra miestnosti (elektroinštalácia a tak ďalej) vydrží zaťaženie.