Hur man bygger en superdator

Behöver du en maskin som kan utföra hundratals miljoner miljoner flytande poängberäkningar per sekund? Eller behöver du en berättelse för att berätta för andra om hur superdatorn du har i källaren blåste upp hela stadsdelen? Bygga din High Performance Compute Cluster, känd som superdatorer, är en utmaning som alla nördar experter med en helg av fri tid och pengar att spendera kan ställas inför. Tekniskt sett är en modern multiprocessor-superdator ett nätverk av datorer som arbetar parallellt för att lösa ett problem. Denna artikel beskriver kortfattat varje steg i processen, med inriktning på maskinvara och programvara.

steg

Först bestämma de hårdvarukomponenter och resurser du behöver. Du behöver minst en rotnod, minst tolv identiska beräkningsnoder, en Ethernet-switch, en enhet av energidistribution och en rack. Bestäm energiförbrukningen, kyla och utrymme som krävs. beslutar också vilken IP-adress som du vill tilldela din privata nätverk, som ger namn till noderna, vilket programpaket att installera och vilken teknik att anta att göra det möjligt för parallella beräkningar (mer om detta senare).

Även om hårdvaran är dyr är all programvara som anges i den här guiden gratis, och de flesta är öppna källor.
Om du vill beräkna den teoretiska hastigheten på din superdator, använd det här verktyget: http://hpl-calculator.sourceforge.net/

Bygga beräkningsnoderna. Du måste montera noderna eller köpa färdiga servrar.

Välj ett serverkasch som maximerar utrymme, kylning och energi.

eller du kan använda ungefär tio gamla och använda servrar - på så sätt kan du spara mycket. Alla processorer, nätverksadaptrar och moderkort ska vara identiska för att systemet ska fungera bra. Glöm inte klart RAM och lagringsutrymme för varje nod och åtminstone en optisk enhet för huvudnoden.

Installera servrarna på racketen. Börja längst ner, så att du inte överbalanserar rackens vikt. Du måste få hjälp från en vän på det här steget - servrarna kan vara mycket tunga och sätta dem på skenorna som fixar dem på stället är svårt.

Installera Ethernet-omkopplaren på serverns chassi. Konfigurera omkopplaren: Tillåt ramstorlekar på 9000 byte, ställ in IP-adressen till den statiska adressen du bestämde i steg 1 och inaktivera onödiga routeringsprotokoll som SMTP-snooping.

Installera PDU (Power Distribution Unit). Beroende på den ström som krävs vid noderna vid maximal belastning kan en 220 volt PDU behövas för högpresterande beräkning.

Efter installationen av allt kan du starta konfigurationsprocessen. Linux är det mest använda operativsystemet för HPC-kluster - det är inte bara den perfekta miljön för vetenskaplig beräkning, men det är helt gratis att installera det på hundratals eller till och med tusentals noder. Föreställ dig hur mycket det skulle kosta att installera Windows på alla dessa noder?

Börja med att installera den senaste BIOS-versionen och moderkortets firmware, vilket borde vara detsamma för alla noder.

Installera din favorit Linux-distribution på varje nod, med ett grafiskt gränssnitt för huvudnoden. De mest populära valen är CentOS, OpenSuse, Scientific Linux, RedHat och SLES.

Prova att använda Rocks Cluster Distribution. Förutom att installera alla verktyg som behövs för driften av ett beräkningsgrupp, använder Rocks en utmärkt metod för "distribuera" många instanser av sig själv vid noderna mycket snabbt med hjälp av PXE start och procedur "Kick Start" av Red Hat.

Installera gränssnittet för meddelandeöverföring, resurshanteraren och de andra nödvändiga biblioteken. Om du inte installerade Rocks i föregående steg måste du manuellt konfigurera den programvara som krävs för att aktivera parallellberäkningsmekanismen.

Först behöver du en bash management system, såsom Torque Resource Manager, som gör att du kan dela och distribuera uppgifter till flera processorer.

Koppla moment med Maui Cluster Scheduler för att slutföra konfigurationen.

Som ett nästa steg måste du installera gränssnittet för meddelandeöverföring, vilket behövs för att dela data mellan de enskilda processerna i de olika beräkningsnoderna. OpenMP är det bästa valet.

Glöm inte de multitrådsmatematiska biblioteken och kompilatorn för att skapa parallella datorprogram. Att installera stenar skulle göra denna process mycket enklare.

Skapa ett nätverk med beräkningsnoder. Huvudnoden skickar aktiviteterna till beräkningsnoderna, som måste svara med resultaten och skicka meddelanden till varandra. Ju snabbare dessa operationer blir desto starkare superdator kommer att vara.

Använd ett privat Ethernet-nätverk för att ansluta alla klusternoder.

Huvudnoden kan också fungera som NFS, PXE, DHCP, TFTP och NTP-servrar på Ethernet-nätverket.

Du måste separera det här nätverket från det offentliga nätverket, för att säkerställa att paket som skickas i sändning inte störa andra nätverk i ditt nätverk.

Prova klustret. Det sista du bör göra innan du använder full ström av din superdator är att testa dess prestanda. HPL (High Performance Lynpack) riktmärke är ett vanligt val för mätning av beräkningshastigheten för klustret. Du måste kompilera den från källfilen med alla optimeringar som din dator erbjuder för din arkitektur.

Om du till exempel använder AMD CPU, kompilera med Open64 med optimeringsnivå -0fast.

Jämför dina resultat med dem på TOP500.org för att jämföra ditt kluster med de 500 snabbaste superdatorerna i världen.

tips

IPMI kan göra administrationen av ett stort kluster väldigt enkelt genom att erbjuda KVM-over-IP, fjärråterställning och mer.
För nätverk med mycket höga hastigheter, testa InfiniBand-nätverksgränssnittet. Förbered dig på att spendera mycket.
Använd Ganglia för att övervaka beräkningsbelastningen på noderna.

varningar

Se till att din infrastruktur kan hantera belastningen.

Dela på sociala nätverk:

Relaterade