Das Kefk Network Wiki befindet sich im Testbetrieb.

Computercluster

Aus Kefk.

Wechseln zu: Navigation, Suche
Bild:Us-nasa-columbia.jpg
NASA-Computercluster

Ein Computercluster, meist einfach Cluster (von engl. cluster – Schwarm, Gruppe, Haufen), bezeichnet eine Anzahl von vernetzten Computern, die von außen in vielen Fällen als ein Computer gesehen werden können. In der Regel sind die einzelnen Elemente eines Clusters untereinander über ein schnelles Netzwerk verbunden. Ziel des "Clustering" besteht meistens in der Erhöhung der Rechenkapazität oder der Verfügbarkeit gegenüber einem einzelnen Computer. Die in einem Cluster befindlichen Computer (auch Knoten oder Server) werden auch oft als Serverfarm bezeichnet.

Inhaltsverzeichnis

Clusterkategorien

Der Begriff Cluster an sich beschreibt primär die Architektur der einzelnen Bausteine und ihr Zusammenwirken. Man unterscheidet zwischen so genannten homogenen und heterogenen Clustern. Computer homogener Cluster laufen unter dem gleichen Betriebssystem und gleicher Hardware, beim heterogenen Cluster können unterschiedliche Betriebssysteme oder Hardware eingesetzt werden. Bekannte Linux-Cluster-Software sind z.B. Beowulf und openMosix.

Cluster werden für eine Reihe oft unterschiedlicher Verwendungszwecke eingesetzt:

Hochverfügbarkeitscluster

Hochverfügbarkeitscluster (engl. High-Availability-Cluster – HA-Cluster) werden zur Steigerung der Verfügbarkeit bzw. für bessere Ausfallsicherheit eingesetzt. Tritt auf einem Knoten des Clusters ein Fehler auf, werden die auf diesem Cluster laufenden Dienste auf einen anderen Knoten migriert. Die meisten HA-Cluster besitzen 2 Knoten. Es existieren Cluster bei denen ständig auf allen Knoten Dienste laufen, diese Cluster nennt man aktiv-aktiv bzw. symmetrisch. Sind nicht alle Knoten aktiv, spricht man von aktiv-passiv oder asymmetrisch. Sowohl die Hardware als auch die Software eines HA-Clusters muss frei von Single-Point-of-Failures (Komponenten, die durch einen Fehler das gesamte System zum Ausfall brächten) sein. Anwendung finden solche HA-Cluster in kritischen Umgebungen, in denen maximale Ausfallzeiten von nur wenigen Minuten im Jahr erlaubt sind. Im Rahmen von Katastrophenszenarien müssen kritische Computersysteme abgesichert werden. Dazu werden die Cluster-Knoten oft mehrere Kilometer auseinander in verschiedenen Rechenzentren platziert. Im Katastrophenfall kann der Knoten im nicht betroffenen Rechenzentrum die gesamte Last übernehmen. Diese Art von Clustern nennt man auch „stretched Cluster“.

Load-Balancing Cluster

Load-Balancing (SLB) Cluster werden zum Zweck der Lastverteilung auf mehrere Maschinen aufgebaut. Die Lastverteilung erfolgt in der Regel über eine redundant ausgelegte, zentrale Instanz. Mögliche Einsatzgebiete sind Umgebungen mit hohen Anforderungen an Computerperformance. Der Performancebedarf wird hier nicht durch Aufrüstung einzelner Computer abgedeckt, sondern durch das Hinzufügen zusätzlicher Computer. Grund für die Verwendung ist nicht zuletzt der Einsatz von preisgünstigen Standardcomputern (COTS-Komponenten) anstatt von teuren Spezialcomputern.

High Performance Computing Cluster

High Performance Computing (HPC) Cluster dienen zur Abarbeitung von Rechenaufgaben. Diese Rechenaufgaben werden auf mehrere Knoten aufgeteilt. Entweder werden die Aufgaben in „Portionen“ aufgeteilt und parallel auf mehreren Knoten ausgeführt oder die Rechenaufgaben (Jobs genannt) werden auf die einzelnen Knoten verteilt. HPC Cluster finden sich oft im wissenschaftlichen Bereich. Auch die sogenannten Renderfarmen fallen in diese Kategorie.

Geschichte

Das erste im Handel erhältliche Clusterprodukt war ARCnet, welches 1977 von Datapoint entwickelt wurde. Den ersten wirklichen Erfolg hatte die Firma DEC im Jahre 1983 mit der Vorstellung des Produktes VAXCluster für ihr Computersystem VAX. Das Produkt unterstützte nicht nur paralleles Rechnen auf den Clusterknoten, sondern auch die gemeinsame Nutzung von Filesystemen und Geräten aller beteiligten Knoten. Diese Eigenschaften sind noch heute bei vielen freien und kommerziellen Produkten nicht enthalten. VAXCluster ist als „VMSCluster“ auch heute noch von der Firma HP für das Betriebssystem OpenVMS und die Prozessoren Alpha und Itanium erhältlich.

Technik

HA-Cluster

Die failover-Funktion wird meist durch das Betriebssystem zur Verfügung gestellt (Servicefailover, IP-Übernahme). Die Übernahme von Diensten kann z. B. durch die automatische Migration von IP-Adressen oder das Verwenden einer Multicastadresse erreicht werden.

Generell wird zwischen den Architekturen shared nothing und shared all unterschieden.

Typischer Vertreter des „active-active“-Clusters mit shared-nothing-Architektur ist DB2 mit EEE (sprich „tripel i“). Hier beherbergt jeder Clusterknoten eine eigene Datenpartition. Ein Performancegewinn wird durch die Partitionierung der Daten und die damit einhergehende verteilte Verarbeitung erzielt. Ausfallsicherheit wird hiermit nicht gewährleistet.

Anders ist dies beim „shared-all“-Cluster. Diese Architektur gewährleistet durch einen konkurrierenden Zugriff auf Shared Storage, dass alle Clusterknoten auf den gesamten Datenbestand zugreifen können. Neben Skalierung und Performancesteigerung wird durch diese Architektur auch eine zusätzliche Ausfallsicherheit erreicht. Fällt ein Knoten aus, übernehmen die anderen Knoten seine Aufgabe(n). Ein typischer Vertreter der shared-all-Architektur ist der Oracle Real Application Cluster (RAC).

HA-Computercluster können auch ohne lokale Datenträger direkt aus einem Storage Area Network (SAN) heraus als ein „Single System Image“ booten. Solche Diskless Shared-root Cluster erleichtern den Austausch von Cluster-Knoten, die in einer solchen Konfiguration nur noch ihre Rechenleistung und I/O Bandbreite zur Verfügung stellen.

Dienste müssen speziell für den Einsatz auf einem Cluster programmiert sein. Ein Dienst wird als „cluster aware“ bezeichnet, wenn er auf spezielle Ereignisse (wie z. B. den Ausfall eines Clusterknotens) reagiert und diese in geeigneter Weise verarbeitet.

Cluster-Software kann in Form von Scripten implementiert oder auch in den Betriebsystemkernel integriert sein.

HPC-Cluster

Bei HPC-Clustern wird die zu erledigende Aufgabe, der „Job“, oft mittels eines Decomposition-Programms in kleinere Teile zerlegt und dann auf die Knoten verteilt.

Die Kommunikation zwischen auf verschiedenen Knoten laufenden Job-Teilen geschieht in der Regel mittels Message Passing Interface (MPI), da eine schnelle Kommunikation zwischen einzelnen Prozessen gewünscht ist. Dazu koppelt man die Knoten mit einem schnellen Netzwerk wie z. B. InfiniBand.

Eine gängige Methode zur Verteilung von Jobs auf einen HPC-Cluster ist ein Job-Scheduling-Programm, welches eine Verteilung nach verschiedenen Kategorien vornehmen kann, wie z. B. Load Sharing Facility (LSF) oder Network Queueing System (NQS).

In jüngster Zeit reihen sich immer mehr Linux-Cluster in die TOP500 der Superrechner ein, nicht zuletzt weil sich auch für anspruchsvolle Rechenaufgaben billige COTS Hardware nutzen lässt.

Siehe auch

Literatur

Weblinks

Cluster-Software

Wikipedia
 Dieses Dokument entstammt in seiner ersten oder einer späteren Version der deutschsprachigen Wikipedia. Es ist dort zu finden unter dem Stichwort Computercluster, die Liste der bisherigen Autoren befindet sich in der Versionsliste; die Originalfassung kann dort auch bearbeitet werden. Alle Texte der Wikipedia und ihre Derivate stehen unter der GNU-Lizenz für freie Dokumentation.
Von „http://www.kefk.org/wiki/Computercluster“
Persönliche Werkzeuge