Mise en place du nouveau serveur parallèle Origin3000

Jean-Michel.Chenais@epfl.ch, SIC

A la date d'écriture du présent article, l'opération de mise en place du nouveau serveur parallèle Origin3000, devant prendre le relais de l'Origin2000 (précisément Origin2800), n'est pas encore complètement terminée.

Caractérisques principales de l'Origin3000.

La configuration finale comporte 128 processeurs MIPS R14000, cadencés à 500 Mhz (2 ns de cycle de base, 1 Gflops en crête par processeur) avec une mémoire globale de 64 Gbytes (512 Mbytes de mémoire locale par processeur).

La puissance théorique totale de l'O3000 est donc de 128 Gflops.

Le système de cache comprend 2 niveaux: 2*32Kbytes pour L1, et 8 Mbytes pour L2.

L'ensemble de la machine est constitué de 4 armoires (rack) regroupant tous les processeurs, et d'une armoire pour les entrées/sorties (IO rack). A cette dernière armoire est connecté le système de disques RAID, offrant une capacité totale d'environ 1.5 Tbytes.

Dans chaque rack processeur sont montés 8 modules
(C-brick) de 4 processeurs chacun, donc pour un total de 32 processeurs. Tous les modules processeurs sont interconnectés par des routeurs (R-brick), constituant ainsi l'architecture NUMA (Non Uniform Memory Access) particulière à la conception de la série Origin de la firme Silicon Graphics.

Dans l'armoire réservée aux I/O (rack IO), sont disposés les disques internes destinés à recevoir les files-systems nécessaires à l'OS. Dans cette armoire sont également disposés tous les interfaces (PCI adapters) nécesssaires au système de disques RAID, au réseau Ethernet (100MB) de l'Ecole, au réseau Giga-Ethernet (1GB) pour le projet GRID, ainsi qu'aux équipements de stockage STK (silo à cartouches).

La dernière armoire contient le système de disques RAID (configuration en RAID 5), partitionné selon 4 logical units. Ce système de disques recevra en particulier tous les home directories des utilisateurs, selon 6 file-systems , numérotés de 0 à 5 selon leur dénomination habituelle (/e0 -> /e5).

Configuration de production prévue de l'Origin3000.

Avec l'Origin3000, les ressources disponibles sont dans l'ensemble plus que doublées par rapport à l'O2000. Le nombre de processeurs passe de 80 à 128, la fréquence de 195 à 500 Mhz, la mémoire locale de 250 à 500 Mbytes; pour finir, la capacacité disque totale dépasse 1.5 Tbytes.

Dans son principe, la configuration de production de l'Origin3000 ne différera de celle de l'Origin2000 que par son adaptation aux nouvelles ressources. La configuration NQS verra ses limites mémoire doublées pour toutes les classes: ainsi par exemple les nouvelles classes lowmem prendront les limites mémoire des anciennes classes eridan de l'Origin2000. De nouvelles classes à très grande mémoire ou jusqu'à 64processeurs pourraient être envisagées (ce dernier point étant rendu possible par la diminution attendue de la latence, ce qui pourrait assurer une meilleure scalabilité des applications).

Les temps d'exécution pour un même travail devraient dans l'ensemble être réduits au moins d'un facteur 2 à 3 en recompilant les sources des programmes.

Les espaces de stockage en ligne (disques) à disposition des utilisateurs sont agrandis dans une grande proportion: environ 500 Gbytes pour la totalité des comptes normaux, 250 pour les projets spéciaux, et près de 400 Gbytes pour les espace temporaires (/tmp). En raison de l'énormité des espaces ainsi mis à disposition, et de la difficulté à en gérer l'utilisation, et surtout à en anticiper l'évolution, un système de quotas approprié sera mis en place pour contrôler à la fois les espaces disques en ligne et l'ensemble des fichiers archivés sur cartouches (via DMF). Ce système s'appliquera en priorité aux plus gros consommateurs de ressources.

Migration des espaces utilisateurs vers l'O3000

Le but visé pour la mise en place de l'Origin3000 est de réaliser cette opération de façon la plus transparente possible avec le minimum d'impact pour les utilisateurs. Afin de réaliser ce but, le système de disques RAID participant à la nouvelle configuration a été livré en anticipation, peu avant l'arrivée de l'O3000. Ce système de disques est pour l'heure connecté directement au serveur Origin2000. Au moment de rédiger ces lignes, tous les home directories des utilisateurs ont été transférés sur les disques RAID, si bien que les utilisateurs connectés encore à l'O2000, travaillent en fait déjà avec le nouveau système de disques qui sera reconnecté directement à l'O3000.

Cette première phase importante dans la mise en place de l'O3000, (qui a nécessité la démigration complète des fichiers DMF), est donc entièrement réalisée à ce jour, et constitue l'opération de migration des utilisateurs proprement dite.

La dernière phase importante concerne la configuration de l'O3000 elle-même. Dès que celle-ci sera terminée, les benchmarks et autres tests d'acceptation pourront commencer, et la machine pourra être ouverte aux utilisateurs.

Quelques informations pratiques.

En principe, les anciens binaires compilés sur R10000 peuvent tourner encore sur les nouveaux processeurs R14000. Il est toutefois recommandé aux utilisateurs de recompiler tous les sources, afin d'adapter les nouveaux binaires aux spécificités des nouveaux processeurs R14000. Les produits logiciels (compilateurs, librairies) sont ceux livrés avec la dernière version du système OS (Irix 6.5.11f au moins), alors que la version sur O2000 est actuellement 6.5.10f.

Par précaution, un backup sera pris pour l'espace temporaire (/tmp) de l'O2000. En principe, initialement, l'espace temporaire de l'O3000 sera vide. Il n'est donc pas prévu de transférer les fichiers temporaires de l'O2000 vers l'O3000. Sur demande uniquement, il sera possible de recharger des fichiers de l'ancien /tmp sur la nouvelle machine, sans garantir toutefois que ce transfert récupère les dernières modifications apportées à ces fichiers par les applications des utilisateurs.

Il est prévu de remplacer le shell du login par la toute dernière version du Korn shell (mise à disposition par ATT durant l'annee 2000): les tests effectués sur l'O2000 ont montré sa stabilité, et l'interêt de ses nouvelles fonctionnalités interactives (complétion automatique avec la touche TAB, emploi des flèches, etc), qui en font un utilitaire pratiquement équivalent au tcsh pour la toute grande majorité des utilisateurs. Ce nouveau shell est dénommé localement ksh93+, et peut également être utilisé pour l'écriture de scripts. La 1ère ligne d'un fichier script devra donc contenir: /etc/local/bin/ksh93+.

Le nouveau serveur Origin3000 gardera le même nom que celui de l'O2000. Pour se connecter, il suffira d'invoquer le serveur eridan dans l'une quelconque des commandes telnet, login, rlogin ou encore slogin (pour les connexions sécurisées, recommandées et bientôt obligatoires depuis l'extérieur de l'EPFL).

Les opérations de mise en place de l'O3000 n'étant pas toutes terminées, nous conseillons aux utilisateurs de consulter régulièrement les dernières nouvelles par les canaux habituels: news, info, message du jour, etc.

Le switch vers la nouvelle machine devrait le moment venu s'opérer en quelques minutes seulement, le temps de reconnecter les câbles du système RAID sur l'O3000 et de rebooter la machine.

Cette étape proche, non encore prévisible avec exactitude, devrait intervenir tout au début de juin. Dès cet instant, les utilisateurs pourront se connecter sur le nouvel eridan.


retour au sommaire du Flash informatique du mois de juin 1
retour à la page principale des Flash informatique
Vos commentaires
© FI-6-1 du 26 juin 1