CR Groupe de travail Gaussian du 08-06-2015 V3...2015/06/08 · CR GROUPE DE TRAVAIL « GAUSSIAN »...

Paris, le 31/08/2015

COMPTE-RENDU DE LA REUNION DU GROUPE DE TRAVAIL « GAUSSIAN » DU 8 JUIN 2015

Réf. : CD150612

Participants : - CNRS : Denis Veynante (en charge du calcul intensif), Daniel Borgis (Institut de chimie) - GENCI : Jean-Philippe Proux, Arnaud Valois (rédacteur) - Centres nationaux :

o Christine Ménaché (TGCC) o Nicole Audiffren, Gérard Gil (CINES) o Pierre-François Lavallee, Fabien Leydier (IDRIS)

- Mésocentres : o Romaric David (Université de Strasbourg) o Marie-Sophie Cabot (CRIHAN) o Nicolas Ferré (Université Aix-Marseille)

- Réseau Français de Chimie Théorique: Céline Léonard (présidente), Carlo Adamo (en charge des relations avec les centres de calcul)

- Présidents de CT : Marie-Bernadette Lepetit (CT8)

Destinataires : - Les participants, les présidents des CT7 (Marc Baaden) et CT9 (Alain Pasturel), Eric

Henon (coordinateur Gaussian ROMEO à Reims)

L’objectif de la réunion du 8 juin était de rassembler l’ensemble des acteurs concernés par la problématique des logiciels faiblement parallèles à travers le cas Gaussian et d’exposer la vision des utilisateurs et des exploitants de centres de calcul.

CR GROUPE DE TRAVAIL « GAUSSIAN » DU 8 JUIN 2015 – 31/08/2015 – CD150612 - 2 / 8

1. Genèse du groupe de travail « Gaussian » Suite à la mise en service du supercalculateur Occigen, le Cines a décidé de ne pas réinstaller le logiciel de chimie « Gaussian ». En conséquence, des mesures ont été prises pour répartir les utilisateurs de Gaussian sur les deux autres centres nationaux, le TGCC et l’IDRIS, lors du comité d’évaluation de GENCI en décembre 2014. Cependant, le CT8 a alerté les membres du comité qu’une partie des chimistes pourraient se voir pénaliser par l’absence de Gaussian sur Occigen. Suite à ce comité d’évaluation, GENCI et le CNRS ont décidé de mettre en place un groupe de réflexion sur la problématique soulevée par le logiciel Gaussian et les logiciels faiblement parallèles. L’objectif de ce groupe de travail est de mieux comprendre l’intérêt et les contraintes liés à l’utilisation de ce type de logiciel sur des centres de calcul nationaux. En préambule de cette réunion, Denis Veynante (CNRS) et Jean-Philippe Proux (GENCI) précisent que l’intérêt scientifique du logiciel Gaussian n’est aucunement remis en cause, et que les atouts offerts par ce logiciel à la communauté chimiste sont connus. Le débat est centré sur l’adéquation logiciel/matériel et sur la question du rôle des centres de calcul vis-à-vis de la communauté scientifique.

2. Vision des utilisateurs et représentants de la communauté « chimie » La communauté chimie était représentée par le RFCT1 (Céline Léonard, Carlo Adamo), l’institut de chimie du CNRS et le CECAM (Daniel Borgis) et la présidente du CT8 « chimie quantique et modélisation moléculaire » (Marie-Bernadette Lepetit). Marie-Bernadette Lepetit rappelle que le calcul de structure électronique est devenu largement multidisciplinaire. Les différents comités thématiques (CT) concernés (CT 7, 8 et 9) constituent une communauté de l’ordre de 1000 chercheurs et représentent environ un tiers des projets déposés sur les machines du tier 1, pour un peu plus de 160 millions d’heures de calcul (estimation 2015). Cette importante communauté a donc besoin d’une bibliothèque logicielle complète intégrant des outils spécifiques tels que Gaussian. Ce logiciel commercial est largement utilisé pour le nombre important de fonctionnalités qu’il propose, et notamment sa capacité à trouver les états de transition. Daniel Borgis précise que le cas du logiciel Gaussian peut être considéré comme la partie émergée de l’iceberg pour la chimie, et probablement pour les autres communautés. Ce cas soulève plus généralement la problématique de l’utilisation de codes faiblement parallèles sur des supercalculateurs de niveau tier 1, conçus pour le calcul massivement parallèle. Pour la chimie notamment, tous les logiciels de chimie quantique utilisant des fonctions de base localisées et des méthodes dites post-hartree fock (Gaussian, MOLPRO, MOLCAS, GAMESS…) ont besoin de pré-calculer et stocker de très grosses matrices à 4 indices. Ils nécessitent beaucoup d’appels mémoire et sont donc peu adaptés aux architectures HPC, qui offrent relativement peu de mémoire par nœud et des accès massivement parallèles. A l’inverse, les logiciels basés sur des méthodes champ moyen type DFT/HF et principalement pour des systèmes périodiques (CPMD, CP2K, VASP, ABINIT, CRYSTAL, SIESTA, ADF…) sont bien mieux

1 Réseau Français de Chimie Théorique


parallélisés, bien que se limitant encore actuellement à quelques centaines/milliers de cœurs. Les codes les plus parallèles sont ceux en orbitales localisées, comme CRYSTAL qui parallélise bien jusqu’à 10 000 cœurs pour les gros systèmes. Daniel Borgis remarque que favoriser des architectures avec moins de processeurs mais avec des accès rapides à de très grosses mémoires pour certaines applications est aussi une perspective pouvant être qualifiée de « HPC », perspective qui n’est pas prise en compte dans les choix actuels de supercalculateurs. En utilisation standard (DFT ou MP2, ce que font la plupart des utilisateurs de Gaussian), une configuration comme ADA offrant des CPU standard avec quelques Go/nœud est bien adaptée, et elle est largement utilisée par la communauté. En revanche pour des calculs plus compliqués/précis (post Hartree-Fock) avec GAUSSIAN ou des logiciels adaptés comme MOLCAS ou MOLPRO, l'idéal serait de pouvoir disposer de ressources non accessibles en laboratoire, comme par exemple des nœuds avec 3-4 To de RAM (il y a quelques uns à CALMIP). Les codes de chimie ont été développés par la communauté internationale des chimistes théoriciens et plus récemment des physiciens théoriciens, par des groupes de chercheurs spécialisés dans le développement méthodologique. Les utilisateurs et les développeurs constituent deux groupes plutôt disjoints, rendant difficile toute action sur les logiciels (optimisation, parallélisation de routines, mais aussi interfaçage). Une bonne partie de ces codes sont payants et les licences peuvent être onéreuses, comme dans le cas de Gaussian. Denis Veynante remarque qu’il y a peu de développement logiciel en chimie en France et que la communauté est très dépendante de codes commerciaux développés à l’étranger. Il faut peut-être envisager une action nationale en ce sens. Marie-Bernadette Lepetit souligne que les modes d’évaluation des chercheurs aujourd’hui en place en France constituent un grand frein au développement de codes nationaux. Quand à l’idée de développer un code « national », Nicolas Ferré précise qu’au vu de la taille et de la diversité de la communauté française en chimie quantique, il ne pourrait s’agir que d’un code très spécifique (ex : code QMC de M. Caffarel). Un tel code peut difficilement concurrencer un programme aussi généraliste que Gaussian ou d’autres logiciels européens (Dalton, Molcas, Orca) qui reposent sur un modèle scientifique et technique généralement bien différent du modèle français. En revanche, la participation de chercheurs français à des initiatives européennes (comme c’est le cas par exemple pour Molcas ou Dalton) semble être la meilleure solution pour diffuser les idées, les méthodes et les codes générés en France. Céline Leonard indique que la communauté française ne peut porter seule la responsabilité de l’adaptation des codes commerciaux aux supercalculateurs HPC, et qu’à l’heure actuelle GAUSSIAN reste un standard international difficilement contournable. Daniel Borgis souligne que la communauté devra, à minima, réaliser une veille technologique incluant machines et logiciels, et plus dans la mesure du possible. Nicolas Ferré précise qu’un effort de formation au HPC doit également être réalisé en amont, à destination des étudiants et des chercheurs. Cela leur permettrait effectivement de participer à l’adaptation de codes anciens aux architectures actuelles. Il est cependant regrettable que la programmation et l’algorithmique aient pratiquement disparu de l’ensemble des parcours universitaires en chimie.


En résumé, malgré l’adéquation non optimale de logiciels de type Gaussian sur des machines de niveau tier 1 fortement parallèles, la communauté chimie a détaillé les besoins de recourir aux centres de calcul nationaux.

• Nécessité d’une infrastructure nationale

Les utilisateurs sont convaincus que seule une organisation à un niveau national permettra de répondre à leur besoin. Une infrastructure nationale garantit une pérennité en termes de financement et de support technique, et permet de bénéficier d’un mécanisme d’appel à projet centralisé. Les utilisateurs sont répartis géographiquement dans toute la France, tout en étant parfois peu nombreux sur chaque site. La délocalisation des calculs sur des mésocentres régionaux ou des laboratoires aurait pour conséquences simultanées de multiplier des coûts et priver une partie de la communauté de ses moyens de travail, puisque tous n’ont pas accès à des ressources locales.

• Importance du support technique

Le support aux utilisateurs joue un rôle fondamental pour la communauté chimiste notamment pour la maintenance, le portage et l’optimisation des codes pour les machines HPC. Un support utilisateur qualifié avec une forte compétence métier, comme c’est le cas à l’IDRIS aujourd’hui pour la chimie, permet aux utilisateurs de tirer le meilleur parti des capacités offertes par les différents logiciels. Il est d’ailleurs observé que de nombreux chercheurs expérimentateurs ou non spécialistes du calcul intensif ont recours à l’utilisation de Gaussian sur des machines nationales, par manque de moyens locaux. Ce public n’a pas forcément le même niveau de compétence technique et nécessite un accompagnement poussé notamment de la part des centres. Tant l’ouverture de la communauté utilisatrice que la complexification des codes rendent ce support de plus en plus indispensable.

• Besoin d’une bibliothèque logicielle

L’accès à une bibliothèque de logiciels de chimie complète est indispensable à la communauté. La centralisation de l’acquisition des licences au niveau des tiers 1 permet aujourd’hui de garantir cet accès au plus grand nombre. Les différents codes ont des fonctionnalités et des modules de propriétés différents et la plupart des groupes utilisent plusieurs codes pour mener à bien leurs projets. Les laboratoires n’ont pas les moyens de payer l’ensemble des licences nécessaires à leurs collaborateurs, qui se tournent donc vers les centres de calcul nationaux.

• Accès à une machine performante

Les besoins évoqués en heures de calcul pour la communauté chimie (CT7/8/9) sur les calculateurs généralistes du tier 1 représentent 160 millions d’heures selon Marie-Bernadette Lepetit, dont environ 40 millions pour l’utilisation de Gaussian. Cela correspondrait à 300 nœuds bi-processeurs avec des processeurs 8-cœurs. Une telle puissance de calcul ne relève pas des mésocentres. Si les codes de chimie sont en général moins demandeurs que d’autres en terme de connectivité inter-nœuds, le réseau infiniband peut cependant être sollicité pour les entrées/sorties disque et constituer un point crucial.


3. Vision des centres de calcul 3.1 Centres de calcul nationaux Le Cines a rappelé les raisons ayant conduit à la non installation de Gaussian et les contraintes liées à l’exploitation du supercalculateur Occigen. Pour des raisons de mise en production rapide d’Occigen et d’un planning fortement contraint, le paramétrage mis en place par le centre n’autorise pas le partage d’un nœud entre plusieurs travaux. De facto, un job est automatiquement attributaire de l’intégralité du nœud, constitué de 2 processeurs 12-cœurs, soit au total 24 cœurs. Un code utilisant un faible nombre de cœurs ne permettrait donc pas une utilisation optimale du nœud ou des capacités d’interconnexion offertes par la machine. Une vue instantanée d’une journée d’exploitation d’Occigen a été présentée par le Cines. Sur ce cas précis, il ressort que :

• la queue QOS « gros » (plus de 528 cœurs) représente près de 60% de l’utilisation de la machine pour 17% des jobs (27 jobs) ;

• le reste de la machine est utilisée par les queues QOS « petit » (20%), « court » (6%), et « long » (5%) ;

• l’analyse des jobs mono-nœud indique que 60% de ces travaux utilisent la totalité des 24 cœurs, et que seuls 1% des nœuds sont utilisés par des travaux de moins de 12 cœurs. L’impact des codes faiblement parallèles sur l’exploitation de la machine est donc limité.

Par ailleurs, le Cines souligne avoir régulièrement observé une utilisation non optimale du logiciel Gaussian par les utilisateurs, qui n’exploitent pas au mieux ses performances. La parallélisation de Gaussian dépend fortement de la mémoire disponible indiquée au code. Or le paramétrage du fichier d’entrée utilisateur peut être prioritaire sur le paramétrage par défaut du Cines. Le code se retrouve donc bridé et doit diminuer le nombre de threads utilisables dans son calcul. Sur ce point, un effort de formation doit être mené par la communauté auprès de ses membres pour optimiser leur utilisation de Gaussian. Selon le Cines, le support pour la chimie représente les 2/3 des appels à la hotline. Pourtant, le centre a mis à disposition un script pour la machine Yoda (en activité jusqu’en juillet 2015) qui n’est que très peu utilisé. L’IDRIS a présenté à son tour sa politique d’exploitation, qui diffère sensiblement dans la mesure où les jobs intranoeuds sont autorisés. Chaque nœud peut donc être occupé de manière optimale. Les comités thématiques 7,8 et 9 représentent respectivement 28% des heures attribuées sur Ada et 8% sur Turing. En ce qui concerne l’exploitation de la machine Ada, il ressort que :

• plus de 75% des jobs sont intranoeuds pour 25% des heures de calcul. Ces proportions sont similaires à la représentation des CT7,8 et 9 parmi les autres CT ;

• les CT7/8/9 constituent 36% des jobs intranoeuds et parmi ceux-là, 4% sont potentiellement des jobs Gaussian ;

• en nombre d’heures, les CT7/8/9 représentent 4% des heures mono-nœud, parmi lesquelles 1% seraient utilisées par Gaussian.

Au vu de ces chiffres, Gaussian est donc relativement marginal à l’IDRIS, et la problématique des codes faiblement parallèles est loin d’être propre à la chimie. L’IDRIS a testé avec succès la scalabilité de Gaussian jusqu’à 32 cœurs, suite à l’important travail de compilation et d’optimisation


mené par Fabien Leydier (environ 2 mois). A noter également que Gaussian est utilisé dans le top10 des supercalculateurs du top 500. La question du support est un point central, et un support de très haut niveau est nécessaire pour chaque spécialité. Le travail important réalisé par le support de l’IDRIS, qui dispose d’une personne dédiée à 80% environ à la chimie, sur l’installation et l’optimisation des logiciels de chimie, ne peut être réalisé par tout le monde. Faut-il donc du support dans chacun des 3 centres nationaux ou centraliser ce support au sein d’un centre ? Le TGCC indique que l’ensemble des logiciels de chimie, dont Gaussian, est installé sur le centre, et que le support utilisateurs est accessible de manière standard. Le partage des nœuds est autorisé et il existe des QOS longues de 72h. Il est également rappelé que le farming, mécanisme le plus rudimentaire de parallélisation consistant à lancer simultanément un grand nombre de petits jobs séquentiels (ou peu parallèles) est autorisé. Le TGCC a d’ailleurs développé l’outil GLOST (Greedy Launcher of Small Tasks) qui permet d’optimiser ce lancement dans l’environnement de Curie.

3.2 Mésocentres Le mésocentre de Strasbourg indique que Gaussian représente environ 10% des demandes d’heures de calcul, soit une part significative des ressources. Le logiciel est intégré dans un workflow avec d’autres logiciels de chimie, d’où l’importance d’installer l’ensemble des logiciels impliqués sur la même machine. En d’autres termes, l’absence de Gaussian pénaliserait l’ensemble du workflow. D’un point de vue exploitation, les nœuds bi-processeurs sont partagés entre 2 jobs maximum, soit une allocation d’un job par processeur. A noter que la compilation de Gaussian avec les compilateurs Intel a apporté un gain de performance important de 30%, pour les mêmes résultats numériques. Ceci montre le rôle important joué par le centre dans l’installation et l’optimisation de la pile logicielle. La recompilation est obligatoire pour obtenir de bonnes performances. Au CRIHAN, la solution retenue est de faire tourner Gaussian sur 12 nœuds dédiés, dont 3 avec beaucoup de mémoire et des gros disques intra-noeud, évitant ainsi d’utiliser le réseau infiniband. Cette approche est valable sur 5 ans environ car le CRIHAN est en cours de renouvellement de machine. Le réseau Infiniband n’est pas utilisé pour les entrées-sorties internes au calcul mais uniquement pour la récupération des résultats finaux du calcul. Le mésocentre d’Aix-Marseille précise que l’université de Bordeaux a installé Linda (qui permet d’utiliser Gaussian en mémoire partagée) avec Gaussian, dans le but de gagner en performance. Après la réunion, Nicolas Ferré a transmis les résultats des benchmarks réalisés afin d’évaluer l’apport de la solution Linda. Selon l’IDRIS, cette solution fonctionne mais elle n’est pas réellement efficace et ne permet pas de dépasser 4 nœuds. Enfin, les besoins en heures de calcul évoqués par la communauté chimiste dépassent les capacités d’un centre de calcul de niveau tier 2. Seule une machine avec une portée nationale pourrait intégrer l’ensemble de ces demandes.


4. Conclusion et perspectives A court terme, il n’y a pas de réel « problème » Gaussian dans la mesure où en 2015 l’ensemble des utilisateurs concernés a pu être réparti sur les deux centres nationaux disposant de Gaussian. La question se pose donc de savoir s’il est également nécessaire d’installer ce logiciel au Cines. Si la communauté chimiste remontait une difficulté liée à un nombre d’heures de calcul insuffisant, la mise en place du partage des nœuds au Cines permettrait de pallier ce problème. Le DARI pourrait également être adapté afin de donner une priorité aux utilisateurs de Gaussian sur les 2 machines disponibles. Cependant, un tel cas de figure risque de se produire en 2016 car les heures disponibles aux demandes DARI sur Curie NF pourraient être sensiblement diminuées par rapport aux années précédentes. Dans ce cas, l’installation de Gaussian devient nécessaire pour rétablir une capacité suffisante pour la communauté chimiste. En parallèle, un effort doit être réalisé par la communauté en terme de formation utilisateur afin d’utiliser au mieux les capacités offertes par les supercalculateurs. Actuellement les calculateurs du tier 2 ne sont pas en mesure d’offrir un accès identique à la communauté chimiste suivant la répartition géographique des chercheurs et ces mésocentres seraient mis en difficulté s’ils devaient fournir l’intégralité des ressources nécessaires à la communauté chimiste. De plus la limitation des licences et le niveau de support élevé requis imposeraient une centralisation sur un ou deux gros mesocentres qui n’existent pas à ce jour. Néanmoins le rôle des mesocentres reste primordial car ils traitent une part significatif des travaux Gaussian et ils constituent également une première marche vers les tiers 1 pour les chercheurs dont les travaux le nécessitent. A moyen terme, la situation actuelle peut être maintenue sur une période de 3 à 4 ans. Au-delà, l’évolution des architectures laisse présager une tendance à l’augmentation massive du nombre de cœurs (arrivée des processeurs manycores), à l’augmentation du parallélisme intranoeud et à l’intégration d’accélérateurs GPU. La communauté chimiste, comme l’ensemble des autres communautés, doit mener une réflexion de fond dans une optique de long terme pour pouvoir s’adapter à ces nouvelles architectures et en tirer le meilleur parti. L’utilisation de calculateurs parallèles via des méthodes de farming est une piste pour tirer bénéfice de leur puissance. Toutefois, la mission des centres de calcul est de garantir un accès à l’ensemble des communautés scientifiques. Les choix d’architecture doivent donc tenir compte de la science qui est réalisée sur ces machines. Le besoin exprimé par la communauté de la chimie est de conserver une part généraliste dans les futurs supercalculateurs. C’est le cas dans plusieurs pays étrangers comme l’Allemagne. L’Italie, elle, a fait le choix d’une machine dédiée pour l’utilisation de Gaussian. La solution d’une machine dédiée à une communauté n’est pas forcément idéale, car elle entraine le risque de voir se multiplier ce type de demande peu optimale. GENCI doit être en mesure de servir l’ensemble des communautés qui ont besoin de moyens extrêmes tout en étant capable d’optimiser les coûts de ses infrastructures de calcul. En résumé, les points d’actions propres à Gaussian identifiés dans cette réunion sont résumés ci-dessous. D’une part,

• intégrer la possibilité de partage d’un nœud par plusieurs travaux pour optimiser l’exploitation d’Occigen ;


• être en mesure d’installer Gaussian sur Occigen en cas de réduction des heures de calcul disponibles pour les chimistes (ce dernier faisant partie d’un ensemble) ;

• mettre à disposition des outils logiciels permettant d’agréger plusieurs travaux faiblement parallèles ;

• maintenir un support de très haut niveau. è responsabilité : GENCI et centres de calcul pour ces 4 points.

Et d’autre part,

• organiser des actions de formation auprès des utilisateurs de Gaussian (et d’autres logiciels de chimie tels que Molpro, Molcas, Dalton…) pour en optimiser l’utilisation ; è responsabilité : communauté chimie (réseau RFCT, CECAM) en lien avec les centres

• initier une réflexion de fond sur l’adaptation des codes de chimie aux évolutions futures des supercalculateurs et les solutions alternatives aux codes commerciaux è responsabilité : communauté chimie (réseau RCFT, CECAM)

Enfin, la question de fond sur l’usage des travaux faiblement parallèles sur les calculateurs nationaux doit être approfondie. En effet leur présence permet une exploitation efficace des moyens de calcul en optimisant la charge des calculateurs, mais leur abondance peut, à partir d’une certaine quantité, nuire au placement des travaux fortement parallèles. De plus ils représentent une part importante des utilisateurs et sollicitent donc proportionnellement les supports des centres.

5. Décisions suite à la réunion Au vu des dernières estimations d’heures disponibles sur les machines généralistes en 2016, GENCI est arrivé à la conclusion que l’installation de Gaussian sur Occigen est nécessaire. Le Cines implémente actuellement la possibilité de partage d’un nœud entre plusieurs jobs, de manière à être en mesure d’installer Gaussian et de proposer son utilisation au 1er janvier 2016. GENCI confirme, après validation avec les trois centres de calcul nationaux, que le farming est autorisé sur l’ensemble des centres. L’information sera diffusée aux utilisateurs.

CR Groupe de travail Gaussian du 08-06-2015 V3...2015/06/08 · CR GROUPE DE TRAVAIL « GAUSSIAN »...

Documents

Transcript of CR Groupe de travail Gaussian du 08-06-2015 V3...2015/06/08 · CR GROUPE DE TRAVAIL « GAUSSIAN »...