Ok

En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies. Ces derniers assurent le bon fonctionnement de nos services. En savoir plus.

26/01/2008

Au coeur de l'informatique financière

 

5 milliards ou plus, partis en fumée

. Au delà de la folie du système financier, où tout le monde est dépassé, je vous propose un petit aperçu de l'informatique qui régit les transactions financières.

 

Lustre : un Cluster File System

Le coeur de ces systèmes est formé de grilles de calcul qui utilise la plupart du temps un FileSystem spécifique : Lustre  ( racheté récemment par SunMicroSystems : mon employeur )

Un File System est un dispositif logiciel qui permet à l'ordinateur de traiter les fichiers. Accéder, ouvrir, modifier, sauvegarder, déplacer les fichiers : toutes ces opérations finissent par se traduire par des lectures/écritures sur les moyens de stockage : un ou une série de disques durs dans la plupart des cas. Sachant que la très grande partie de l'activité informatique se réduit à des manipulations de fichiers, on voit l'importance du File System. Faisant l'interface entre le logiciel applicatif et le matériel, le File System est au coeur du système d'exploitation. Dans la vie courante, un File System n'est géré que par un seul ordinateur qui accède à ses propres fichiers.

La mise en réseau a fait naître des systèmes de fichiers partagés, dont le plus célèbre, et encore très largement utilisée est NFS ( Network File System ). NFS est bâti sur un serveur de fichiers qui s'occupent des accès physiques en lecture/écriture. Ce serveur répond aux requêtes de ses clients qui délègue les opérations physiques au seul et unique serveur NFS. Il ne peut y avoir qu'un seul serveur NFS par système de fichiers ( ou par répertoire ). NFS reste populaire, mais trouve vite sa limite au delà d'une centaine de clients où les performances s'écroulent.

Beaucoup d'autres File Systems existent, qu'ils soient de type réseau ( AFS, NFS, Parallel NFS ) ou mono serveurs ( VxFS, EXT4, NTFS ) ou partagés ( Shared QFS ) et Lustre qui nous intéresse ici.

Lustre a été conçu dès le départ pour gérer des très grands nombres :

  • Des milliers de clients
  • Des milliards de fichiers
  • Des tailles gigantesques ( au delà du Po = 1 million de GigaOctets )
  1. Au lieu d'un unique serveur, Lustre est architecturé autour d'un grand nombre de serveurs de données ( Object Storage Servers OSS ou Object Storage Targets OST ) qui gèrent l'accès aux données physiques répartis sur des systèmes de disques attachés à ces serveurs. Aujourd'hui, le seul FIle System supporté pour ces OST est EXT4, dans l'avenir, une migration est prévu sur ZFS ( encore un autre système de fichiers ). Attention à ne pas confondre ce système de fichiers "local" qui donne accès aux données pour les OST avec le système de fichiers global qui permet l'accès à ces données pour les milliers de clients. Les données des fichiers sont réparties sur l'ensemble de ces OST. L'information concernant la localisation des fichiers est contenu dans le Metadata Server.
  2. Lustre utilise un ou plusieurs serveurs de métadonnées : le Metadata Server ( MDS ). Qu'est ce qu'une métadonnée dans ce contexte ? Il s'agit de l'ensemble des informations qui caractérisent un fichier : Propriétaire, droits d'accès, localisation, access time, et diverses informations de gestion qui permettent au système d'accéder aux données.
  3. Sachant qu'il y a des milliers de noeuds qui peuvent travailler sur un même fichier, il faut utiliser un "distributed lock manager" efficace. Au lieu de verrouiller le fichier entier, Lustre ne pose de lock que sur la partie du fichier qui est manipulé par le client. Cela permet de poser des milliers de locks sur le même fichier sans avoir à gérer trop d'accès concurrentiels sur le même objet.
  4. Grâce à cette architecture, Lustre autorise des performances démesurées : Des tailles de File System supérieures au PetaByte, 5000 ou plus create/sec sur un seul File System, un débit global de plusieurs centaines de GigaBytes/seconde.

Ci-dessous un schéma de principe d'une architecture Lustre.

2a8eb1e245ec361f64a6bdfbe11c92cb.jpg

 

Dans la mesure, où il permet à des milliers, voire à des dizaines de milliers de serveurs de se partager les mêmes ressources fichier, Lustre est très utilisé dans les applications de Grid Computing. Un seul serveur, si puissant soit-il, ne peut plus délivrer la puissance nécessaire pour des applications comme la prévision météo, la recherche sismique ou génomique et aussi les applications financières comme les simulations de type Monte Carlo. Ce sont des applications de type Redshift, dont j'ai déjà parlé ici. Très gourmandes en CPUs, en moyens de stockage et en réseau rapide comme le protocole Infiniband.

Les entreprises financières ouvrent largement leur budget pour ces applications sophistiquées s'exécutant sur des infrastructures gigantesques. C'est un représentant de la Deutsche Bank qui s'exclamait ainsi à propos d'Infiniband :

"For every ten milliseconds for latency we reduce in our automated trading infrastructure, we can bring in an additional $200 Million in revenue per annum."

Chaque milliseconde vaut 20 millions de dollars... Il manque peut-être un système de contrôle pour éviter une catastrophe à 5 milliards.

Commentaires

salut rené,
tes photos sont superbes, mais où est CARLA ?
et puis, nous sommes chez les CLEMENT, nous t'avons reconnu avec tes deux pouces, peux tu rendre les 5 MILLIARDS de la SOC GEN ? cet été pour le FERRET c'est un peu juste ... et puis Nathalie souhaite une bague à € 45 000,- ...
demain, j'ouvre un blog et nos échanges épistolaires continueront.
si tu veux m'écrire, pense à nous ...
salut mon rené
PS : cathy clément a un digestif nouvelle génération, un truc à faire péter une banque !
PS BIS : SARKO (nom de code KOSRA) lit ton blog, méfiance.
PS TER : il y a sur ton blog des trucs sur les GIGABITS ? quelle est la profondeur de cette chose ?? :)
Bonne nuit.
@+

Écrit par : CAROU | 27/01/2008

Bonjour CAROU !!

J'aimerai bien écrire des articles aussi drôles que ton commentaire. N'hésites pas à revenir, cher Jean-Louis. Ce blog est vraiment trop sérieux. Il faudra que j'essaie le nouvel apéritif de Cathy pour lui donner un peu de piquant.

A bientôt sur le tien. Je suis impatient de pouvoir le visiter.

René

Écrit par : René | 30/01/2008

Cher René,

Pas besoin de mon apéritif...Plutôt digestif...Ton blog a déjà une saveur bien marquée...Continue, c'est un plaisir de te lire...

A trés bientôt,

Cathy

Écrit par : CLEMENT | 30/01/2008

Merci Cathy,

A très bientôt, pour un un nouvel apéritif, ... ou digestif

Écrit par : René | 03/02/2008

Les commentaires sont fermés.