blabla technique calculateur

[akira]

Il sert a quoi le gros bazar a fibre optique ?

[monsieur tout le monde]

Le gros machin et ses fibres servent à brancher entre eux les 14 ordis qui composent le calculateur. Comme ça, le modèle peut répartir le travail sur les 28 processeurs à la fois, comme si c'était tout dans la même machine.

Il y a énormément de communications entre les différents processeurs.  Je passe les détails, mais en gros, il faut un réseau très réactif. Meilleur est le temps de réaction (temps de latence / ping), moins on attends bêtement sans rien faire. Sur des gros calculs, l'addition de tout ces petits temps morts prends vite une grande ampleur. A un tel point, que sans un réseau adapté, on passe plus de temps à communiquer qu'à calculer....

Il faut donc un réseau avec un temps de latence faible.
L'Ethernet Gigabit (les prises sur ta freebox) a un temps de latence qui varie entre 30 et 120µs.
Pour le Myrinet (cette fameuse grosse boiboite et ses fibres optiques), on est plutôt dans les 2-3µs.

Comme on est pas très riche, on utilise une vielle technologie démodée à pas cher. (15 000€ en 2007, 800€ maintenant)
Notre Myrinet, c'est un débit de 2GB/s. C'est pile poil suffisant pour nous. Il ne faut pas moins.
Avec 1000€ de plus, on aurait pu faire de l'infiniband à 10GB/s, mais c'était pas utile.
Le standard actuel pour les calculateurs scientifique, c'est de l'infiniband à 48GB/s. Mais avec un joli porte monnaie, tu peux monter à plus de 300GB/s.


On comprends vite qu'un ADSL, avec 60ms de latence, et 1MB/s de débit en upload ne convient pas... Donc ça explique pourquoi on ne peut pas faire de calcul "à la maison", style Seti@Home ou BOINC. Là c'est même plus une histoire d'autoroute. C'est plutôt brouette vs fusée Arianne.

[akira]

La granularite de la parallelisation est elle si fine que ca necessite des latences aussi faibles (plutot que du gros debit) ?
Au taf ou a des reseau 10Gb pour le calcul distribue mais la granularite de nos jobs est assez importante donc la latence n est pas cruciale.

[monsieur tout le monde]

Un modèle météo, c'est + ou - de la mécanique : un point toutes les X secondes. 
Ça a besoin d'être calculé dans l'ordre. On ne peut pas faire t=2 et t=3 en même temps...
Pour chaque étape de temps, il faut partager les données entre toutes les machines.
Ça s’enchaîne à une fréquence très élevée. D'où la nécessité d'un faible temps de latence.

[Seb26]

C'est quoi le pas de temps utilisé?

[piwaille]

Un modèle météo, c'est + ou - de la mécanique : un point toutes les X secondes. 
Ça a besoin d'être calculé dans l'ordre. On ne peut pas faire t=2 et t=3 en même temps...

même si j'imagine qu'il y a des interactions, tu ne peux pas faire un découpage spatial ?
une machine calcule telle zone géographique, l'autre la zone d'à coté etc ...

[akira]

C est un peu ce a quoi je pensais. 
Sinon pour des calculs avec des lantences faibles, ca devrait etre assez adapte a du calcul GPU non ?

[monsieur tout le monde]

C'est quoi le pas de temps utilisé?

ca varie. de l'ordre de quelques secondes

même si j'imagine qu'il y a des interactions, tu ne peux pas faire un découpage spatial ?
une machine calcule telle zone géographique, l'autre la zone d'à coté etc ...

coupé en 14, ça fait des trop petites zones. ça serait aussi plus long à calculer.
il y a ce qu'on appelle des "effets de bord" : la limite du domaine induit des perturbations. Plus on est proche des cotés, plus les prévis sont fausses... (en fait, je calcule un peu plus que ce qui est affiché sur la carte)
il y a aussi des trucs qu'on peut pas couper, genre les alpes. c'est pas pertinent, et compliqué comme solution.

Sinon pour des calculs avec des lantences faibles, ca devrait etre assez adapte a du calcul GPU non ?

pour l'aspect "calcul en parallèle", ça peut effectivement être très efficace. Le problème est que la bande passante entre la RAM système et le GPU est pas assez élevée.. Donc pas si bien en pratique. Aussi il faudrait reprogrammer entièrement le modèle (quelques millions de lignes de code... bon courage!)


mais comme là on a une solution complète qui marche (de la manière prévue par les concepteurs du modèle)... on va pas trop se compliquer la tête pour l'instant!

[Ecclésiaste74]

Sans compter qu'entre de la fibre et du RJ45, bien sur tu augmentes ta vitesse de transmission de données, mais tu augmentes par la même ton volume de transmission de données, non ?! Une impulsion électrique est toujours plus lente que le deplacement d'un faisceau lumineu.

Par contre je comprends pas bien l'histoire d'utiliser le GPU pour faire des calcules à la place ou en plus du/des CPU ? Surtout vu la machine !

Je connais pas très bien ce type d'appareil, mais l'utilisation de SSD en complément de la RAM n'apporterait-il pas un plus s'ils étaient employés style swap ? (ça c'est pour la culture, parce que dépassé mon petit home-pc, je suis un branque   , je débute dans le domaine)

[akira]

Sans compter qu'entre de la fibre et du RJ45, bien sur tu augmentes ta vitesse de transmission de données, mais tu augmentes par la même ton volume de transmission de données, non ?! Une impulsion électrique est toujours plus lente que le deplacement d'un faisceau lumineu.

Pas significativement non ...

Par contre je comprends pas bien l'histoire d'utiliser le GPU pour faire des calcules à la place ou en plus du/des CPU ? Surtout vu la machine !

Le nombre de coeurs dans un GPU explose le nombre de coeurs d un CPU mais il y a des contraintes.
Entre autres si la granularite est trop fine, les temps d acces entre la RAM systeme et la RAM GPU rendent cette solution peu interessante.

Je connais pas très bien ce type d'appareil, mais l'utilisation de SSD en complément de la RAM n'apporterait-il pas un plus s'ils étaient employés style swap ? (ça c'est pour la culture, parce que dépassé mon petit home-pc, je suis un branque   , je débute dans le domaine)

Le SSD est tout de meme encore tres loin de la RAM en terme de perf.
Le dimentionnement de la machine doit permettre de ne pas swapper non ?

[Ecclésiaste74]

Merki m'siou

[akira]

Merki m'siou

Euh ... je suis pas un expert hein.
Faut prendre ce que je dis avec des pincettes.

Le tournesol pourra surement donner un avis plus instruit sur la chose

[monsieur tout le monde]

Sans compter qu'entre de la fibre et du RJ45, bien sur tu augmentes ta vitesse de transmission de données, mais tu augmentes par la même ton volume de transmission de données, non ?! Une impulsion électrique est toujours plus lente que le deplacement d'un faisceau lumineu.

pas forcement. c'est pas parce que t'as une autoroute que tu dois rouler à 300km/h...

Par contre je comprends pas bien l'histoire d'utiliser le GPU pour faire des calcules à la place ou en plus du/des CPU ? Surtout vu la machine !

le CPU est conçu pour faire les calculs les uns après les autres. le GPU fait des centaines de calculs A LA FOIS.
CPU: entre 2 à 8 cores
GPU: 48 cores (carte bas de gamme à 50€), 1024 cores sur une GeForce GTX 590 !

du coup, pour des gros calculs en parallèle, c'est logiquement plus rapide. sauf que dans notre cas, il y a un goulet d'étranglement au niveau de la RAM (trop de transferts), alors c'est pas si bien

Je connais pas très bien ce type d'appareil, mais l'utilisation de SSD en complément de la RAM n'apporterait-il pas un plus s'ils étaient employés style swap ? (ça c'est pour la culture, parce que dépassé mon petit home-pc, je suis un branque   , je débute dans le domaine)

aucun. pas de swap, c'est bien trop lent. tout tient dans la RAM.

[akira]

A ben j avais pas dis de conneries finalement 

[Van Hurlu]

pour qu'un nouveau lecteur puisse suivre la conversation
il faut préciser que le gros bazar a fibre optique dont parle AKIRA
c'est ça