+ Le chant du vario +

Développements et support => RASP => Discussion démarrée par: monsieur tout le monde le 26 Janvier 2014 - 19:52:28



Titre: du chauffage pour chez aileF
Posté par: monsieur tout le monde le 26 Janvier 2014 - 19:52:28
Bon théoriquement ça n'a pas un grand intérêt de faire tourner des modèles sur des ordis isolés. Mais en considérant le fait que la puissance des ordis individuels ne cesse de croître, et qu'ici on a des grosses machines, ça vaut  le coup de tenter.

Citation
ce sont des Xeon E5-1650 à 3.2Ghz sur 12 coeurs
32 ou 64 Go de ram

je peux en avoir une bonne dizaine la nuit. Si je motive plus de users, ça peut monter à 30-40.
à une époque on était pas loin de 150 à faire du SETI@home dans le studio.


Donc voila déjà un premier benchmark pour voir ce qu'elles ont dans le ventre.
J'ai durement bataillé pour réussir à faire tourner ce vilain modèle sous windows.

Donc pour tester il faut :
- Windows 7 (ou 8?) 64bits.
- Plein de RAM. Mon ordi de 4Giga en avait pas assez, donc je suppose qu'il en faut plus.
- Quelques dizaines de Go d'espace libre sur le disque dur.

Ce bench est fait pour tester les machines de aileF. Il n'a pas un grand sens sur d'autres ordis.


- télécharger et décompresser tous les fichiers
http://meteo-parapente.com/test-wrf.zip

- fermer tous les programmes ouverts pour ne pas gaspiller de puissance
- en double cliquant sur le fichier bench.bat, on lancer la procédure. Normalement ça dure longtemps (1 heure, voir plus ?), et les ventilos de l'ordi vont se mettre à tourner vite.

Théoriquement ça marche direct, et ça ressemble à ça :

- quand ça démarre (ça peut durer un peu)
(http://img11.hostingpics.net/thumbs/mini_464680startup.png) (http://www.hostingpics.net/viewer.php?id=464680startup.png)

- quand ça calcule
(http://img11.hostingpics.net/thumbs/mini_117775calcul.png) (http://www.hostingpics.net/viewer.php?id=117775calcul.png)


Il se peut que le pare-feu interfère.

- comme ici, on clique sur  « autoriser »
(http://img11.hostingpics.net/thumbs/mini_621725firewall.png) (http://www.hostingpics.net/viewer.php?id=621725firewall.png)

- ou pire, comme là. (pas forcément le même message, mais dans ce style).
Et du coup faudra me dire pour que je prépare une alternative
(http://img11.hostingpics.net/thumbs/mini_948530firewallfail.png) (http://www.hostingpics.net/viewer.php?id=948530firewallfail.png)



Et ensuite une fois que l'ordi a bien chauffé pendant longtemps, ça va afficher un message genre « fini, appuyez sur une touche pour continuer ».

Il ne te restera plus qu'à lancer le test-matos.bat pour lister la config de ta machine.

Ensuite tu fais un fichier zip avec tous les fichiers texte que ça aura généré :
matos.txt, results.txt, rsl_xxxx.txt ... Et tu m'envoies tout ça pour que j'analyse

Après ça, on pourra tester avec des vrais prévis.



Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 26 Janvier 2014 - 19:56:25
je regarde ça demain midi,

d'abord avec les machine de prod (les gros xeons avec 23/64go de ram) mais qu'on ne branchera pas en netfinity avant 3 ans.

mais aussi, j'ai l'autorisation de faire des tests avec la génération d'avant, des T3400 de dell, moins pruissants, mais je devrais pouvoir ajouter des cartes netfinity dedans. et booster la ram à 16 ou 32Go
de mémoire, ce sont des Core2 quad cpu Q9450 à 2.67Go (la même que la mienne à la maison mais avec plus de ram)

je te dis ça demain.

pour ce qui est des pare-feu, il s'agit de celui de la boite (sur lequel je ne peux rien faire), je passerais probablement la machine sur la connexion adsl si besoin (moins perfo, mais grande ouverte).


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 26 Janvier 2014 - 20:12:34
yes hésites pas à m'appeler si besoin.

Le pare-feu de la boite ne devrait pas poser problème.
C'est si il y en a un installé sur les ordis que ça risque de gêner.


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 27 Janvier 2014 - 20:38:45
alors ?


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 27 Janvier 2014 - 22:29:16
alors je suis resté en reu toute la journée, et j'ai du partir tot.
je fais ça demain. sorry.


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 28 Janvier 2014 - 13:42:57
c'est en cours


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 28 Janvier 2014 - 15:40:19
ça se stabilise vers les 6Go de ram et 50% des coeurs :


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 28 Janvier 2014 - 16:17:53
fini :


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 29 Janvier 2014 - 17:04:57
Donc là dessus la meilleure config c'est 12 process de 1 thread chacun.

371.252 s
371.813 s
372.243 s

On frôle les 6 minutes 12. C'est pas mal.

A titre de comparaison :
- 12 min sur un i7 2600, dual channel DDR3-1333MHz
- 6m32 sur un i7 3820, quad channel DDR3-2133MHz
- ~ 2min sur 3x core i7 3820 connectés en infiniband
- 29min sur une instance Amazon EC2 c1-XL (c'est beau le cloud !)
- 90 min sur un Dell Inspiron 1545


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 29 Janvier 2014 - 17:27:05
Bon maintenant on peut faire une tentative avec 2 pc connectés par le réseau.

Extraire le fichier zip sur les deux pc, au même endroit exactement.
Le mieux c'est de faire dans c:\test-wrf

(J'ai jamais essayé ça sous Windows / avec ces outils. Ça va probablement rater.)

Sur les deux pc :

- ouvrir l'invité de commande. Menu démarrer et taper « cmd » + entrée

- dans l'invité, taper « ipconfig » et noter les adresses ip des deux pc

- taper « cd c:/test-wrf/wrf » pour se mettre au bon endroit

- et lancer le gestionnaire MPI : « smpd.exe -d ». Laisser la fenetre ouverte jusqu'à la fin du test.


Sur un seul des deux pc :

- ouvrir un deuxième invité et  « cd c:/test-wrf/wrf »

- lancer le process
« ptime mpiexec -n 24 -hosts 2 ipA 12 ipB 12 c:/test-wrf/wrf/wrf.exe »

remplacer ipA et ipB par les adresses ip des deux machines.

Si tout se passe bien, tu auras à la fin des 3 minutes un message du genre WRF SUCCESS COMPLETE, suivi de combien de temps ça a mis.

Le mieux c'est de le faire tourner quelques fois pour voir.

Si ça rate, envoie moi une capture d'écran.
Et si ça marche correctement, on pourra ensuite tester avec plus d'ordis.


Titre: Re : du chauffage pour chez aileF
Posté par: gargle le 29 Janvier 2014 - 17:41:32
pas de version Mac / Linux ? ;)

Il commence à faire froid par ici .....
 :canape:


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 29 Janvier 2014 - 17:50:47
Citation
pas de version Mac / Linux ?

Malheureux, si tu savais la galère que ça a été de réussir à compiler ce truc pour windows.

Il a fallu reprendre les vielles habitudes...

(https://pbs.twimg.com/media/Bexi-9iCYAAcIBK.png:large)


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 29 Janvier 2014 - 18:40:48
je dois filer du taff, ya piwaille qui mange à la maison ce soir. je tenterais de faire ça depuis la maison via le vpn.

hé oui, je fricote avec le taulier.... on fait ce qu'on peut pour avoir plus de place dans sa boite à mp :p



Titre: Re : du chauffage pour chez aileF
Posté par: thierry_c le 29 Janvier 2014 - 18:48:34

hé oui, je fricote avec le taulier.... on fait ce qu'on peut pour avoir plus de place dans sa boite à mp :p

ben c'est pas trop grave, ce qui est grave, c'est de l'avouer en public  :sors:


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 29 Janvier 2014 - 21:18:02
c'est parceque je me prépare à sous-louer mes service  :bu:


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 31 Janvier 2014 - 09:46:27
@Nicolas : je t'ai envoyé un mp avec le résultat des tests.


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 31 Janvier 2014 - 11:26:16
Bon théoriquement ça n'a pas un grand intérêt de faire tourner des modèles sur des ordis isolés. Mais en considérant le fait que la puissance des ordis individuels ne cesse de croître, et qu'ici on a des grosses machines, ça vaut  le coup de tenter

La question quand on aborde la parallélisation n'est pas forcément de faire tourner le modèle en entier sur des ordis isolés, mais de découper le calcul en tranches et de faire tourner chaque partie du calcul sur pleins de machines.
le code se prête-t-il à de la parallélisation ?

J'ai un temps dans ma jeunesse pas si lointaine parallélisé un code de monte carlo écrit en fortran 77 (http://fr.wikipedia.org/wiki/M%C3%A9thode_de_Monte-Carlo). Au lieu de tourner en 2h environs sur un Cray II, il tournait en 1 semaine sur une quinzaine de stations Sun Solaris et SGI. Quel avantage dans ce contexte si c'était plus lent ? L'accès au créneau de temps de calcul sur le Cray II était d'un mois. En 1 mois les chercheurs ne pouvaient lancer qu'une simulation. Alors qu'avec le code parallélisé, ils pouvaient faire 4 simulations par mois en utilisant leurs stations de travail sous exploitées. Et en utilisant massivement la centaine de stations du site ils auraient pu en faire plus encore, mais je n'ai pas vu cette phase de déploiement, j'ai fini mon service militaire entre temps.

La limite dans la parallélisation est quand le temps de calcul pour agréger les calculs distribués devient plus grand que le temps de calcul des parties calculées.
On détermine ainsi le meilleur rapport entre la taille du calcul distribué (dépend de la puissance des noeuds), le temps réseau pour rapatrier les données (dépend du volume) et le temps d'agrégation.

Je ne sais pas si la parallélisation pourrait être une piste sachant qu'aujourd'hui il y a des solutions existantes pour faire tourner du calcul distribué et des agents et des API comme sur l'autre post dans lequel BOINC était évoqué.

http://boinc.berkeley.edu/
http://boinc.berkeley.edu/trac/wiki/ProjectMain
http://boinc.berkeley.edu/trac/wiki/AppIntro

Bon courage dans vos tests en tout cas !


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 01 Février 2014 - 14:07:23
Citation
La question quand on aborde la parallélisation n'est pas forcément de faire tourner le modèle en entier sur des ordis isolés, mais de découper le calcul en tranches et de faire tourner chaque partie du calcul sur pleins de machines.

le code se prête-t-il à de la parallélisation ?

Ce code est conçu dès l'origine pour être parallèle. C'est un truc fait pour tourner sur des milliers de CPU.

Le truc c'est qu'en météo, on peut pas vraiment découper le boulot en petite tranches indépendantes. Pour calculer la météo d'ici il faut voir ce qui se passe chez le voisin.

Donc sur les infras de calcul météo classiques (y compris la mienne) on utilise des « super réseaux » (ex: Infiniband) pour partager la RAM de tous les ordis. Ainsi le modèle peut ajuster son calcul en prenant en compte les résultats des ordis voisins.

Ça n'est pas possible de faire ça sans un matériel spécifique, et encore moins au travers d'internet.

Il faut donc ici faire tourner pleins de petits modèles au lieu d'un seul gros. Ce qui induit des prévis de moins bonne qualité, car plus le modèle tourne sur une petite zone, plus le domaine est contaminé par des effets de bord, et moins il prends en compte ce qui se passe à coté.

Jusqu'à peu, cela n'avait pas un réel intérêt : les ordis individuels ne pouvaient pas calculer une zone suffisamment grande.

Aujourd'hui la situation est différente car la puissance de calcul a considérablement augmentée, et la ram ne coûte plus rien.

Sur des ordis « grand publics », comme des portables, c'est encore limite. Par contre sur les dernières générations de serveurs, workstation ou de pc gamers (sockets LGA2011 / 4 canaux mémoire) ça commence à envoyer suffisamment de purée.

Et comme là on m'en propose gentillement une petite quarantaine…


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 01 Février 2014 - 14:54:37
tu me dirais quand tu auras eu le temps de regarder mes retours Nicolas.
Pour le moment j'ai vérifié, les machines que l'on pourrait mettre en infinyband, ce sont des dual channel seulement. (T3400 DELL)


Titre: Re : Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 01 Février 2014 - 15:05:46
@Nicolas : je t'ai envoyé un mp avec le résultat des tests.

Oui j'ai vu, ça a raté. Je pense que c'est le pare-feu de la boite qui bloque.
C'est pas dramatique. Celui là c'était surtout par curiosité.





Bon basé sur les pas trop mauvais résultats au test, on doit pouvoir faire un sacré truc.

Calcul très approximatif : avec une cinquantaine de ces machines, je peux faire des prévis 12km à 7 jours pour le monde entier !


Donc je propose la chose suivante :

- on met à profit cette puissance pour déjà faire des prévis « open » là où ça aura un intérêt immédiat : Afrique, Amérique du Sud... Ça démontre l'utilité de la démarche et nous donne déjà une première masse critique.

- avec ce premier démonstrateur, je lance le programme « OpenMeteo@home : calculez la météo chez vous pour améliorer l'agriculture, les économies d'énergie et la prévention des catastrophes ». Relayé dans les médias avec l'appui d'Etalab, de l'Open Knowledge Foundation et de quelques autres.  Faut juste faire un truc suffisament sexy, avec des programmes pour windows / mac / linux pour contribuer en quelques clics. Éventuellement via BOINC pour donner encore plus de visibilité.

- ça nous permets de racoler tout pleins de nouveaux gens, qui viendrons prendre le relais calculer la météo de là bas avec leurs ordis, libérant de plus en plus de puissance de calcul pour améliorer nos prévis vol libre.

Tu en penses quoi ?


Titre: Re : Re : Re : du chauffage pour chez aileF
Posté par: aileF le 01 Février 2014 - 15:09:49
Tu en penses quoi ?

ben qu'il faut aller jusqu'au bout des tests :)
et que si c'est possible, ben faut pas se priver.
plutôt que laisser tourner des machines qui font rien, autant s'en servir ;)


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 01 Février 2014 - 15:36:55
J'imagine que tu n'as pas le droit de me filer un accès VPN...

Du coup j'ai mailé le team leader de chez online.net, voir si il peut pas me ressortir une « vielle » dédibox 2013 avec un E5-1650, le temps de mettre le truc au point.

En attendant je vais finir de préparer le modèle pour windows, et commencer à réfléchir à comment répartir le calcul.

Ça tombe plutôt bien, demain soir je m'envole pour Toulouse. Une semaine de formation au centre de recherche de Météo-France pour apprendre à utiliser leur modèle météo open source. Ça serait sympa si on pouvait utiliser leur techno.



Combien d'ordis tu penses pouvoir me mettre facilement en route, disons échéance 2 semaines ?
Quelles plages horaires ?


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 01 Février 2014 - 15:57:22
 :dent:  :bravo:  à tous les 2 pour votre enthousiasme et implication :bravo:


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 01 Février 2014 - 16:20:40
l’accès vpn, c'est même pas en rêve. faut l'autorisation d'au moins 3 niveaux hiérarchiques pour obtenir le générateur de clef RSA et il faut pointer tous les 15 jours chez les ITs locaux  :roll:

dans la config Z420, les quad channels, je dois vérifier combien il y en a à coté de moi (je dirais au moins 3 ou 4) je peux les mettre en mode esclave TRES facilement (dans la journée), pour plus il faut que je demande aux collègues de me laisser copier ton répertoire et là on peut parler de 10-12 machine rapidement (largement dans les deux semaines).
pour les plages horaire, ce sera plutôt 19h->8h, mais je peux en laisser deux en 24/24.


Titre: Re : Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 01 Février 2014 - 16:32:01
l’accès vpn, c'est même pas en rêve. faut l'autorisation d'au moins 3 niveaux hiérarchiques pour obtenir le générateur de clef RSA et il faut pointer tous les 15 jours chez les ITs locaux  :roll:

même si je séquestre les gamins du pdg dans ma cave ?  :twisted:

me laisser copier ton répertoire

Nan attends ça c'était qu'un test à l'arrache. Je vais te faire un bel installeur avec le bousin complet à l'intérieur, déjà tout bien configuré


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 01 Février 2014 - 18:29:56
j'ai peur que notre Global Network Service, (ça fait un peu prétentieux je trouve) qui se trouve à Montréal ne sache même pas qui est leur PDG ;)

oui, oui, je disais répertoire, mais je m'attendais à un autre package. je ne bouge pas avant d'avoir de tes nouvelles.

tu veux qu'on teste avec infinyband sur les dual channel quand même ?


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 03 Février 2014 - 15:18:55
Tu peux déjà faire les tests "simples" sur les vieux ordis :
« ptime mpiexec -n {NOMBRE DE COEURS} wrf.exe »

A faire 2/3 fois pour avoir un résultat exhaustif. Et tu m'envoie le temps de calcul.


Les gars d'online.net viennent de me donner un serveur avec Xeon E5-1650 (http://www.online.net/fr/serveur-dedie/dedibox-ent2k14) pour un mois. Je vais pouvoir mettre tout ça au point.  :pouce:


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 04 Février 2014 - 22:20:51
je fais ça demain si la moitié de la planète daigne le laisser en paix ;)


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 08 Février 2014 - 17:00:40
Testé sur la dédibox.

J'ai à peu près les mêmes résultats que sur tes machines. C'est bon signe.


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 11 Février 2014 - 00:22:38
ben j'étais en week-end ski (du boulot) alors j'ai rien testé  ROTFL

je m'y mets demain  si tout va bien.


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 15 Février 2014 - 16:59:54
Good news :

Vais pas avoir besoin de m’embêter à tout faire marcher sous Windows.

En fait j'ai juste à faire tourner un linux par dessus ton windows, j'ai les même perfs.

- Version windows native : 356 secondes
- Version linux dans VirtualBox : 360 secondes

(http://img11.hostingpics.net/thumbs/mini_385406Capturedu20140215164320.png) (http://www.hostingpics.net/viewer.php?id=385406Capturedu20140215164320.png)

En plus du coup ça a l'avantage de totalement isoler mon programme du système.


Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 16 Février 2014 - 22:00:49
bon ça. du coup on monte une VM toute prête et hop ?


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 17 Février 2014 - 04:22:37
en attendant, voici un petit excel pour calculer ce qu'on peut faire

l'idée c'est de trouver le bon compromis entre la résolution et la durée des prévis vs  le temps de calcul, la RAM et le nombre d'ordis. Pas forcément évident.

Par exemple, pour faire des prévis mondiales 11 km à 4 jours, il faut 18 ordis.

Si on veut du 1 km, ils nous en faut 21 000 !!!
Mais "seulement" 1 600 pour du 2.5 km :)

C'est des gros chiffres, mais pas si impossibles. Il y a actuellement 426 986 ordis qui calculent du BOINC (http://boinc.berkeley.edu/)  :pouce:


Titre: Re : du chauffage pour chez aileF
Posté par: philou blanc le 17 Février 2014 - 07:54:18
 :grat:  :grat:  :grat:
J'adore ce fil   :mdr:
 :bravo:  pour ce que vous etes en train de faire meme si je n'y comprends absolument......rien
Y a que le nbre d'ordis qu'il vous faut que je comprends
Et moi, deja avec un Minitel, je peux etre au taquet :bang:
 :forum:


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 17 Février 2014 - 10:57:19


question : quel est le budget pour un supercalculateur qui puisse faire çà ?
(çà = l'équivalent des 21000 PC un peu costauds pour le monde à 4 jours à 1km)

21000 PC costaud = 21000 * 1000€ = 21 Millions d'euros

Je n'ai aucune idée du coût actuel des supercalculateurs, quelqu'un connaît ?



Titre: Re : Re : du chauffage pour chez aileF
Posté par: Derob le 17 Février 2014 - 11:42:44
question : quel est le budget pour un supercalculateur qui puisse faire çà ?
(çà = l'équivalent des 21000 PC un peu costauds pour le monde à 4 jours à 1km)

21000 PC costaud = 21000 * 1000€ = 21 Millions d'euros

Je n'ai aucune idée du coût actuel des supercalculateurs, quelqu'un connaît ?

Pas sûr qu'on puisse tout à fait compter comme ça. Ce qui va aussi avec un "super-calculateur", c'est tout un système climatisé, et une facture électrique ENORME.
L'avantage des projets comme boinc, perso, je le vois au niveau écologique :
*) utilisation optimale de nos machines que de toute façon, on va probablement balancé alors qu'elles fonctionnent parce qu'elles deviennent insuffisamment puissante après 5 ou 6 ans pour la plupart d'entre nous. La matos info est très polluant.
*) Perso, l'hiver, je fais tourner boinc : mon pc tourne à 100% donc sa durée de vie est optimisé, ce qui ne me coûte presque rien car je me chauffe à l'électricité (un PC rend quasiment tous les Watt consommé en chaleur il me semble, mais je ne suis pas sûr de mon coup sur ce coup là).

C'est aussi un bon moyen d'avoir de la ressource de calcul si on n'a pas les moyens de se payer un accès à un super calculateur.
Le principale souci de cette option par rapport à un super-calculateur, c'est que le problème traité doit pouvoir se découper en tout petit bout, tant au niveau des calculs que des données. Je ne connais pas le modèle RASP, et je ne sais pas si c'est possible. Au feeling, j'en doute car il doit y avoir de la dépendance tant géographique que temporelle.


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 17 Février 2014 - 12:19:06
Citation
Pas sûr qu'on puisse tout à fait compter comme ça. Ce qui va aussi avec un "super-calculateur", c'est tout un système climatisé, et une facture électrique ENORME.

En comptant la clim, ça ne ferait seulement que 10MW. De l'ordre de 700 000 € d'élec par mois  :affraid:

Citation
un PC rend quasiment tous les Watt consommé en chaleur il me semble, mais je ne suis pas sûr de mon coup sur ce coup là

Tout est converti en chaleur - effet joule. Sauf peut être les 3 watts des ventilos qui fabriquent de l'énergie mécanique.


Citation
C'est aussi un bon moyen d'avoir de la ressource de calcul si on n'a pas les moyens de se payer un accès à un super calculateur.

C'est plus facile de dire aux gens :
« si vous voulez des meilleures prévis, installez un logiciel »
que
« si vous voulez des meilleures prévis, donnez des sous pour que j'achète des ordis et de l'élec »



Citation
Le principale souci de cette option par rapport à un super-calculateur, c'est que le problème traité doit pouvoir se découper en tout petit bout, tant au niveau des calculs que des données. Au feeling, j'en doute car il doit y avoir de la dépendance tant géographique que temporelle.

C'est pas faux. Du coup ça ne sera pas un gros modèle, mais pleins de petits, comme un puzzle. C'est pas optimal, mais ça dépanne bien.

Cela dit, les ordis de maintenant commencent à avoir de la patate, et les petits bouts ne sont plus si petits.

Exemples de pièces de puzzle que peuvent sortir les ordis de aileF, avec 6-7 heures de calcul tout de même :

Pour 11km à 4 jours :
(http://img15.hostingpics.net/thumbs/mini_36098011km600x500.png) (http://www.hostingpics.net/viewer.php?id=36098011km600x500.png)

Pour 2.5km à 4 jours :
(http://img15.hostingpics.net/thumbs/mini_30194825km380x200.png) (http://www.hostingpics.net/viewer.php?id=30194825km380x200.png)

On peut même doubler la taille avec des ordis bi-processeurs.
Et comme la techno évolue super vite, tout les ans on va gagner en performance. x2 tous les 18 mois elle dit la loi du monsieur moore.


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 17 Février 2014 - 13:19:21

@derob, tout à fait d'accord avec toi. je déploie BOINC quand je le peux dans les boites où je passe et je suis un fervent supporter de "trucs" P2P... je crois au distribué. je posais la question pour justement faire sortir des nombres parlant pour les lecteurs non geek ;-) et là je pense qu'on a des arguments de poids...

700K€ d'électricité par mois pour faire fonctionner le truc  :affraid:

@prof tournesol : oui, c'est plus facile de demander du temps de calcul que des sous, surtout en ces temps de disette !

 karma+



Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 26 Février 2014 - 11:32:53
ça avance de mon coté

c'est juste qu'entre les balises et ça, il ne me reste plus beaucoup de temps...


Titre: Re : du chauffage pour chez aileF
Posté par: brandi le 26 Février 2014 - 11:42:33
A enfin on voit poindre tes limites  :clown: 


Titre: Re : du chauffage pour chez aileF
Posté par: gargle le 26 Février 2014 - 12:43:41
a titre purement informatif :

On fait comment pour rentrer dans les projets de BOINC ?
ou a défaut pour en créer un ?

ca pourrait pas être une solution ?


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 03 Mars 2014 - 13:25:14
C'est ce que je suis en train d'étudier.

http://boinc.berkeley.edu/trac/wiki/ProjectMain


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 03 Mars 2014 - 21:14:00
Bon ben c'est confirmé : je vais faire marcher ça avec BOINC (http://boinc.berkeley.edu/).

En plus ça va donner de la visibilité au projet :)


Titre: Re : Re: Re : Re : du chauffage pour chez aileF
Posté par: tartifli le 03 Mars 2014 - 22:24:58
:grat:  :grat:  :grat:
J'adore ce fil   :mdr:
 :bravo:  pour ce que vous etes en train de faire meme si je n'y comprends absolument......rien
Y a que le nbre d'ordis qu'il vous faut que je comprends
Et moi, deja avec un Minitel, je peux etre au taquet :bang:
 :forum:

+1 !!
Exactement pareil pour moi, je panne rien de rien mais j'adore le le fil !


Titre: Re : du chauffage pour chez aileF
Posté par: gargle le 04 Mars 2014 - 08:38:37
il y a eux aussi :
http://www.worldcommunitygrid.org/research/viewSubmitAProposal.do


Titre: Re : Re : Re: Re : Re : du chauffage pour chez aileF
Posté par: yeager le 04 Mars 2014 - 08:50:19
:grat:  :grat:  :grat:
J'adore ce fil   :mdr:
 :bravo:  pour ce que vous etes en train de faire meme si je n'y comprends absolument......rien
Y a que le nbre d'ordis qu'il vous faut que je comprends
Et moi, deja avec un Minitel, je peux etre au taquet :bang:
 :forum:

+1 !!
Exactement pareil pour moi, je panne rien de rien mais j'adore le le fil !

c'est quoi comme langue, si c'est de l'Araméen, ils vont peut être nous faire un miracle, en attendant  :pouce:  les gars pour votre boulot


Titre: Re : du chauffage pour chez aileF
Posté par: Jacques B le 04 Mars 2014 - 09:22:50
Moi J'ai bien 2 gros PC à la maison, mais devant il y a 2 Ados qui font tourner en continu des RPG et autres jeux bouffeur de processeur.... Je vais leur expliquer que pour que pour que papa puisse jouer à l'homme volant, il faut que leur ordi calculent le temps qu'il va faire. Je vous tient au courant :speedy:


Titre: Re : Re : du chauffage pour chez aileF
Posté par: Derob le 04 Mars 2014 - 09:56:28
Bon ben c'est confirmé : je vais faire marcher ça avec BOINC (http://boinc.berkeley.edu/).

En plus ça va donner de la visibilité au projet :)

Yes !!  karma+
Bravo, y a du boulot quand même.
Et tous les membres du forum, même ceux qui ne pannent rien à cette discussion vont pouvoir participer au calcul des prévisions une fois que ce sera prêt.
Et pour rassurer ceux qui craignent les conflits avec les ados-pénibles-qu'on-ne-peut-même-plus-taper : les calculs ne se déclenchent que lorsque le PC n'a rien d'autres à faire (c'est paramétrable), donc ça ne prend pas de ressources lorsque l'on veut s'en servir.
 :forum:
Tiens nous au jus.
Derob


Titre: Re : Re : Re : du chauffage pour chez aileF
Posté par: Jacques B le 04 Mars 2014 - 10:00:31
Et pour rassurer ceux qui craignent les conflits avec les ados-pénibles-qu'on-ne-peut-même-plus-taper : les calculs ne se déclenchent que lorsque le PC n'a rien d'autres à faire (c'est paramétrable), donc ça ne prend pas de ressources lorsque l'on veut s'en servir.

C'est cool ça!


Titre: Re : du chauffage pour chez aileF
Posté par: cyril anakis le 04 Mars 2014 - 10:45:31
j'attends le lien de download avec impatience
 "les petits ruisseaux font les grandes rivières"

Bravo Professeur !
(http://www.tintinmilou.free.fr/tournesol/patins.jpg)


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 04 Mars 2014 - 17:25:13
J'ai commencé à installer un serveur.

Si il y en a qui veulent déjà connecter leur ordi, ils peuvent.

Ça devrait marcher partout : Windows / Mac / Linux. C'est mieux en 64 bits. Si vous ne savez pas ce que c'est, ça marchera quand même.

- téléchargez et installez BOINC :
http://boinc.berkeley.edu/download.php (http://boinc.berkeley.edu/download.php)
Si il demande, prendre celui avec virtualbox intégré.


- lancez BOINC et ajoutez un nouveau projet

(http://img15.hostingpics.net/thumbs/mini_613176Capturedu20140304170327.png) (http://www.hostingpics.net/viewer.php?id=613176Capturedu20140304170327.png)

(http://img15.hostingpics.net/thumbs/mini_294411Capturedu20140304170404.png) (http://www.hostingpics.net/viewer.php?id=294411Capturedu20140304170404.png)

- là il nous montre tous pleins de projets existants. Mais on est pas encore dans liste  :cry:

Du coup il faut ajouter le projet à la main.
C'est facile : il suffit te taper http://boinc.openmeteoforecast.org dans URL du projet, et cliquer sur suivant.

(http://img15.hostingpics.net/thumbs/mini_726345Capturedu20140304170441.png) (http://www.hostingpics.net/viewer.php?id=726345Capturedu20140304170441.png)

- Il demande de créer un compte utilisateur. Si comme moi vous avez la flemme, vous pouvez mettre une adresse bidon.

(http://img15.hostingpics.net/thumbs/mini_561752Capturedu20140304170502.png) (http://www.hostingpics.net/viewer.php?id=561752Capturedu20140304170502.png)


- Et voila !

(http://img15.hostingpics.net/thumbs/mini_225550Capturedu20140304170825.png) (http://www.hostingpics.net/viewer.php?id=225550Capturedu20140304170825.png)


Votre ordinateur fait parti du nouveau supercalculateur de Open Météo. Inauguré le même jour que celui de Météo-France  :mdr:


Du coup pour l'instant il marque "aucun travail disponible à traiter". Parce que j'ai pas encore fini de préparer le modèle.

Mais dès que j'aurais eu le temps de tout mettre en place, votre ordi commencera automatiquement à calculer. Et en attendant, ça me fait de la matière pour tester.



ps 1 : Aussi, une fois l'installation terminée, il va vous ouvrir une page web pour configurer votre compte. Il propose de rejoindre une équipe. J'en ai créé une qui s'appelle LCDV, des fois que...


ps 2 : Il va peut être vous faire un message « ce projet ne supporte pas les ordinateurs du type XXXXXX ». C'est normal, c'est juste que je n'ai pas encore envoyé de travail pour ce type d'ordinateur. Faut pas s'inquiéter, ça marchera quand même.


Titre: Re : du chauffage pour chez aileF
Posté par: gargle le 04 Mars 2014 - 17:37:53
prem's ;)

coool, fini vite les modèles qu'on puisse chauffer la maison pour qqch d'utile ;)


Titre: Re : du chauffage pour chez aileF
Posté par: Jacques B le 05 Mars 2014 - 10:01:08
Deuze....
La puissance de calcul phénoménal de mon portable équipé d'un superbe Intel Pentium cadencé à 2.2 GIGAhertz (oui vous avez bien lu: GIGA!) et d'une mémoire étendue à 2 Go, est maintenant au service de OpenMeteoForecast.


Titre: Re : du chauffage pour chez aileF
Posté par: SeCanto le 06 Mars 2014 - 07:38:45
J'aurai bien aimé être le 3ème mais je n'arrive pas à installer BOINC  :(
j'arrive pas à lancer le fichier téléchargé (sous Ubuntu).


Titre: Re : du chauffage pour chez aileF
Posté par: cyril anakis le 06 Mars 2014 - 09:37:55
install nikel sur Win8

 :pouce:


Titre: Re : Re : du chauffage pour chez aileF
Posté par: Derob le 06 Mars 2014 - 10:15:12
J'aurai bien aimé être le 3ème mais je n'arrive pas à installer BOINC  :(
j'arrive pas à lancer le fichier téléchargé (sous Ubuntu).

Encore plus simple (et solution préférable), sous ubuntu : sudo apt-get install boinc
puis lancer boincmgr en ligne de commande ou "boinc manager" dans le menu des applications.

EDIT : Juste après l'installation, avant de lancer boincmgr, il est nécessaire de lancer le service boinc. Il se lancera automatiquement à chaque démarrage de l'ordinateur, mais vu qu'on vient tout juste de l'installer... Deux solutions au choix :
*) Redémarrer l'ordinateur (solution la plus simple).
OU
*) taper : sudo service boinc-client start
Globelement pour l'installation (window$ etc.), la page d'aide est là (en anglais) : http://boinc.berkeley.edu/wiki/Installing_BOINC


Titre: Re : Re : Re : du chauffage pour chez aileF
Posté par: SeCanto le 06 Mars 2014 - 12:43:45
J'aurai bien aimé être le 3ème mais je n'arrive pas à installer BOINC  :(
j'arrive pas à lancer le fichier téléchargé (sous Ubuntu).

Encore plus simple (et solution préférable), sous ubuntu : sudo apt-get install boinc
puis lancer boincmgr en ligne de commande ou "boinc manager" dans le menu des applications.

EDIT : Juste après l'installation, avant de lancer boincmgr, il est nécessaire de lancer le service boinc. Il se lancera automatiquement à chaque démarrage de l'ordinateur, mais vu qu'on vient tout juste de l'installer... Deux solutions au choix :
*) Redémarrer l'ordinateur (solution la plus simple).
OU
*) taper : sudo service boinc-client start
Globelement pour l'installation (window$ etc.), la page d'aide est là (en anglais) : http://boinc.berkeley.edu/wiki/Installing_BOINC

 karma+


Titre: Re : du chauffage pour chez aileF
Posté par: Joris HART le 10 Mars 2014 - 08:58:39
As-tu déjà contacté les universités dans les alpes? Je sais que chez nous à strasbourg, les ordis tournent presque tout le temps mais ils ne sont pas utilisés H24.


Titre: Re : du chauffage pour chez aileF
Posté par: Derob le 10 Mars 2014 - 13:17:11
Alors, je ne sais pas vous, mais j'ai du me battre un peu pour installer boinc correctement sur mon ubuntu (version Saucy). J'avais notamment un message "incapable de se connecter au client". Après avoir écumé pas mal de forum en vain, je suis tombé sur ZE page qui explique tout bien ; elle est là : http://code.google.com/p/androboinc/wiki/BOINCSetupLinux

Et voilà, maintenant 2 PC dispo pour les calculs de météo parapente : ma vieille rougne à la maison qui ne devrait pas être utile, et mon PC au taf, beaucoup, beaucoup mieux  :pouce:


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 10 Mars 2014 - 21:57:00
et un de plus ;-)


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 12 Mars 2014 - 12:19:17
En tout cas, ils sont efficaces chez BOINC.

Il me manquait une fonction.
3h après, ils me l'ont codé


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 13 Mars 2014 - 12:00:28
c'est l'efficacité du monde opensource !
j'ai souvent eu cette agréable surprise aussi sur plusieurs projets opensource ...

en comparaison un souci bloquant empêchant une mise en prod sur un produit IBM.... 5 mois d'attente.... pour une mise à jour de driver ODBC pas mis à jour et buggé de façon certaine et connue depuis 4 ans...

dis nous quand les premiers travaux seront disponibles pour qu'on regarde nos machines tourner  :D  :jump:

 karma+


Titre: Re : du chauffage pour chez aileF
Posté par: yome2 le 13 Mars 2014 - 21:07:53
J'ai mis ma machine à dispo.


Titre: Re : Re : du chauffage pour chez aileF
Posté par: aileF le 13 Mars 2014 - 21:42:10
c'est l'efficacité du monde opensource !
j'ai souvent eu cette agréable surprise aussi sur plusieurs projets opensource ...

en comparaison un souci bloquant empêchant une mise en prod sur un produit IBM.... 5 mois d'attente.... pour une mise à jour de driver ODBC pas mis à jour et buggé de façon certaine et connue depuis 4 ans...
je suis le premier à défendre le monde du libre, et mon animal totem est le gnu, mais là tu fais de la caricature.


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 13 Mars 2014 - 22:16:39

même pas de la caricature...
je pourrais te montrer le ramdam que j'ai du faire pour arriver à faire bouger ibm pour leur driver odbc buggé sous linux (en architecture ppc64 optimisé pour power7, autrement dit pour faire tourner un linux sur un as400 via le système de virtualisation intégré de l'as400 donc sur une de leur machine)
au début on a accusé php puis php-odbc pour se rendre au final compte que c'était le driver odbc proprio ibm qui avait un souci (pour des accès à une base DB2 depuis une fedora sur la 2ième partition d'un "as400" nouvelle génération...). un gars de redhat a été assez réactif (même si c'était la fedora et donc la version communautaire), mais chez ibm il a fallu leur montrer tous les bugs soumis pour php, pour php-odbc, pour la fedora pour qu'ils admettent que c'était chez eux.
j'ai fait un démonstrateur du problème (grâce à l'aide de la communauté opensource qui m'a fournit des cas à faire tourner pour identifier le problème) puis on a fini par obtenir une nouvelle version des drivers odbc intégrant la correction de bug  ;-)



Titre: Re : du chauffage pour chez aileF
Posté par: aileF le 14 Mars 2014 - 01:08:53
ok, ce n'est pas une caricature, c'est un cas isolé de mecs incompétents.
je peux te citer des cas contraires dans les deux cas : perdre ton temps avec des baltringues qui croient que faire du libre, ça veut dire se toucher la nouille et une grosse boite qui est réactive au bug fix en moins d'une journée.
je peux aussi te donner l'exemple contraire du contraire : une grosse boite qui se touche et une communauté qui déchire.

bref, je ne pense pas que stigmatiser un système ou l'autre en se basant sur des exemples pris séparément soit parlant.
ça ressemble aux discussion mac/pc, amiga/atari, gros/petit-boutistes etc.
j’arrête le flood ici, car c'est une porte qui s'ouvre sur ce troll bien connu.


Titre: Re : Re : du chauffage pour chez aileF
Posté par: stepson le 14 Mars 2014 - 09:58:45
ça ressemble aux discussion mac/pc, amiga/atari, gros/petit-boutistes etc.
j’arrête le flood ici, car c'est une porte qui s'ouvre sur ce troll bien connu.
:mdr:  mais non, ce n'est pas un troll, tout le monde sait bien que l'atari est meilleur que l'amiga  :P


bon, sinon, on est tous sur les starting block pour voir nos clients boinc tourner....


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 17 Mars 2014 - 16:07:48
Il y a encore du boulot avant que ça tourne !

Va falloir que j'embauche des chinois pas chers


Titre: Re : du chauffage pour chez aileF
Posté par: gargle le 17 Mars 2014 - 16:38:25
C'est pour porter le code sous BOINC ?

ils utilisent quel système ?


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 29 Mars 2014 - 13:02:25
hello

je viens de désactiver le serveur BOINC.

Parce que
- en ce moment j'ai pas super le temps de m'en occuper
- c'était un premier test « à l'arrache », mal configuré. Et j'ai tout cassé en essayant une mise à jour.
- les mecs de BOINC commencent à s'inscrire en masse

J'en démarre un autre plus propre bientôt.


Titre: Re : du chauffage pour chez aileF
Posté par: Jacques B le 02 Avril 2014 - 20:10:32
Tiens nous au courant quand tu as besoin de CPU


Titre: Re : du chauffage pour chez aileF
Posté par: piwaille le 04 Avril 2014 - 08:55:44
est-ce que vous connaissez le Q.Rad ?
http://www.qarnot-computing.com/technology


Titre: Re : Re : du chauffage pour chez aileF
Posté par: Derob le 04 Avril 2014 - 10:33:35
est-ce que vous connaissez le Q.Rad ?
http://www.qarnot-computing.com/technology

J'en avais entendu parlé. C'est marrant. Mais passé le concept, c'est moyen :
*) à ma connaissance, pas d'API open-source donc totalement dépendant de la société.
*) je ne pense pas qu'il y ait d'upgrade possible du radiateur.
*) la puissance de calcul disponible dépend totalement du succès de la vente du radiateur.
*) Tant qu'à faire autant utiliser son PC pour ça : on peut faire autre chose que du chauffage :-)
Bref, je préfère boinc (il existe un système similaire, mais je ne trouve plus, c'était proposé par IBM je crois).
En tout cas, ces solutions présentent toutes un point faible commun : l'été ! Peut-être un peu atténué  pour des projets d'envergure mondiale à cause de l'opposition des saisons, mais il ne doit pas y avoir beaucoup d'ordi dans l'hémisphère sud.
Un point qui peut être pénible (au moins pour boinc) pour le développeur, est que ça demande de réécrire son code. Ne l'ayant jamais fait, je ne sais pas en quelle mesure c'est difficile.


Titre: Re : du chauffage pour chez aileF
Posté par: piwaille le 04 Avril 2014 - 18:36:38
 :coucou:

mouaip ... mais tu attaque ça du point de vue du g33k ...
Mme Michu ce qu'elle voit c'est du chauffage gratuit et pour lequel elle n'a absolument pas besoin d'API open source ! (en revanche, je dote que ça puisse remplacer un vrai gros radiateur qui fait dans les 2kW)
Comme tu le dis : gros doute aussi coté des gars qui vont louer une puissance de calcul uniquement disponible en hiver :/


Titre: Re : du chauffage pour chez aileF
Posté par: cyril anakis le 04 Avril 2014 - 20:28:24
vu l'isolation et la "puissance" de calcul disponible chez nous, ça serait pas un luxe.
pour le côté saisonnier, on s'en fout quand il fait chaud je pars voler !! :tomate:


Titre: Re : du chauffage pour chez aileF
Posté par: Jacques B le 06 Avril 2014 - 07:42:28
Pour le problème de saison, il faudrait utiliser la chaleur dégagée pour faire tourner un compresseur de clim... :clown:


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 04 Septembre 2014 - 22:53:09
L'histoire continue... (pour quand je serai moins overbooké avec les Pioupious)

Et quite à ne pas y passer beaucoup de temps, autant employer les grands moyens.
Du coup à la fin du mois, je pars une semaine à Budapest pour le 10th BOINC Workshop.
http://boinc.berkeley.edu/trac/wiki/WorkShop14

C'est encore un coup de tête, mais tout à fait sérieux. J'ai déjà pris les billets et le logement.

Ça sera l'occasion de croiser tous les experts du domaine, et de les inciters à me filer un petit coup de main ;)
J'y donnerai un talk : "Using BOINC for building the "wikipedia" of real-time weather forecasting" (et aussi for totalement repenser le fonctionnement de meteo-parapente pour empoweriser le end user)

Ceux qui sont interessés, passez me voir sur mon stand à la coupe icare.


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 04 Septembre 2014 - 23:53:30
Cool, j'ai déjà trouvé un Grenoblois de l'INRIA qui y va aussi.

Et en plus il connait qu'est-ce que je fais :
Citation
J'ai vu les pioupious, l'open data et tout. C'est super classe/rigolo


Titre: Re : du chauffage pour chez aileF
Posté par: monsieur tout le monde le 02 Octobre 2014 - 15:17:46
Mes slides qui présentent le projet :
https://docs.google.com/presentation/d/1BnEZeMgvNy2pwyG1YABkuzbK_Na-JqNqgLO0cjimsOE/edit?usp=sharing


Titre: Re : du chauffage pour chez aileF
Posté par: stepson le 02 Octobre 2014 - 23:15:27
 :bravo:

C'était bien le BOINC Workshop ?

Je vais aller googliser pour voir ce qui se raconte sur le sujet ;-)