Titre: XC-DB Posté par: mmomtchev le 05 Octobre 2022 - 17:13:37 Bon, c'est plus tard et avec moins de fonctionnalités qu'initialement prévu (bref, c'est de l'informatique, quoi), mais la première version alpha de XC-DB (nom provisoire) est disponible ici:
https://xcdb.velivole.fr C'est quoi XC-DB? C'est: * un navigateur visuel qui permet d'explorer la base des données des vols déclarés dans le cadre de la CFD * un classificateur (algorithme vaguement inspiré du K-means clustering) de vols qui permet de "trier" les vols en les regroupant en trajets-type * et tout ceci en les liant à une base de données météo qui permet d'identifier les conditions météorologiques (que la direction du vent pour l'instant) Donc, voilà, j'ai débuté le cross et comme, certains entre vous sont déjà au parfum, je suis entouré par une affaire qui pue des f****, et je dois découvrir le parapente un peu en solitaire, je me suis créé cet outil pour pallier à ma manque d'amis dans le milieu. Je crois qu'on est nombreux à utiliser le classement CFD pour découvrir des nouveaux possibilités de vol - et il faut admettre que l'outil de la fédé n'est pas vraiment fait pour ça. Juste quelques points rapides en vrac: * Comme c'est souvent le cas avec ce que je fais, ça passe moyennement sur un téléphone portable - il y a beaucoup trop d'information et c'est pas fait pour un petit écran * Faire des stats sur les sites les plus fréquentés peut être un peu lent, si rien ne s'affiche pendant quelques secondes après avoir cliqué sur St Hilaire, c'est normal * Pour l'instant l'outil prends en compte uniquement les triangles - pour l'instant je n'ai aucune idée ce que je pourrais faire des vols D3P - surtout que moi-même je suis un pilote de montagne (parce que j'aime les longs trajets que ça soit en volant ou bien en camion) * Pour chaque vol, la direction du vent affichée est la direction du vent au niveau 600 hPa à midi au-dessus du décollage (merci ERA5) * "déco" barré veut dire que vous regardez un trajet-type qui peut être réalisé à partir du décollage choisi, mais le vol actuel a été fait depuis un autre déco * Les vols sont les vols depuis la saison 2012 et jusqu'au 31/08/2022 - et ils ne vont pas se mettre à jour dans la version alpha * Comme vous avez déjà remarqué, le nommage des sites est le produit d'un algorithme qui n'est pas infaillible * En route c'est le trajet type, en bleu - le triangle effectivement réalisé, en noir - la trace GPS * Par contre j'ai pu extraire un grand nombre de sites qui n'ont pas de nom * Vous pouvez cliquer sur la cible après le nom du pilote pour aller voir le vol sur le site de la fédé * Le profil vertical de l'altitude va du bouclage au bouclage - la partie entre le décollage et le bouclage et entre le bouclage et l'atterrissage n'est pas pris en compte - le but c'est de pouvoir comparer les différentes réalisations d'un "trajet" * Pour les "trajets" - un classificateur regroupe les vols en "trajets" type - le profil de l'altitude montre le min, le max et la moyenne - il sert pour se faire une idée de ce qu'il faut comme plaf pour réaliser le vol * Le scoring est le produit de mon propre logiciel de scoring * Il est prévu de publier le code source - à différence de velivole.fr, cette fois-ci tout a été prévu dès le départ pour que le code soit utilisable par une personne tierce - déjà il n'y a qu'un seul langage de programmation (TypeScript) - et puis un des objectifs du site est de mettre en avant les fonctionnalités et l'ergonomie de deux de mes logiciels sur lesquels le code est basé - gdal-async et rlayers - donc je compte l'utiliser pour ma vitrine technologique Et puis, bien évidemment, il est prévu qu'il y ait d'autres fonctionnalités (analyse des thermiques par direction du vent, analyse des transitions...) Le but c'est déjà de voir si qqun a des idées/remarques/commentaires Et puis j'espère que cette année je pourrais finalement trouver une solution de financement pour velivole.fr - dont le budget est de 1000€/an - les deux sites sont relativement lourds - le back-end de velivole.fr traite 200Go/jour et le back-end de xcdb a une base SQL dont une des tables contient 600 millions de lignes - l'ensemble des points GPS des vols CFD des 10 dernières années - ces choses-là ne passent pas sur un hébergement OVH à 2€/mois (sans parler du fait qu'il y a eu quelques couacs chez eux avec mon affaire) Problèmes connus de la version alpha: * On ne peut pas accéder directement à un vol en saisissant son URL * Pour certains vols (ceux qui contiennent des fixes GPS invalides) le triangle bleu est mal positionné * Récupérer des statistiques sur des trajets-type avec 250, 500, voire 1000 déclarations (Saint-Hilaire) peut être lent Il est prévu de regénérer la base la semaine prochaine (ça prends 18 heures) pour ces problèmes (plus ceux que vous allez me trouver) Titre: Re : XC-DB Posté par: wowo le 05 Octobre 2022 - 17:30:48 :pouce: bravo pour ton engagement, motivation et générosité dans le partage :bravo:
Juste un point qui m'interpelle dans ton post : Citation Donc, voilà, j'ai débuté le cross et comme, certains entre vous sont déjà au parfum, je suis entouré par une affaire qui pue des f****, et je dois découvrir le parapente un peu en solitaire, je me suis créé cet outil pour pallier à ma manque d'amis dans le milieu. Tu n'es pas obligé car tu peux assurément trouver comme tput un chacun des amis, au moins dans le milieu du parapente. Fait la tournée des clubs de ton coin de vie, prospecte et tu trouvera des liberistes qui s'en battent les coui...des affaires qui t'entourent et qui t'accueilleuront pour le passionné de vol libre que tu semble être. :trinq: Titre: Re : Re : XC-DB Posté par: mmomtchev le 05 Octobre 2022 - 17:54:18 Tu n'es pas obligé car tu peux assurément trouver comme tput un chacun des amis, au moins dans le milieu du parapente. Fait la tournée des clubs de ton coin de vie, prospecte et tu trouvera des liberistes qui s'en battent les coui...des affaires qui t'entourent et qui t'accueilleuront pour le passionné de vol libre que tu semble être. En 10 ans de parapente, j'en ai pas encore trouvé - ils se sont passés des choses partout où je suis passé (les enjeux sont importants) mais ce n'est pas le sujet... Ceci dit, j'ai également une base de données du vent à 600 hPa en France de janvier 2012 à aout 2022 avec une résolution de 0.25° (~27km) que je vais publier en même temps que les sources du site - formats GRIB et CSV - au cas où ça intéressera qqqun d'autre Titre: Re : XC-DB Posté par: mmomtchev le 05 Octobre 2022 - 21:37:40 0.5Go décompressé, le ZIP fait 75Mo, format CSV, contient le vent à 600 hPa de 01/01/2012 au 31/08/2022:
https://xcdb.velivole.fr/wind-France-2012-2022.zip Le code source de XC-DB: https://github.com/mmomtchev/xc-db (vos contributions sont les bienvenues) Titre: Re : XC-DB Posté par: Géraud le 06 Octobre 2022 - 11:12:41 Merci beaucoup !
Boulot de dingue, le lien va direct dans la barre de favoris "Râpe-la-pente" Titre: Re : XC-DB Posté par: Géraud le 06 Octobre 2022 - 11:21:34 Les vols déclarés en catégorie cfd "marche et vol" ne sont pas inclus dans le site ? C'est classé différemment sur le site de la Fédé ?
Bravo d'avoir réussi à transformer une base de données incroyablement riche mais affreusement présentée en un site super bien foutu ! Petite remarque pour plus tard mais c'est du pinaillage : un fond de carte OpenTopoMaps ce serait le summum ;) Titre: Re : Re : XC-DB Posté par: mmomtchev le 06 Octobre 2022 - 12:26:36 Les vols déclarés en catégorie cfd "marche et vol" ne sont pas inclus dans le site ? C'est classé différemment sur le site de la Fédé ? Bravo d'avoir réussi à transformer une base de données incroyablement riche mais affreusement présentée en un site super bien foutu ! Petite remarque pour plus tard mais c'est du pinaillage : un fond de carte OpenTopoMaps ce serait le summum ;) Pas pour l'instant, uniquement triangle plat et triangle FAI. Comme mon logiciel de scoring sait identifier le moment du décollage, marche et vol avec un triangle peut être un bon candidat facile - mais d'un autre côté - si vous faites marche et vol - c'est probablement pour faire un distance 3 points? Quant à la distance 3 points je suis toujours en recherche d'idées. Moi-même j'en fais jamais (à moins que je rate un triangle) et je ne comprends pas la discipline. OpenTopo sera très bientot disponible. Autre chose - si vous voulez exploiter les données sur un autre site, vous êtes les bienvenus (un petit mot sur le site sera aussi bien apprécié), il faudra faire: https://xcdb.velivole.fr/api/geojson/launch/list pour récupérer la liste des décollages https://xcdb.velivole.fr/api/launch/100 pour avoir des infos sur le décollage numéro 100 https://xcdb.velivole.fr/api/route/launch/100 pour avoir la liste des triangles depuis le décollage 100 https://xcdb.velivole.fr/api/route/flight/route/100 pour avoir la liste des vols de référence pour le triangle 100 Tous les requêtes renvoient du JSON (GeoJSON pour la première) et le CORS est activé Titre: Re : XC-DB Posté par: mmomtchev le 07 Octobre 2022 - 14:29:27 J'ai rajouté OpenTopoMap et maintenant je génère des "skylines" à la thermal.kk7.ch (les même qu'on peut voir dans FlyXC). A la différence de kk7, les miens sont dynamiques - tout est généré à la demande en fonction de la requête - on pourra donc répondre à une question du type "Quel est le trajet typique emprunté en juin/juillet en régime de sud-ouest pour le triangle FAI classique et en quoi le vol de X Y est différent?"
Cette partie est bien évidemment relativement lente pour les triangles les plus déclarés - notamment pour le triangle de St Hilaire qui a été déclaré 900 fois, la génération des skylines nécessite de consulter la base des 600 millions de points, récupérer les 2 millions qui correspondent au critères de vent/décollage/triangle, les réduire et générer une image de synthèse - opération qui peut prendre quelques dizaines de secondes. Pour que ça reste gérable, je réduis la résolution et je fais des petits cercles relativement simples et rapides à dessiner. Titre: Re : XC-DB Posté par: pad le 10 Octobre 2022 - 09:28:24 Vraiment chouette comme outil, beau boulot !
Mais vraiment dommage que les vols en DL ne soient pas pris en compte. Ca serait top pour les vols de plaine, surtout si on pouvait afficher les zones aériennes ! Voir même en montagne, pouvoir différencier les triangles plats, les FAI et les DL serait génial, histoire de voir sur les gros vols où ça bloque pour ceux qui ne bouclent pas par exemple... Titre: Re : XC-DB Posté par: mmomtchev le 12 Octobre 2022 - 14:10:05 J'ai régénéré la base des vols (en tache de fond ça prends 36h) ce qui était la dernière étape de correction de bugs de cette version alpha. C'est une alpha parce qu'il manque un certain nombre de fonctionnalités que j'avais prévu - notamment de pouvoir afficher les emplacements des thermiques en fonction du vent et de pouvoir choisir/afficher/analyser tous les vols qui contiennent une transition entre un point choisi A et un point choisi B pour une direction du vent. Ceci est à peu près la totalité des questions que moi, en tant que crosseur-débutant, j'ai tendance à me poser avant un vol.
Pour l'instant je n'ai prévu de faire une version mobile - déjà qu'elle n'est pas simple à faire - et puis le site est destiné surtout à l'analyse à la veille du vol . Quant aux vols en distance 3 points - ma méthode n'est pas directement applicable à ces vols. Il est certes possible de faire d'autres types d'analyse, mais comme moi-même je ne pratique pas la discipline, il me sera difficile de pondre quelque chose d'utile. Bien évidemment, si quelqu'un a une idée, je reste à votre écoute. |