DBnomics Steering Committee meeting

September 29, 2017 14:00-15:00

Vincent Aussilloux, département économie, France Stratégie Thomas Brand, Cepremap Michel Juillard, Banque de France Johan Richer, DBnomics

Agenda

1. General introduction of the project (Thomas)
2. Presentation of the Fetchers sub-project, sponsored by Banque de France (Michel)
3. Presentation of the team (Thomas/Johan)
4. Johan: travaux préparatoires déjà effecutés
5. Thomas/Michel: fonctionnement du projet, comités
6. Michel: tâches immédiates:
   • planification des releases jusqu'à fin 2018
   • planification budgétaire
   • mise en place des instruments de suivi
   • préparation réunion comité des utilisateurs
   • formation comité scientifique
7. Prochain COPIL

Présentation générale

• 11 fournisseurs actuellement
• Recherche par fournisseur
• Téléchargement de fichiers CSV, SDMX, JSON, HTML

En 2017 le Cepremap prend en charge le développement. De nouveaux financements sont arrivés.

• PIA FS pour 1 ans 1,5 ans (jusqu'à décembre 2018) Refonte à la fois de l'infrastructure pour industrialiser DBnomics, et de linterface utilisateur pour toucher de nouveaux publics
• BdF 2 financements : 54 fetchers + contribution annuelle à la maintenancez pendant 4 à 5 ans

BdF : sous-projet fetchers

54 nouveaux fournisseurs dont les données sont intégrées dans DBnomics Prirorité aux fournisseurs français (DARES, DRESS, INSEE) En 3 lots : 14 jusqu'à janvier, 20 jusqu'à avril, 20 d'ici l'été La BdF souhaite intégrer à termes les données dans son datalake en cours de développement, qui sera doté de machines de calcul à disposition des chercheurs de la BdF. Il faudra pour cela mettre en place un pipeline entre le datalake et DBnomics.

Présentation de l'équipe

Equipe Jailbreak 2 développeurs récemment recrutés pour les fetchers 1 chef de projet côt

Travaux préparatoires

2 chantiers :

• Infrastructure
• Indexer Solr : changement technologie qui permet une recherche "à la Google" (full text search) et une très importante accéleration des recherches (50ms au lieu de plusieurs secondes)
• Fetchers en intégration continue, dès qu'un téléchagement de données source est committé, ça declenche une conversion
• UI
• Nouvelle UI en version alpha, en cours de dév : objectif isofonctionnalité + full text search + recherche par fréquence (périodicité) et pays qui sont des dimensions universelles

Fonctionnement du projet

Plusieurs instances dans le projet

• Comité de pilotage : suivre l'avancement, vérifier le budget, suivi des quantités de travail. Une fois par mois puis moins souvent.
• Comité technique (une fois tous les 15 jours) : suivi du développement du projet.
• Proposition de comité des utilisateurs : ouvert à d'autres organismes qui ne participent pas activement au projet. Une première réunion pourrait servir aux participants à réagir à l'existant, ce qu'il y a à améliorer selon eux. Pourrait se réunir tous les 3 ou 6 mois, alimentés aussi par le forum.
• Proposition de comité scientifique : pour associer des grands spécialistes de la donnée publique qui apporterait une caution au projet. Pourrait se réunir une fois par an.

Méthodes agile, outillage adapté pour des échanges fluides entre les différentes parties prenantes.

Prochaines étapes et tâches afférentes (Michel, Thomas)

Prochain Copil :

• Préparer des slides, envoyées au Copil 3 jours avant, qui serviraient au suivi de ce qu'on a fait.
• Décider des macro-tâches jusqu'à la fin 2018 : infrastructure et UI
• Mettre en place des instruments de suivi :
• Indicateurs d'avancement (e.g. combien de tickets fermés dans la période précédente)
• Dépenses (jours, factures...)
• Retour sur les recherches de financement (ISA²...). Il manquait une dimension européenne et nous avons réussi à intéresser des partenaires. Par ailleurs nous avons reçu des très bon retours dans nos interventions à l'étranger (notamment conférence NYC).