|
|
```
|
|
|
I - Itérations CEPREMAP
|
|
|
|
|
|
Itération CEPREMAP réalisée
|
|
|
|
|
|
Date : 15/08/2018-28/08/2018
|
|
|
|
|
|
Contenu :
|
|
|
|
|
|
o Connexion de 2 fetchers : FMI et OCDE
|
|
|
|
|
|
o Harmonisation des données pour le format des périodes
|
|
|
|
|
|
o Mise en place d’un dashboard
|
|
|
|
|
|
o 8 fetchers les plus importants sont désormais afficher sur la page d’accueil de DBNOMICS
|
|
|
|
|
|
o Optimisation du modèle de stockage des données d’Eurostat
|
|
|
|
|
|
Itération présente
|
|
|
|
|
|
o Affichage des dates de mises à jour des modifications
|
|
|
|
|
|
o A venir : affichage des date de commit (disponible dans GIT)
|
|
|
|
|
|
o Affichage de la date du dernier download du fetcher
|
|
|
|
|
|
o Intégration du fetcher stat can (Canada)
|
|
|
|
|
|
II – Format des fichiers
|
|
|
|
|
|
3 modèles de traitement identifiés
|
|
|
|
|
|
o TSV
|
|
|
|
|
|
o JSONL
|
|
|
|
|
|
o Les deux systèmes
|
|
|
|
|
|
Action CEPREMAP : Adresser les règles de gestion liées à l’utilisation de ces modèles
|
|
|
|
|
|
III – Récupération des données CEPREMAP par la BDF
|
|
|
|
|
|
Constat :
|
|
|
|
|
|
CEPREMAP
|
|
|
|
|
|
o Le problème de clonage des données EUROSTAT n’a pas été reproduit
|
|
|
|
|
|
Cause éventuelle : Réduction du format initial du fichier JSONL rattaché
|
|
|
|
|
|
BDF
|
|
|
|
|
|
o Proxy BDF (SERAI) limité à 1 Go
|
|
|
|
|
|
o Intégration en mode pull
|
|
|
|
|
|
o Dates de mise à jour prises en compte : Dates des commit
|
|
|
|
|
|
o Les révisions des données seront stockées mais non traitées
|
|
|
|
|
|
o Les appels de données se feront 2 fois par jour
|
|
|
|
|
|
Tests BDF
|
|
|
|
|
|
Itération DL : Semaine 37-Fin septembre
|
|
|
|
|
|
Date : Semaine 37
|
|
|
|
|
|
Actions MOA DLA BDF :
|
|
|
|
|
|
o Cloner le GIT EUROSTAT
|
|
|
|
|
|
o Sortir les deltas des GIT
|
|
|
|
|
|
o Les fichiers zippés (contenant par provider les datatsets ayant évolué) seront déposés dans la landing layer d’Hadoop
|
|
|
|
|
|
Solutions envisagées :
|
|
|
|
|
|
Si la récupération des fichiers pose problème : Utilisation d’outil de synchronisation RSYNC ou NEXTCLOUD
|
|
|
|
|
|
Action CEPREMAP
|
|
|
|
|
|
Vérifier la possibilité d’utiliser le programme de synchronisation RSYNC par le biais d’une connexion HTTPS ou NEXTCLOUD
|
|
|
|
|
|
Action MOA DL
|
|
|
|
|
|
Demander à la BDF si il existe une application de synchronisation validée qui pourrait être utilisé par le CEPREMAP
|
|
|
``` |
|
|
\ No newline at end of file |