Newer
Older
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
#!/usr/bin/env python3
'''DARES SETTINGS
define some CONSTANTS that are commons to:
- dares_to_source_data.py
- dares_to_dbnomics.py
and make some Assertion test on import as acceptance tests for the fetcher
'''
import os
### GIT REPOSITORIES
SOURCE_REPOSITORY_URL = 'git@git.nomics.world:dbnomics-source-data/dares-source-data.git'
TARGET_REPOSITORY_URL = 'git@git.nomics.world:dbnomics-json-data/dares-json-data.git'
### PROVIDER
PROVIDER_URL = "http://dares.travail-emploi.gouv.fr/"
SOURCE_FILES_URL = os.path.join(PROVIDER_URL, "dares-etudes-et-statistiques/statistiques-de-a-a-z/article/")
PROVIDER = {
"long_name": "Direction de l'Animation de la Recherche des Etudes et des Statistiques",
"name": "DARES",
"region": "France",
"slug": "dares",
"terms_of_use": "http://dares.travail-emploi.gouv.fr/dares-etudes-et-statistiques/article/mentions-legales",
"website": PROVIDER_URL,
}
### CATEGORIES and FILES
#### REQUIRED FILES AND CATs
TOP_CATEGORIES_NB = 19
SOURCE_FILES_NB = 32
#### TOP CATEGORIES WITH FILE_NB and PAGE_SLUG
TOP_CATEGORIES = [
{
"name": "L’activité partielle",
"page_slug": 'l-activite-partielle',
"file_nb": 1
},
{
"name": "Les demandeurs d’emploi inscrits à Pôle emploi : données nationales",
"page_slug": 'les-demandeurs-d-emploi-inscrits-a-pole-emploi-les-series-mensuelles-nationales',
"file_nb": 3
},
{
"name": "Les demandeurs d’emploi inscrits à Pôle emploi : données nationales",
"page_slug": 'les-demandeurs-d-emploi-inscrits-a-pole-emploi-les-series-mensuelles-regionales',
"file_nb": 3
},
{
"name": "Les demandeurs d’emploi inscrits à Pôle emploi : données régionales, départementales et par zone d’emploi",
"page_slug": 'la-duree-collective-hebdomadaire',
"file_nb": 2
},
{
"name": "La durée individuelle du travail",
"page_slug": 'la-duree-individuelle-du-travail',
"file_nb": 1
},
{
"name": "L’emploi salarié",
"page_slug": 'l-emploi-salarie',
"file_nb": 1
},
{
"name": "Les emplois vacants",
"page_slug": 'les-emplois-vacants',
"file_nb": 1
},
{
"name": "L’emploi intérimaire",
"page_slug": 'l-emploi-interimaire',
"file_nb": 3
},
{
"name": "Les journées individuelles non travaillées (JINT)",
"page_slug": 'les-journees-individuelles-non-travaillees-jint',
"file_nb": 1
},
{
"name": "Les heures supplémentaires",
"page_slug": 'les-heures-supplementaires',
"file_nb": 1
},
{
"name": "Les heures supplémentaires rémunérées",
"page_slug": 'les-heures-supplementaires-remunerees',
"file_nb": 1
},
{
"name": "Les offres collectées et satisfaites par Pôle emploi",
"page_slug": 'les-offres-collectees-et-satisfaites-par-pole-emploi-les-series-mensuelles',
"file_nb": 1
},
{
"name": "La participation, l’intéressement et l’épargne salariale",
"page_slug": "la-participation-l-interessement-et-l-epargne-salariale",
"file_nb": 1
},
{
"name":"Les dispositifs publics d’accompagnement des restructurations",
"page_slug":"les-dispositifs-publics-d-accompagnement-des-restructurations",
"file_nb": 2,
},
{
"name": "Les ruptures conventionnelles",
"page_slug": "les-ruptures-conventionnelles",
"file_nb": 2
},
{
"name": "Les indices de salaire de base",
"page_slug": "les-indices-de-salaire-de-base",
"file_nb": 3
},
{
"name": "Les sortants des listes de demandeurs d’emploi inscrits à Pôle emploi",
"page_slug": "donnees-statistiques-les-sortants-des-listes-de-demandeurs-d-emploi-inscrits-a",
"file_nb": 2
},
{
"name":"Le temps partiel",
"page_slug": "le-temps-partiel",
"file_nb": 1
},
{
"name": "Les tensions sur le marché du travail par métier",
"page_slug": "les-tensions-sur-le-marche-du-travail-par-metier",
"file_nb": 2
}
]
### Acceptance TESTS
assert(len(TOP_CATEGORIES) == TOP_CATEGORIES_NB), "Wrong number of top categories required"
assert(sum([top_cat["file_nb"] for top_cat in TOP_CATEGORIES]) == SOURCE_FILES_NB), "Wrong number of source files required"