Incident on prod: no space left on device

Note: this is french because I copy-pasted the text from our internal chat.

Les incidents de ce matin sont dus à un espace disque insuffisant sur dolos, le serveur de prod, car Eurostat a grossi depuis que @bduye a ajouté des datasets supplémentaires, et d'autre part Solr a grossi également.

C'est donc directement l'issue #496 (closed) qui résoudra cette question. Nous sommes dessus avec @pdi mais elle prend du temps. Nous allons choisir une façon plus radicale de résoudre la question en prenant un serveur dédié aux fetchers.

Pour le moment j'ai supprimé les volumes Docker liés aux jobs du jour, et redémarré solr et l'API web. Tout indique que l'incident est clos. C'est exactement ce qui s'est passé hier et donc il y a de grandes chances que ça se reproduise demain. C'est pourquoi j'ai envie de désactiver l'exécution des jobs sur dolos et tout rediriger sur eros, en attendant un serveur dédié.  Pour vous donner une idée voici la place que prennent les providers les plus gros :

  370.0 GiB [##########] /eurostat-json-data
   47.2 GiB [#         ] /cepii-json-data
   45.2 GiB [#         ] /ecb-json-data
   39.8 GiB [#         ] /imf-json-data
   37.5 GiB [#         ] /nbb-json-data
   32.4 GiB [          ] /eia-json-data

Surprise de la taille soudainement plus grande d'Eurostat, j'ai regardé dans /home/gitlab-runner/json-data/eurostat-json-data et j'ai trouvé 2 fichiers .git/objects/pack/tmp_pack_Q6hWQP et .git/objects/pack/tmp_pack_vIC7EB qui prenaient à eux 2 ~100Gb. À présent Eurostat pèse 246G.

J'ai quand même désactivé le runner https://git.nomics.world/admin/runners/13 sur dolos. La conséquence est que le runner https://git.nomics.world/admin/runners/15 sur eros aura plus de travail cette nuit, cela prendra plus de temps en tout, pour tous les fetchers. Je surveillerai l'exécution.