Journal des interventions

Cette page liste les changements dans la documentation et les interventions sur les serveurs du labo.

Incidents passés et futurs

  • 2026-02-02: Pilote GPU en panne sur clc2 et clc5.
  • 2026-01-08: Pilote GPU en panne sur clc2.
  • 2026-01-05: clc2 ne remonte plus le taux d'utilisation des GPU.
  • 2025-12-30: [EN COURS] Faille MongoDB, arrêt de rocket qui ne peut pas facilement être mis à jour.
  • 2025-12-23: Panne de clc3. Redémarré par la DSIN le 2025-12-24.
  • 2025-12-23: Panne de zeus. Pile CMOS épuisée, le BIOS exigeait que quelqu'un appuie sur F1 au reboot.
  • 2025-12-23: Coupure de courant planifiée.
  • 2025-12-02: Panne de la base MongoDB sur pmb.
  • 2025-12-04: Port 8006 sur hercule bloqué par la DSIN. Ouverture d'un second port le 2025-12-04.
  • 2025-12-02: Panne de clc5.
  • 2025-11-18: Les mails n'arrivent plus à partir des serveurs. Il s'agit d'un problème de routage. Corrigé par la DSIN le 2025-11-24.
  • 2025-05-12: Reboot du serveur clc5, parce que la version du pilote nVidia n'est plus compatible avec le noyau.
  • 2025-04-28: Notre prestataire de mails Pulseheberg n'arrive plus à distribuer de mails. Impossible d'envoyer les mails de création de compte ou de réinitialisation de mot de passe de NextCloud.
  • 2025-04-24: Coupure de réseau non planifiée (17h50-19h30). Tous les serveurs sont touchés.
  • 2025-04-12: Coupure de réseau planifiée. Tous les serveurs sont touchés.
  • 2025-03-09: Panne du serveur MariaDB sur le conteneur Marisa (ScienQuest). Création d'un script qui redémarre MariaDB à chaque fois que cela se produit.
  • 2025-02-03: Panne du serveur MariaDB sur le conteneur Marisa (ScienQuest). Redémarrage du conteneur.
  • 2025-01-10: Mise à jour du pilote nVdia sur clc5 (530->550), parce que la version 530 n'est pas compatible avec la nouvelle version du noyau installée automatiquement au redémarrage du serveur le 2025-01-04. Redémarrage du serveur.
  • 2025-01-04: Coupure de courant planifiée dans le bâtiment Olympe de Gouges. Tous les serveurs sont touchés. Les hyperviseurs Hercule et Zeus ne redémarrent pas.

Interventions sur les serveurs

  • 2026-03-04: Mise à jour de la base de données de NextCloud sur ouranos: passage en BIGINT du cache de fichiers et passage en format DYNAMIC de nombreuses tables.
  • 2026-02-27: Ban permanent de plages d'IP sur drehu.
  • 2026-02-26: Ban permanent de plages d'IP sur drehu. Mise à jour de la stratégie de détection de bots pour les sites www.llf.cnrs.fr et ressources.labex-efl.org, pour détecter automatiquement les attaques distribuées sur des plages IP.
  • 2026-02-19: Mise à jour de MariaDB sur ouranos (juste mariadb-upgrade, pas de changement de version). Mise à jour de Nextcloud: 32.0.5 -> 32.0.6.
  • 2026-02-17: Ban de plages d'IP sur drehu.
  • 2026-02-13: Mise en place de filtres anti-bots sur drehu.
  • 2026-02-12: Réparation de fail2ban sur drehu (la commande python2 renvoie sur python3).
  • 2026-02-03: Mise à jour et reboot de clc2 et clc5. Blocage de la versions des pilotes au niveau d'apt.
  • 2026-01-08: Mise à jour et reboot de clc2.
  • 2025-12-30: Mise à jour de MongoDB par apt et reboot de pmb.
  • 2025-12-23: Changement de pile CMOS sur zeus.
  • 2025-12-15: Mise à jour des règles anti-bots.
  • 2025-12-15: Mise à jour de NetxtCloud.
  • 2025-12-15: Mise à jour du serveur dosei.
  • 2025-12-05: Problème identifié sur pmb. Restauration de la version du 2025-11-30.
  • 2025-12-04: Limitation des GPU à 150W (de 230W) sur clc5.
  • 2025-12-04: Reboot de clc5.
  • 2025-12-04: Mise à jour de clc5.
  • 2025-12-04: Reboot de clc5.
  • 2025-12-04: Restauration d'anciennes versions de pmb (jusqu'au 2025-05-05). Cela ne résoud pas le problème.
  • 2025-12-04: Augmentation du quota disque du conteneur megara (8Go->10Go).
  • 2025-12-04: Ajout d'un second port d'administration pour hercule (port non bloqué par la DSIN).
  • 2025-12-02: Investigation serveur pmb. La base de données MongoDB n'existe plus.
  • 2025-11-20: Investigation problème de mails. Problème de routage confirmé.
  • 2025-11-18: Investigation problème de mails. Problème de routage soupçonné.
  • 2025-11-18: Mise à jour de Hercule, Ouranos et NextCloud.
  • 2025-09-26: Nouvelle tentative de mise à jour de Démonext de Ubuntu 20 à Ubuntu 22, mais en downgrandant PHP en 7.4. Réussite.
  • 2025-09-26: Échec du passage de Demonext en PHP 8. Réinstallation du backup d'avant les modifs du 25.
  • 2025-09-25: Correction d'un bug de rotation des logs de Nginx sur Megara.
  • 2025-09-25: Augmentation du polling interval sur Nextcloud: 60->120.
  • 2025-09-25: Modification de la configuration de Nginx sur Megara: /etc/nginx/nginx.conf -> limit_req_zone $binary_remote_addr zone=nc:10m rate=5r/s; /etc/nginx/sites-available/default -> limit_req zone=nc burst=10 nodelay; .
  • 2025-09-25: Màj du serveur Demonext Ubuntu 20.04 -> Ubuntu 22.04, installation du module libapache2-mod-wsgi-py3 .
  • 2025-08-26: Changement de configuration des pages de documentation: s/.md/.txt/, pour qu'on puisse les éditer dans NextCloud sans que ce dernier n'impose son éditeur MarkDown WYSIWYG tout pourri, qu'on ne peut pas désactiver.
  • 2025-08-26: Mise à jour de plusieurs applications dans NextCloud.
  • 2025-08-21: Mise à jour de NextCloud.
  • 2025-07-17: reboot de schubert qui est à 100% depuis plusieurs jours et refuse toute connexion. Forçage de la rotation des logs toutes les 24h parce que fail2ban consomme 100% d'un CPU à lui tout seul.
  • 2025-07-16: Tentative de blocker les bots fous avec un iptables -A INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 20 -j REJECT sur Drehu. Modification de la configuration de HTTPD pour réduire le nombre de connexions simultanés et recycler plus fréquemment les processus (ServerLimit 256->48, ServerLimit 256->48, MaxRequestsPerChild 4000->128).
  • 2025-07-16: Installation du paquet r-base sur les serveurs clc.
  • 2025-06-03: Mise à jour du filtrage des bots. failregex = ^<HOST> -.*"GET.*" ".*(meta-externalagent/|Amazonbot/|ClaudeBot/|PetalBot|GPTBot/|SeznamBot/|AhrefsBot/|DataForSeoBot/|PetalBot/|AwarioSmartBot/|Applebot-Extended|Bytespider|cohere-training-data-crawler|Google-Extended|Meta-ExternalAgent|omgili|anthropic-ai|Claude-Web|cohere-ai|[A-Za-z][Bb]ot/|/[.](env|git) ).*"
  • 2025-06-03: Pour réduire le spam et éviter les problèmes avec notre prestataire de mails, le formulaire de contact du site du LLF envoie désormais les messages sur nobody@nothing.fr, une adresse qui n'existe pas. Ajout d'un message au-dessus du formulaire pour dire qu'il ne sert à rien de s'en servir.
  • 2025-05-27: Mise à jour des dépôts sur Hercule. Finalisation d'une mise à jour 8.3.0 -> 8.4.1 qui ne s'était pas appliquée jusqu'au bout.
  • 2025-05-27: Mise à jour des règles de banissement de bots sur Megara.
  • 2025-05-27: Remise à l'heure du serveur drehu, qui était 23h dans le passé.
  • 2025-05-13: Mise en service du serveur clc2.
  • 2025-04-21: Mise à jour de la configuration de MySQL sur Ouranos pour réduire le nombre d'erreurs. Rescan automatique progressif (shallow/home-only/all) toutes les nuits.
  • 2025-04-02: Ouranos. Ajustement de la configuration de NextCloud (maintenance_window_start, opcache) et Apache (max memory: 20248M -> 1024M). Activation du cache pour les données (memcache.distributed, memcache.local). Paramétrage de APCu.
  • 2025-03-31: Sur hercule, ntpd refuse de lire sa configuration et ne sait donc pas qu'il doit se synchroniser avec le serveur de temps de P7. Installation de htpdate qui est moins con.
  • 2025-03-31: Modification de l'API LLF/Ouranos pour ne lister que les utilisateurs dont le compte est actif.
  • 2025-03-31: Mise à jour du serveur Philemon.
  • 2025-03-31: Mise à jour des watchdogs et addUser sur clc5 et Philemon.
  • 2025-03-31: Création du script delUser sur clc5 et Philemon.
  • 2025-03-28: Désactivation d'anciens comptes sur Ouranos.
  • 2025-03-20: Mise à jour du watchdog sur Gazouilloire pour supprimer automatiquement les fichiers de démo.
  • 2025-03-20: Mise à jour de NextCloud (serveur Ouranos). 30.0.6 -> 30.0.7 -> 31.0.1. Optimisation de routine de la base de données.
  • 2025-03-17: Mise à jour de Marisa/Saturne/Tabasco.
  • 2025-03-09: Redémarrage de MariaDB sur Marisa. Màj du watchdog pour vérifier toutes les heures.
  • 2025-02-16: Mise à jour de NextCloud 30.0.5 -> 30.0.6.
  • 2025-02-13: Mise à jour de NextCloud 29.0.11 -> 30.0.5.
  • 2025-02-12: Sauvegarde manuelle de Ouranos.
  • 2025-02-12: Correction d'une erreur dans la configuration des conteneurs 102, 103, 104, 106, 111 et 112 (l'option discard sur le stockage fait planter les processus de sauvegarde). Redémarrage nécessaire pour les conteneurs 102, 103, 104, 106 et 111.
  • 2025-02-12: Mise à jour de NextCloud 29.0.10 -> 29.0.11.
  • 2025-02-04: Création du conteneur NLP sur Hercule.
  • 2025-02-03: Activation des logs pour MariaDB sur le conteneur Marisa (ScienQuest).
  • 2025-01-28: Suppression des disques inutilsés des VM 107, 113, 114 et 117 sur Hercule, restes (doublons) de la réinstallation du 2025-01-06.
  • 2025-01-28: Activation des options discard et noatime sur les CT 102, 103, 104, 106, 108, 111 et 112 de Hercule.
  • 2025-01-23: Mise en place d'un sous-dossier docs dans myLLF pour les documents partagés avec les membres du labo.
  • 2025-01-21: Suppression de volumes inutilisés de conteneurs CT 102, 103, 104, 106, 108, 111 et 112 sur Hercule, restes (doublons) de la réinstallation du 2025-01-06.
  • 2025-01-13: Ajout de la remontée de monitoring de Tabasco sur Iphicles. Suppression de celle de Chiapas.
  • 2025-01-13: Reconfiguration des notifications sur Dosei et Saturne (ne fonctionnait plus depuis le changement d'hébergeur de mails).
  • 2025-01-13: Configuration des notifications sur Tabasco.
  • 2025-01-13: Automatisation du boot, de l'arrêt, des snapshots, et des backups sur Tabasco.
  • 2025-01-10: Changement de config du virtualhost gazouilloire.llf-paris.fr sur Megara pour des problèmes de CORS rencontrés sur Gazouilloire. Le navigateur est désormais autorisé à demander l'autorisation (sic) d'envoyer les données depuis un autre domaine.
  • 2025-01-09: Remise en place des tâches planifiées sur Hercule.
  • 2025-01-08: Reconfiguration des notifications par mail pour Hercule.
  • 2025-01-07: Reconfiguration des backups pour Hercule.
  • 2025-01-07: Ajout et configuration de Redis sur le serveur Ouranos pour résoudre des erreurs récurrentes de verrouillage de fichiers.
  • 2025-01-07: Correction de deux erreurs de type de colonne dans la base de donnée système de MariaDB sur Ouranos.
  • 2025-01-07: Changement de configuration de MariaDB sur Ouranos pour enregistrer les logs.
  • 2025-01-07: La VM Philemon passe de 48Go à 128Go.
  • 2025-01-06: Réinstallation de Hercule à partir des backups, en mode UEFI.
  • 2025-01-06: Ajout de 128Go de RAM à Hercule (capacité total: 384Go).
  • 2025-01-06: Impossible de redémarrer Hercule, les informations permettant le boot on été détruites (probablement lors du changement de SSD, voir la doc de Proxmox, l'étape Changing a failed bootable device n'a pas été faite; ou bien à cause de l'upgrade du pool ZFS, voir la même doc, section ZFS Pool Features, qui n'est pas compatible avec GRUB).
  • 2025-01-06: Redémarrage manual de Zeus (il y avait juste besoin d'un reboot).
  • 2024-12-18: Suppression du conteneur TXM, impossible d'installer TXM dedans... Tentative avec une VM. Ça ne marche pas mieux, suppression de la VM.
  • 2024-12-18: Création du conteneur TXM, et installation de Tomcat.
  • 2024-12-17: Fin du transfert du nom de domaine demonette.fr. Réglage DNS pour le faire pointer sur Hercule.
  • 2024-12-12: Création d'une adresse mail générique pour les comptes en ligne du SIM.
  • 2024-12-12: http://llf-paris.fr renvoie désormais sur http://www.llf.cnrs.fr (redirection HTTP 302 dans drehu:/etc/httpd/conf.d/vhosts.conf) et non sur le site du GDR Creoles.
  • 2024-12-11: Mise à jour de NextCloud (serveur Ouranos). 29.0.9 -> 29.0.10.
  • 2024-12-10: Création du serveur Tabasco.
  • 2024-12-10: Fin de l'installation des nouveaux disques dans Dosei. 14Tio -> 22Tio (SHR2).
  • 2024-12-09: Création de la liste sim.llftoto@listes.totou-paris.fr.
  • 2024-12-09: Changement de registrar pour le nom de domaine demonette.fr. Gandi -> Pulsehberg. Désormais, tous les noms de domaine gérés en propre par le LLF sont chez Pulsehberg.
  • 2024-12-09: Fin de l'installation des nouveaux disques dans Saturne. 21Tio -> 23Tio (SHR1).
  • 2024-12-03: Début de l'installation des nouveaux disques durs dans Dosei et Saturne.
  • 2024-12-03: Redémarrage du serveur Ouranos (NextCloud) pour cause de plantage de l'éditeur bureautique collaboratif.
  • 2024-12-02: Redémarrage du serveur Zeus et réinitialisation des backups (plantage du système de backup sur ce serveur).

Mises à jour de la documentation

  • 2026-03-04: Mise à jour des informations de contact.
  • 2026-02-26: Mise à jour de la doc sur les achats informatiques.
  • 2025-11-20: Précisions sur les clouds.
  • 2025-11-06: Section FAQ bureautique
  • 2025-02-14: Schémas pour les créations de comptes, clarification de la doc sur les clés SSH.
  • 2025-01-29: Accès UPC pour SketchEngine, correction de l'@ de contact.
  • 2025-01-14: Regex dans LibreOffice.
  • 2024-12-11: Mise en place d'une largeur maximale pour #page-content-wrapper p, #page-content-wrapper ul, #page-content-wrapper ol.
  • 2024-12-11: Création d'une page Méthodo et outils.
  • 2024-12-10: Ajout de rubriques dans le menu de la documentation.
  • 2024-12-09: Mise à jour de l'adresse de contact du SIM.
  • 2024-12-05: l'ordre des pages dans le menu n'est plus en dur dans l'URL des pages mais désormais dans les métadonnées des pages (?03_Calculs -> ?Calculs).
  • 2024-12-05: Mise à jour de la documentation NextCloud et de la liste du matériel de calcul scientifique. Création d'une page Serveurs du labo.