Incidents le 20 juin 2006
Cette journée du 20 juin a été marquée par deux incidents. Une suppression accidentelle des serveurs l2tpns qui entraina la fermeture des accès ADSL pendant 20 mn et le plantage d’un serveur qui empécha les nouvelles connexions pendant 1 heure.
Le premier soucis a été causé par l’installation du paquet radiusclient1 sur lns01 et lns02 via aptitude. Ce dernier a pris l’initiative de désinstaller une quinzaine de paquets (vim, ntp, ...) dont l2tpns. Il a au passage (très proprement...) arreté l2tpns, coupant tous les accès ADSL entre 13h40 et 14h environ.
Après remise en place du binaire l2tpns compilé et réinstallation du paquet liblic1, tout est reparti.
Le deuxième soucis est apparu vers 17h40, vador ayant cessé de répondre (ping, mais plus aucun service répondant au delà du connect, symptômes ressemblant à ne plus pouvoir forker). Sylvain a fait effectuer un reboot par Telehouse, et le service est reparti vers 18h40.
Pour ce deuxième incident, seules les nouvelles connexions ayant été tentées dans l’intervalle ont été impactées.
Mise à jour du 22 juin
Le plantage de vador (le serveur qui autorise les connexions, et celui qui contient la base de données administrative de FDN) était probablement lié à un très sérieux problème de disque dur. Sur les deux disques en mirroir l’un était clairement endomagé, et le deuxième suspect (pas d’erreur franche, mais quelques symtomes bizares).
Le disque malade a été remplacé par un dique neuf et repartira en garantie rapidement.
Un deuxième disque neuf attend, à coté du serveur, pour prendre la relève du disque suspect.
Cela s’est traduit par plusieurs coupures de vador dans la journée : sans impact pour les adhérents déjà connectés, mais impossibilité d’établir une connexion ADSL à ce moment là.
